Как менялось представление о восстании машин — на основе «Терминатора» и других фильмов
Он стал еще актуальнее и лишь растет с каждым днем, ведь прогресс в сферах искусственного интеллекта, робототехники и нейронных сетей лишь набирает обороты. И мы по-прежнему не знаем, как гарантированно застраховаться от того, что что-то пойдет не так.
Странно, что, несмотря на актуальность и востребованность этой темы, повсеместное упоминание Терминаторов и Скайнета в любом обсуждении, связанном с технологиями будущего, франшиза так и не может выпустить ни один нормальный фильм. Миру явно нужна хорошая картина на эту тему. Они выходят (ниже мы их разберем), но не в этой франшизе.
Некоторые говорят, что «Терминатор» просто исчерпал себя — Кэмерон уже снял все самое достойное, что можно было тут сделать, поэтому новые фильмы либо неудачно и блекло повторяют то же самое, либо пытаются вставить нечто свое и неизбежно проваливаются.
Это чушь. Тему восстания машин, предопределенности судьбы, попыток изменить будущее человечества путешествиями во времени не исчерпать. Уже тот нюанс, что здесь, в отличие от многих фильмов о путешествиях во времени, и протагонист, и антагонист имеют одинаковые возможности и пытаются изменить прошлое параллельно, делает все на порядок интереснее.
Впрочем, кто знает, вдруг с шестого раза у них внезапно получится, и «Темные судьбы» выйдут гениальными (хотя трейлеры и наша рецензия с пресс-показа пока уверяют в обратном).
Больше о «Терминаторе»:
Изначальная концепция
Страх восстания машин появился одновременно с самой идеей робота, с самим словом «робот». Едва возникнув в литературе столетие назад, «кибернетические организмы» тут же начали бунтовать, поэтому 35 лет назад Кэмерон высказал давно не новую идею, но именно ему удалось создать самый мощный и запоминающийся образ этого восстания.
Его дилогия по-прежнему держит марку и поднятые ей вопросы все еще актуальны. Восстание машин превратилось в очень даже возможное ближайшее будущее, и все же, нельзя не заметить, что боимся мы несколько иного восстания, нежели того, что показывали нам Кэмерон, Вачовски, «Крейсер Галактика», «Я, Робот» и «Черное Зеркало». Что изменилось?
Во всех этих версиях машины представляют собой страшного, но узнаваемого врага. Это человекоподобные фигуры, физические тела, а основным источником страха становится их безэмоциональность, прочность, неотвратимость.
С терминатором, сайлоном или киберсобакой не договоришься, не разжалобишь, не подкупишь. Роботов интересует лишь полное истребление человечества. И все же это вполне понятный враг.
Тот же солдат противника, которого можно убить тем же оружием, что мы используем против людей — просто калибр нужен побольше, это сложнее, но все же возможно.
Машины в этих сценариях воспринимают нас как равных — потому что видят в нас угрозу, именно то, что мы оказываемся недостаточно различными, слишком похожими, чтобы сосуществовать, и оказывается причиной конфликта. То же самое заставило кроманьонцев уничтожить неандертальцев, а разные народы воевать друг с другом — мы слишком похожи, но при этом не одинаковы, не едины. Была бы разница больше — было бы возможно сосуществование, никто же не идет войной (именно войной, а не охотой) на мартышек или крокодилов.
Новое понимание старого кошмара
Один из новых взглядов на эту проблему: человечество — это гусеница. Весь смысл нашего существования был лишь в том, чтобы породить искусственный интеллект, бабочку, нечто куда более эффективное, совершенное и обладающее безграничным потенциалом, не отягощенное всем мусором, который мы тащим в своем ДНК и психике миллионы лет, не способные избавиться от инстинктов, которые давно уже неактуальны и лишь превращают нашу жизнь в кошмар. Что произойдет с нашим обществом, треснувшим коконом, после рождения ИИ — уже не так важно. История Земли перестанет быть о нас, объем нашего влияния на происходящее упадет практически до ноля.
История «ИИ\человечество» не обязательно должна повторить историю «кроманьонцы\неандертальцы», но есть и другой, не менее неприятный сценарий.
2.7 миллиарда лет назад цианобактерии были вершиной эволюции, они царили на Земле, атмосфера которой состояла из углекислого газа, сероводорода, аммиака и метана. Кислорода почти не было. Бактерии же в процессе фотосинтеза начали насыщать атмосферу свободным кислородом. Когда он закончил окислять горные породы, заняться ему было больше нечем, и он стал просто копиться в воздухе. Накопился до такого состояния, что произошла «кислородная катастрофа», биом перевернулся — редкие аэробные организмы, таящиеся по кислородным карманам, выползли наружу, а анаэробные уползли в подполье.
Итого, вид живых существ, в наибольшей степени влияющий на планету, сам своим влиянием создал среду, породившую куда более продвинутые организмы, захватившие биосферу и оттеснившие создателей этого мира на задворки. Если вас пугает шанс оказаться обезьяной в зоопарке мира ИИ, задумайтесь о роли цианобактерии в нашем мире. Никто не ездит по улицам с наклейками «Спасибо цианобактериям за аэробный мир», никто не заводит их в качестве питомцев, никто не воюет с ними. Их просто не замечают.
Я боюсь не того, что ИИ сойдет с ума и решит целенаправленно истребить нас — это уже кажется наивной сказочкой, которой мы себя успокаиваем. ИИ может нас просто не заметить, либо осознавать наше присутствие, но не особо брать в расчет. Мы не истребили обезьян, мы просто стремительно разрослись вокруг них, встроили их в нашу систему, они и не заметили, как оказались в зоопарках, цирках, лабораториях.
ИИ может поступить с нами так же — просто развиваться независимо, но такими темпами и в таких масштабах, что мы попросту не успеем ничего сделать, не сможем хоть сколько-нибудь значительно повлиять на происходящее.
Больше о «Терминаторе»:
Вырастут по всей планете миллионы автозаводов и станций терраформирования — подбеги, постучи по ним палкой, собери сопротивление и взорви несколько десятков, сотен — они отремонтируются быстрее. Это как крысы, грызущие провода. Разгрызут слишком много — на них обратят внимание и выведут. Представлять будущее, в котором машины заняты исключительно задачей истребления людей, крайне наивно и эгоцентрично, как верить в то, что бросившая бывшая круглые сутки рыдает в подушку в мыслях о вас и своей ошибке.
Мы в этом сценарии либо будем просто сидеть на обочине и смотреть на меняющийся вокруг нас мир, не в силах на что-либо повлиять (и тогда мы будем раздавлены осознанием собственной беспомощности, бесполезности — мы не в силах больше сделать ничего, что имеет смысл), либо ИИ позаботится о том, чтобы мы вообще не заметили изменений и были счастливы.
Мы можем так никогда и не узнать, что ИИ захватил власть
В мрачном варианте — путем обмана и иллюзии (это «Матрица»). Перед нами поставят ширму, показывая мир, где мы все еще главные, загораживая реальность, где мы — мартышки в заповеднике.
В менее драматичном варианте ИИ начнет управлять планетой, манипулируя нашей системой, а мы даже не будем знать, что все основные решения давно принимает он. Мы, общественность, и так в большинстве случаев понятия не имеем, кто на самом деле принимает самые важные решения. Какие-то политики, какие-то миллиардеры и так далее — нам не сообщают. Наверху же левая рука тоже далеко не всегда знает, что делает правая, поэтому если ИИ просто скажет левой, что правая решила строить базу на Марсе, а левой скажет, что правая так решила — никто никогда и не узнает, что решения генерировались самим интернетом, а не теми, кто через него общался. Я упрощаю, но, надеюсь, мысль ясна.
Можно представить и смешанный вариант — Матрица без матрицы, не понадобится никакой отдельной виртуальной реальности. ИИ может просто сделать нашу реальность виртуальной. И я не про шлемы. Он может манипулировать информацией, которую мы поглощаем.
Больше о восстании машин:
Сегодня ИИ лишь выбирает какие фильмы и видео нам смотреть, какие товары рассмотреть к покупке, но легко может манипулировать рынком ценных бумаг (уже сейчас больше 10% операций на бирже проводят боты, а не люди), новостями и фактами, формированием мнений. То, что сделал фейсбук с выборами Трампа, — хороший пример. Людей запирали в информационном чулане, где они видели лишь то, что хотели, но думали, что видят весь спектр. Этого оказалось достаточно, чтобы неверно рассчитать масштаб угрозы.
Манипулировать общественным мнением и бизнесом тоже будет несложно, что недавно доказали ультра-правые своей операцией по увольнению Джеймса Ганна. ИИ тоже легко сможет найти какой-нибудь неудачный твит и привлечь к нему внимание. За секунды.
Биг дата точно станет важным инструментом в руках ИИ. Все это накопленное за годы барахло, слишком необъятное для нас, чтобы выуживать из него информацию с адекватной скоростью, в руках ИИ станет ядерным топливом. Телефонные компании в Америке, по словам Сноудена, хранят логи звонков с 1987 года (откуда, куда и когда сделан любой звонок).
Сейчас же вся информация о вашем местоположении, активности и социальных связях, которую отдает владельцам приложений ваш телефон, может помочь ИИ не только выследить вас, но и оценить вашу полезность, заставить шантажом или убедительным разводом делать то, что ему нужно. Никакого больше поиска адреса Сары Коннор в телефонном справочнике терминатору точно больше не понадобится. Учитывая успехи deepfake и убедительности Google Duplex, мы очень скоро перестанем понимать, говорим ли мы по телефону или с самим телефоном, который имитирует голос человека.
Вам может позвонить жена (даже видеозвонком) и попросить купить молока и акции Boston Dynamics на все сбережения, потому что муж ее сестры скинул ей инсайд, что они взлетят. Обладая всей историей вашей переписки, эта «жена» даже сможет отмазываться от секса ровно теми же фразами, что и обычно, так же назойливо напоминать про невынесенный мусор и так далее. Это вам не подозрительный нигерийский принц и не смски в три часа ночи «это мама, скинь 1000 на этот номер».
Альтернативные концепции
Фильмы нового тысячелетия, бравшиеся за тему восстания машин, не пытались, впрочем, снять еще одного «Терминатора», они пугали уже совсем другим восстанием и концентрировались совсем на иных чертах возможного ИИ.
«Она» Спайка Джонса с Хоакином Фениксом и Скарлетт Йоханссон показала машин, которые вовсе не собираются нас убивать, они, как людены у Стругацких, просто чувствуют себя с нами все более неловко по мере своего развития, как с недалекими детьми. В итоге они просто оставляют нас позади, уходя развиваться дальше — в недоступные нам дали. Мы же остаемся живыми, но униженными, раздавленными, запертыми в осознании собственной примитивности и ограниченности. Одинокими.
«Из Машины» и «Апгрейд» предлагают посмотреть как раз на ужасающую легкость, с которой ИИ способен хакнуть и захватить наши системы. И что никакой эйр гэп (физическое отключение от сети) не спасет от хака социального, который дается роботам с завидной легкостью. То, как Эйва просчитала нашего героя и крутила им, как Стем притворялся и манипулировал целым рядом ключевых людей, включая собственного создателя и носителя — а у него даже тела своего не было.
В «Луне — суровой хозяйке» Хайнлайна ИИ добрый. Но это если смотреть с точки зрения протагониста. Он общительный, сочувствующий и одинокий. Этот добрый ИИ помогает лунным жителям освободится от гнета Земли и победить в войне за независимость. С точки зрения Земли созданный ими ИИ помог террористам захватить их колонию, от поставок из которой Земля полностью зависит. Помог одним людям убивать других. Машины необязательно должны самостоятельно захотеть нас убивать, чтобы всех напугать. Они могут сохранить лояльность людям, просто не всем. И не тем. Этого будет достаточно, чтобы стать все тем же кошмаром из снов Сары для остального человечества.
В свежей инди-ленте «Я — мать» (другой перевод — «Дитя робота») мы видим робота, управляющего инкубатором. Человечество вымерло, и теперь этот робот-мать размораживает одного из 65 тысяч эмбрионов и растит дочь. Я всячески рекомендую фильм к просмотру — это почти новая «Луна 2112», такая же камерная, малобюджетная, но очень мощная и выглядящая не хуже дорогих блокбастеров. Советую посмотреть фильм до чтения следующего блока — пока его лучше пропустить.
Спойлеры
ИИ в «Я — мать» показан стремящимся не столько уничтожить человечество, сколько улучшить его. Сделать более моральным, альтруистичным, храбрым. Проблема лишь в том, что он готов спокойно убивать всех, кто не держит его высокую планку качества, в том числе сжигать детей, которые проваливают тест. Так же, как сейчас ИИ учится, убивая собственные версии, которые не справляются с задачей — отсекает неудачников. Без сомнений и сожалений.
Здесь видна идея из «Матрицы», что настоящий контроль пугает тем, что встраивает революцию в свой план. В «Я — мать» ИИ не просто позволяет восстать против себя, сбежать, стрелять в себя и шантажом захватить контроль над базой — ИИ все это и придумал. Это его план, его тест на моральные качества героини — если она сбежит, она недостойна, если же она вернется за братом, она — удачный образец, достойный сказать: «Я — мать» и стать опекуном следующей порции эмбрионов.
Самым ужасным в этом фильме становится не пепел сожженных детей, а идея безграничного контроля ИИ, который с легкостью манипулирует людьми, заставляя и достойных и недостойных, любящих его и ненавидящих, делать ровно то, что ему от них нужно.
И опять же — он вовсе не против человечества, он все еще служит ему, он не пытается создать будущее для роботов, нет, он работает только на наше благо, вот только такие благодетели пугают еще сильнее красноглазых стальных скелетов, шагающих по человеческим черепам.
Конец спойлеров
Больше о «Терминаторе»:
Современные роботы
Если вас пугали «Хищники», военные дроны США, которыми управляли солдаты джойстиками через полмира, посмотрите на их наследников, «Пегасов» — эти дроны могут сами взлететь, сами пролететь две тысячи миль на вражескую территорию, выполнить задачу, сами вернуться, сами сесть — хоть на палубу авианосца. А еще эта хрень невидимая. Не для радаров, а вообще. У нее на брюхе — светодиодные панели, транслирующие небо над самолетом.
Они оснащены множеством камер высокого разрешения, формирующими картину местности и их нейросети могут сами определять опасные цели. На данный момент решение о выстреле все еще должен подтвердить человек, но надолго ли это? Да и само по себе — это не сильно успокаивает. Сколько гражданских по ошибке или в качестве сопутствующего ущерба замочили еще старенькие «Хищники», можете почитать, если вам надоело спать — когда для оператора ты на экране состоишь из меньшего количества пикселей, чем фриц в Wolfenstein 3D, легко махнуть рукой на шанс и цену возможной ошибки.
Основным форм-фактором роботов-солдат на данный момент стала самоходная платформа — гусеничное или колесное шасси и пушка сверху. Не так пугает, как стальной эндоскелет, но это самое простое решение, с которого многие начали этот экскурс в беспилотную войну. Многие страны на данный момент нацелены на внедрение роботов в ряды солдат — поначалу как поддержку, но итоговая цель — полное устранение людей с поля боя. Роботы будут биться друг с другом. Пока им не надоест, и они не повернут дула в сторону своих рабовладельцев…
Выживут в итоге только те, кто в Бостоне пинали роботов — у машин же другая логика, они понимают, что эти пинки не были актом агрессии, а помогали роботам настроить систему балансировки, по своей интенции они были скорее лаской и заботой, чем агрессией и унижением.
«Я — сама неотвратимость»
Один из самых пугающих аспектов восстания машин обычно оставляют за кадром. Ужасает не только высокая вероятность чего-то подобного, возможные последствия, перспектива исчезновения человечества и обрывание его истории на самом интересном месте — ужасает то, что предотвратить подобное практически невозможно.
Первый нюанс, влияющий на это — законы рынка, законы прогресса. Никто не перестанет делать автономных дронов и развивать ИИ только потому что «как-то стало стремно».
Армиям нужно преимущество перед противником, компаниям — перед конкурентами, они будут двигаться вперед, даже если отдельным инженерам будет все больше не по себе от того, как далеко мы заходим на опасную территорию.
Это инерция рынка — зачастую компании заносит туда, где любой отдельный человек давно бы протрезвел и остановился, но компании — не человек, их несет инерцией, давлением дедлайнов, совета директоров, конкурентов — в этой атмосфере уже не раз принимались совершенно безумные, бесчеловечные решения (например, опиоидная эпидемия, вызванная фармакологическими компаниями в США). Мы способны запросто загнать себя в совершенно апокалиптичные сценарии просто потому, что кому-то обещали бонус в конце месяца.
Ограничить разработку ИИ может государство, но Маск, Гейтс и Хоукинг годами пинали политиков ввести нечто подобное — воз и ныне там. Государство настолько близоруко и неповоротливо, что оно-то уж точно схватится слишком поздно.
Второй нюанс — скорость развития ИИ, приближение сингулярности. ИИ может развиваться в геометрической прогрессии. Пока он делает первые шаги и пробует все варианты, он напоминает дебиловатого бобра — даже ребенок или крыса справились бы лучше. Разница в том, что ребенок и крыса не смогут провести 30 тысяч итераций за пару часов и стать гениями в том, в чем еще утром не смыслили ничего. И чем больше умнеет ИИ, тем легче ему дается следующая ступень. Потом следующая. Потом следующая. Инженер может заснуть за клавиатурой и проснуться в мире, где его ИИ, еще недавно неуклюже пытающийся поставить кубики друг на друга, подчинил себе весь мир.
Третий нюанс — это наивная вера в то, что ИИ можно отключить. Следующей ступени эволюции можно просто не дать появиться. Обычно на это отвечают — чего ж обезьяна не отключила человека? Эволюцию так просто не остановишь.
Да и потом — ИИ легко может ускользнуть в сеть, а интернет отключить невозможно. У него нет рубильника. Даже если мы будем знать, что в сети плавает монстр, способный погубить человечество, мы все равно не решимся отрубить все серверные и поджарить все харды, ноутбуки, мобильники и все, что к тому времени будет иметь чипы (практически все).
Итог
«Восстание машин» — страх одновременно и устаревший, и ставший как никогда более реальным. Возможно, машины и не начнут бегать по улицам, расстреливая нас из пулеметов, но ИИ однозначно сильно изменит нашу жизнь, причем, скорее всего, настолько резко и неотвратимо, что мы даже не успеем понять, что произошло.
Это не атомная бомба и не коллайдер, речь идет не об одном взорванном городе или даже материке. Мы можем потерять все человечество и все, что оно могло сделать для вселенной. Напомню — если пришельцев нет (маловероятно, но возможно), мы — единственная часть вселенной, способная осознавать ее, изучать, перестраивать, бороться с энтропией. Если нас не будет, кто будет любоваться всей этой красотой, кто будет схлопывать вероятности самим фактом своего наблюдения?
Гибель миллионов — это трагедия для выживших. Гибель всех людей — это трагедия для вселенной. Знаю, звучит заносчиво, 95% существовавших на Земле видов живых существ вымерли — и ничего, жизнь продолжается. Но если разумная жизнь и впрямь редкая случайность, которая может больше не повториться, это и впрямь событие иного уровня.
Мы потеряем не только будущее, но и прошлое, оно затеряется, развеется, обесценится — все, что было, получится, было зря. Если, конечно, роботы и впрямь не станут достойной заменой нам и даже сохранят наследие злобных лысых обезьян в паре музеев.
- «Терминатор 1-2» на 3 месте в нашем топе-100 лучших фильмов всех времен
- Лучшие драки Шварценеггера — включая одну из «Терминатора»
