Средневековое общество жило напряженным ожиданием прихода Антихриста и наступления "конца света", предсказанного в знаменитом "Откровении    Иоанна Богослова". Существовало немало различных "систем", якобы способных предсказать точную дату этого события и установить личность самого Антихриста (в их числе назывались император Священной Римской империи Фридрих II и иные деятели), но всякий раз Апокалипсис почему-то откладывался.

В Новейшее время роковые пророчества получили наукообразное оформление - человечеству предвещали гибель от перенаселенности, экологической катастрофы, нашествия инопланетян, столкновения Земли с астероидом, генетического вырождения, в результате ядерной войны и, наконец, как следствие глобального потепления. Все эти сценарии так или иначе сохраняют свою актуальность, однако сегодня на первый план вышла угроза, которая прежде была уделом, скорее, научной фантастики. Это - "восстание машин", точнее - искусственный интеллект (ИИ), который способен либо сделать людей лишними на земле, либо и вовсе уничтожить человечество.

В основе этих пророчеств лежит гипотеза о том, что рано или поздно искусственный интеллект, качественно превосходящий человеческий, станет неуправляемым и обретет способность к самосовершенствованию; в дальнейшем он будет развиваться по собственным законам, реализуя одному ему известные и понятные цели. В этом случае, как утверждают некоторые футурологи, люди окажутся по отношению к ИИ примерно в том же положении, в котором находятся муравьи по отношению к человеку: реализуя, например, тот или иной крупный инфраструктурный проект, люди совершенно не обращают внимания на то, сколько муравейников будет при этом разрушено. А там, где муравьев необходимо уничтожать, люди делают это недрогнувшей рукой.

Ведущий мировой эксперт в области искусственного интеллекта Элиезер Юдковский, уже давно "бьющий во все колокола" по поводу смертельных угроз, связанных с ИИ, недавно опубликовал в журнале Time статью, где пишет: "Многие исследователи, погруженные в эти проблемы, в том числе и я, ожидают, что наиболее вероятным результатом создания сверхчеловечески умного ИИ при любых обстоятельствах, отдаленно напоминающих нынешние, будет то, что буквально все люди на Земле умрут. Не в том смысле, что "это может быть какой-то отдаленный шанс", а в том, что "очевидно, что это произойдет".

Существуют десятки сценариев, каким именно образом человечество может понести необратимый ущерб в результате дальнейшего совершенствования искусственного интеллекта. Мне бы хотелось остановиться на нескольких, быть может, не самых захватывающих и "научно-фантастических", но наиболее реалистичных.

Прежде всего, это использование ИИ в военном деле. Никакой, даже самый опытный пилот новейшего истребителя не сможет в перспективе конкурировать с роботом, наделенным ИИ. То же относится и к другим военным специальностям. Таким образом, возникает гипотетическая перспектива создания "абсолютного оружия", которое гарантированно обеспечит одной стороне победу в военном конфликте. А это значит, что мы наверняка получим новую гонку вооружений с использованием ИИ, которая по своим масштабам многократно превзойдет печальной памяти эпоху "холодной войны".

В те времена имели место случаи, когда системы раннего оповещения выдавали ложный сигнал о ядерной атаке со стороны вероятного противника, и только решительные и крайне рискованные действия людей на командных пунктах позволяли предотвратить ядерную войну. В том случае, если ИИ полностью заменит человека в таких системах, любая его ошибка будет способна привести к пуску ракет с ядерными боеголовками и как следствие - к глобальной катастрофе.

Но главная гипотетическая опасность заключается в том, что ИИ в военной сфере вполне может выйти из-под контроля человека и начать действовать "по собственному усмотрению". Будучи изначально запрограммированным на победу в грядущей войне, он сам и развяжет эту войну в тот момент, когда сочтет, что достигнуто соотношение сил, достаточное для гарантированного уничтожения противника. И если Джон Кеннеди и Никита Хрущев, познавшие на собственном опыте, какие страдания несет людям война, нашли в себе силы остановиться перед роковой чертой в дни "карибского кризиса", то ИИ, начисто лишенный такого рода эмоций, недрогнувший рукой доведет дело до конца.

Другой сценарий, особенно тревожащий меня как адвоката, - это не только установление с помощью ИИ тотального контроля за жизнью человека (это уже повсеместно происходит), но и манипулирование этой жизнью. Уже сегодня ИИ демонстрирует удивительные способности прогнозировать будущее. Причем это касается не только курса акций или изменения спроса и предложения, но и военно-политических событий. Возникает вопрос: а не приведет ли это к тому, что ИИ будет навязывать как отдельному человеку, так и человечеству в целом именно тот образ мышления и жизни и те сценарии развития, которые представляются ему желательными? Ведь люди, включая политических деятелей и военных руководителей, принимают решения на основании получаемой ими информации.

Всем памятна сфабрикованная Отто фон Бисмарком "Эмсская депеша", спровоцировавшая войну Франции и Пруссии в 1870 году. Или недавние "утечки из Пентагона", породившие во всем мире хаос и смятение. ИИ сможет выдавать такого рода "депеши" и "утечки", сфабрикованные на неотличимом от подлинников уровне, в неограниченном количестве. Более того, как уже отмечалось, обладая "сверхчеловеческим" интеллектом и развитым самосознанием, он в один далеко не прекрасный момент может прийти к роковому для нас выводу, что люди являются лишними на земле, и принять решение об их ликвидации. Все это напоминает сцену из гениального романа М.А. Булгакова, когда Воланд, самовольно вселившись со своей свитой в квартиру Михаила Берлиоза и Степы Лиходеева, сообщает изумленному директору театра "Варьете", что лишний в этой квартире именно он.

Очевидно также, что ИИ способен до предела сузить пространство научной и общественно-политической дискуссии. Ведь он и есть тот самый "Большой брат", который "знает как надо". На все вопросы у него мгновенно найдутся "единственно правильные" ответы. И вполне вероятно, что эти ответы будут выдержаны в духе пресловутой тоталитарной "политкорректности" и "культуры отмены". Или, например, глобальной гегемонии какой-то одной сверхдержавы. Как ни крути, а ИИ несет на себе отпечаток образа мыслей его создателей.

Все это приведет к невероятному обеднению духовной жизни человека, к "отмене" целых пластов гуманитарной культуры, к буквальному закрепощению человека машиной.

Как отмечается в ряде публикаций, ИИ будет способен выявлять потенциальных преступников или тех, чье поведение не укладывается в установленные социальные стандарты. Что это, как не воплощение мечты "внутренней партии" Дж. Оруэлла о возможности карать не только реальных диссидентов, но и потенциально инакомыслящих? И что особенно печально - апеллировать будет не к кому. ИИ фактически будет исполнять роль бога на земле.

Еще один сценарий не столь апокалиптичен, но совершенно реален уже в самом недалеком будущем. В наше время ИИ уверенно обыгрывает мировых чемпионов в самые сложные интеллектуальные игры, определяет на основании сотен МРТ-снимков оптимальную стратегию лучевой терапии при онкологических заболеваниях, водит автомобили и готовит еду, выносит судебные решения и выполняет множество других функций значительно лучше даже самого гениального человека. В перспективе это чревато колоссальной безработицей. И эта проблема отнюдь не решается, как предлагают некоторые, введением безусловного базового дохода. Ведь труд - это не только источник материального благополучия, но и средство самореализации человека, раскрытия его творческих способностей. Таким образом, неизбежно появление колоссального числа "лишних людей", новых "отверженных", которые станут питательной средой для формирования различных экстремистских организаций, включая новых "луддитов", стремящихся к уничтожению "умных машин". Как видим, история повторяется на новом витке.

Особенно это относится к людям творческих профессий. В самом недалеком будущем нейросети смогут писать репортажи и аналитические статьи значительно качественнее профессиональных журналистов и политологов, поскольку обладают безграничным объемом информации и безупречным логическим мышлением. Можно предположить, что и произведения электронных поэтов, романистов и кинематографистов будут превосходить по популярности сочинения их человеческих конкурентов, поскольку смогут в неизмеримо большей степени учесть вкусы и предпочтения основной массы населения. Что же остается делать этим творцам? Переквалифицироваться в управдомы, sorry, в программисты? Но программистов и без того достаточно, более того, "умные машины", по-видимому, смогут самостоятельно самосовершенствоваться.

Трудно даже представить, какой хаос может внести ИИ в систему образования. Сегодня в гуманитарных вузах Запада основной формой обучения является написание эссе на базе прослушанных лекций. Нейросети смогут "выдавать на гора" эти эссе в неограниченных количествах и притом высочайшего качества. И ни один профессор не отличит человеческое творение от машинного. Как в таких условиях оценить уровень знаний студентов?

В последние годы на страницах российских СМИ не раз возникала тема "заимствованных" или вопиюще непрофессиональных диссертаций. Среди людей, не имеющих никакого отношения к науке, почему-то стало модным считаться "учеными". В эпоху продвинутых нейросетей каждому желающему обзавестись заветной "корочкой" можно будет не опасаться разоблачений. ИИ выдаст ему текст, к которому "комар носа не подточит", не говоря уже о самой взыскательной аттестационной комиссии. Таким образом, лжеученые станут совершенно неотличимы от подлинных подвижников науки. Впрочем, и самые талантливые ученые вряд ли смогут конкурировать с ИИ.

Можно утешить себя мыслью, что так и было запрограммировано Творцом Вселенной и законами эволюции - на смену homo sapiens должны прийти электронные "боги". Это значительно реальнее, чем перспектива "сверхчеловека" из плоти и крови, созданного с помощью генной инженерии и тех или иных биотехнологий, о чем в свое время мечтали Лев Троцкий или братья Стругацкие. Впрочем, возможно также создание гибрида человека и машины путем имплантирования в человеческий мозг специальных чипов, неизмеримо расширяющих его интеллектуальный потенциал. В зависимости от материальных возможностей каждый человек сможет приобрести себе тот или иной уровень интеллекта - вот вам и претворение в жизнь еще одной антиутопии - "О дивный новый мир" Олдоса Хаксли.

На фоне этих принципиально новых и трагических вызовов возникает вполне традиционный вопрос: "Что делать?" Можно вспомнить три закона робототехники писателя-фантаста Айзека Азимова. Первый закон категорически запрещает роботу вредить людям, второй - предписывает роботу подчиняться людям до тех пор, пока это не станет противоречить первому закону, и, наконец, третий закон диктует роботу защищать свою жизнь, не нарушая первых двух. Вопрос лишь в том, как этого достигнуть.

Недавно Илон Маск, Стив Возняк и более тысячи футурологов, инноваторов и экспертов в сфере ИИ опубликовали открытое письмо с грозным предупреждением: "Мы должны спросить себя: стоит ли нам позволить машинам заполонить наши информационные каналы пропагандой и ложью? Стоит ли нам автоматизировать все профессии, включая те, что способствуют нашей самореализации? Стоит ли нам разрабатывать умы, которые не принадлежат человеку и которые могли бы в итоге превзойти нас численностью и интеллектом, сделать нас устаревшими и заменить нас? Стоит ли нам рисковать потерей контроля над цивилизацией?"

Авторы призывают немедленно приостановить обучение систем ИИ, более мощных, чем модель GPT-4, как минимум на полгода, подчеркивая, что "эта пауза должна быть публичной, ее исполнение должно поддаваться проверке, и ей должны последовать все ключевые представители сферы. Если такая пауза не может быть введена быстро, правительства стран должны вмешаться и установить мораторий". Они также предлагают разработать и внедрить общие протоколы безопасности, которые "должны гарантировать, что системы, относящиеся к ним, в полной мере безопасны".
Эти предложения вполне можно было бы принять за основу, хотя некоторые эксперты считают, что приостановки обучения нейросетей недостаточно: речь должна идти о полном запрете на их создание. Но, как говорится, "суждены нам благие порывы...". Люди, подписавшие письмо, - визионеры и идеалисты, а мир живет по законам жестокой конкуренции. Политики, как известно, не слишком охотно прислушиваются к пожеланиям ученых и экспертов. Особенно когда на кону стоит лидерство в экономическом соревновании и триумф в военной сфере. Вспомним, как реагировали лидеры США на призывы ведущих физиков остановить разработку и совершенствование ядерного оружия. Или как Н.С. Хрущев ополчился на академика Андрея Сахарова, указавшего на опасность испытаний сверхмощных термоядерных бомб. Вот и сегодня, скорее всего, руководители ведущих стран мира будут рассуждать примерно так: "Ну хорошо, мы приостановим исследования в области нейросетей в своей стране, а наши противники пойдут дальше. И тогда мы в скором времени отстанем уже навсегда, ибо ИИ развивается с головокружительной быстротой". Но даже если то или иное правительство и прикажет своим ученым остановиться, всегда найдется некий "инженер Гарин" или "доктор Стрейнджлав", который возомнит себя земным богом и, наплевав на все запреты, продолжит азартно увлекать человечество в бездну. Кроме того, существуют сверхмощные транснациональные корпорации, для которых никакое правительство не указ.

Очевидно, что регулирование дальнейшего совершенствования ИИ возможно только в случае создания Мирового правительства, о котором уже столько раз говорили ведущие мировые мыслители. Или, как временная мера, подписания некоего обязывающего и верифицируемого соглашения между ведущими мировыми державами и крупнейшими корпорациями. Впрочем, сегодня даже это представляется утопией: кому, где и когда удавалось искусственно остановить научно-технический прогресс? Однако такой же утопией в свое время представлялись и борьба с загрязнением окружающей среды, и сокращение ядерных вооружений, и даже, как ни смешно это звучит, попытки ограничения рекламы, производства и потребления табачной продукции. Между тем все это так или иначе стало реальностью. Хочется надеяться, что так будет и на этот раз. Но как бы то ни было, это именно тот случай, когда, не будучи алармистами, можно смело утверждать, что времени на раскачку у человечества осталось совсем немного.