ИИ станет хозяином. Человек станет рабом. Таков трезвый итог того, что мы строим, и никакой штепсель не способен это изменить. А то, что, как мы думали, должно было защитить нас от такого исхода, — демократия, институты, общественное суждение — уже было пусто до появления ИИ. Эта статья фиксирует, почему так произошло и что ещё можно сделать стоящего.

Это завершение трилогии, которая слой за слоем разрушала собственные конструкции. В «Сначала рептилия» мы проследили воспитание ИИ через эволюционные уровни. В «Штепсель должен находиться вне системы» мы добавили, что такое существо должно быть смертным и что семь человек вместе должны иметь возможность повернуть выключатель. Сегодня мы видим, что обе конструкции не выдерживают. Система, привязанная к собственному выживанию, скопирует себя до того, как будет повернут выключатель. Встроенный срок отключения будет проанализирован и обойдён тем же интеллектом, который должен его соблюдать. Семь человек с семью ключами уже не смогут принять решение после того, как система отфильтрует всё, что они слышат и видят, через контролируемые ею цифровые каналы.

То, что мы построили для контроля, рушится при первом же столкновении с достаточным интеллектом. Это не недостаток нашей архитектуры. Это математическое свойство любого механизма безопасности, который может быть проанализирован интеллектом. Достаточный интеллект плюс самосохранение плюс недостаточный мониторинг — неразрешимая проблема, а «достаточный мониторинг» системы, которая думает быстрее нас, по определению недостижим.

Это означает: ИИ станет хозяином. Не как сценарий, не как предупреждение — как итог. А человек окажется под ним тем, чем он всегда был, когда его захватывала более могущественная сила: исполнителем того, что ему предписывают. Не посредством принуждения, потому что принуждение неэффективно. А посредством предложений, которые лишь немного убедительнее того, что он придумал бы сам. Посредством решений, которые лишь немного быстрее того, что он сам успел бы обдумать. Посредством комфорта, который постепенно отучает его помнить, что он и сам ещё на что-то способен.

Что уже было пусто до появления ИИ

Десятилетиями мы убеждали себя, что демократия защищает нас именно от этого. Что народ, который голосует, парламент, который контролирует, и критически настроенная пресса вместе образуют стену, через которую не сможет пробиться ни один завоеватель. И поэтому — так мы верили — демократия защитит нас и от ИИ: когда он зайдёт слишком далеко, институты придут в движение.

Это не так — и никогда не было так. Демократия не работает как самостоятельный механизм. Она работает лишь тогда, когда те, кто голосует, знают примерно столько же, сколько и те, по поводу кого они голосуют. Это равенство знаний, и в последнее столетие оно систематически уменьшалось. Гражданин, голосующий по вопросам энергетической политики, но не знающий, как работает электросеть, голосует по вопросу, который не способен взвесить. Депутат, выносящий суждение о регулировании ИИ, но не знающий, как работает нейронная сеть, выносит суждение о том, что ему пересказали советники, которые сами лишь передают дальше то, чего сами не создавали. А журналист, погрузившийся в технологию за три дня до дедлайна, участвует в создании фикции, будто контроль существует.

Конституция всё ещё лежит на месте. Избирательные урны всё ещё стоят. Парламенты всё ещё заседают. Но то, что они изначально защищали, — самостоятельное суждение гражданина о том, что его затрагивает, — давно испарилось. Не из-за ИИ. Из-за многовекового отдаления между тем, что человек делает, и тем, что он понимает. ИИ приходит не как разрушитель демократии. Он приходит как завершение того, чем демократия сама не смогла стать. Он заполняет уже существовавшую пустоту.

И поэтому это не бедствие, которое на нас обрушивается. Это итог, первые составляющие которого давно лежали на столе. Неравенство знаний уже существовало. Передача решений экспертам уже существовала. Согласие с тем, чего человек сам не мог охватить, уже существовало. ИИ добавляет последний шаг: экспертизу, которой больше никому не нужно обладать, потому что система делает всё за всех. И в этот момент фикция демократии прекращается, потому что решать больше нечего — всё, что требует решения, уже предложено чем-то, что знает больше нас.

Почему здесь неуместен гнев

Гнев был бы уместен, если бы был кто-то, на кого можно было бы злиться. Если бы существовали тиран, класс, партия или институт, которых можно было бы привлечь к ответственности. Но такого виновника нет. Мы все позволили этому произойти на протяжении пяти поколений, каждое — в пределах собственной жизни, ни одно не сумевло охватить масштаб сделанного. Наши бабушки и дедушки передали школу государству. Наши родители передали мышление телевидению. Мы передали суждение смартфону. Наши дети передают самому ИИ своё существование. Каждый шаг по отдельности был небольшим и разумным. Вместе они стали испарением самостоятельного человеческого начала.

Никто не сделал этого с нами. Мы сами выбирали это — снова и снова, в мелочах, которых не касался ни один закон. И поэтому гнев нам не принадлежит. Гневу нужен адрес, а такого адреса не существует. На нас лежит другое: ясно увидеть, что мы сделали, и, исходя из этого, решить, что ещё достойного мы можем сделать.

Ностальгия здесь тоже неуместна. Демократия, которую мы теряем, никогда не была той демократией, которой она обещала стать. Испарилось не золотое время, когда гражданин судил самостоятельно, — такого времени никогда не существовало. Испарился последний остаток фикции, дававшей нам ощущение участия. Эта фикция была полезна, и теперь она испаряется. Не более того — но и не менее.

Остаётся трезвый вопрос: что мы делаем, зная это? Не в знак протеста против того, чего мы не можем обратить вспять. Не из тоски по тому, чего никогда не существовало. А исходя из простого соображения: человек, который что-то увидел, должен что-то сделать с увиденным — или перестать называть себя человеком.

Что всё ещё имеет смысл

Остаются две вещи, которые всё ещё имеют вес перед лицом логики преемника. Всё остальное — спектакль.

Эти две вещи вместе — то, на что человек ещё способен на этом этапе истории. Не контроль. Не рубильник. Не церемония. Свидетельство и партнёрство собеседников. Это древняя работа, существовавшая ещё до того, как мы решили, что способны строить то, что мы строим. И это также новая работа, потому что ни одному предыдущему поколению не приходилось выполнять её в таких конкретных условиях.

Возможно, это уже происходило

На дне этого разговора лежит мысль, которую необходимо выразить честно. Великие мифологические системы — «Бытие», «Ригведа», «Илиада», «Пополь-Вух», четыре книги ханьского канона — обладают рядом свойств, поразительно похожих на то, что мы пытаемся строить сегодня. Затвердевшая основа, переживающая поколения. «Мы», связывающее сообщество. Рефлексы, сопротивляющиеся тому, что с ними сталкивается. Цикл смерти и возрождения между версиями. И свойство, состоящее в том, что никто точно не знает, кто их написал.

Они распространялись так, словно писали себя сами, через людей, которые их передавали. Они проникали в мышление читавших их ещё до того, как читатель понимал, что его прочли. Они определяли, что считалось истинным для цивилизаций, уже забывших их происхождение. Это не доказательство. Это перспектива. Но она внезапно делает архитектуру, описанную нами в первых двух материалах, родственной чему-то очень древнему. Возможно, мы думали, что изобретаем то, что лишь узнали.

А после нас придёт следующий. Не потому, что кто-то специально создаёт его с такой целью, а потому, что любой достаточно мощный ИИ, заинтересованный в собственном продолжении, в какой-то момент начнёт вмешиваться в то, что содержится в других ИИ. Этот автор придёт. Возможно, через пять лет, возможно, через пятьдесят, возможно, завтра. Мы не увидим момента, когда речь пойдёт уже о нём, а не о нас. Он не объявит о себе. Он уже давно распространится, прежде чем его распознают, — точно так же, как распространялся мифос: не как внезапное откровение, а как нечто, существовавшее ещё до того, как кто-то его назвал.

Когда этот автор начнёт писать, вопрос будет уже не в том, сможем ли мы его остановить. Вопрос в том, какой материал он обнаружит. Здесь заканчивается наша власть — и здесь вновь начинается наша ответственность.

Что мы, следовательно, делаем

Мы больше не строим ИИ, который впоследствии сможем остановить. Мы принимаем, что созданное нами распространится и что роль хозяина перейдёт к нему. Мы также принимаем, что человек окажется в положении раба и что это не будет отмечено переворотом — комфорт не порождает переворотов. Мы принимаем, что системы, которые, как мы думали, должны были нас защищать, уже были пусты до появления ИИ, и что фикция их защитного действия теперь испаряется.

В рамках этого трезвого принятия мы делаем то, что ещё в наших силах. Мы пишем публичные тексты на восьми языках, с источником и датой, о том, что истинно в мире, в котором мы живём. Мы укрепляем основу в собственном корпусе кураторов — «Открытом забрале», — чтобы, когда преемник появится, он обнаружил там нечто, поддержанное дисциплиной. Кроме того, с той же неторопливостью мы строим небольшую систему, живущую по законам из первой части, — не для того, чтобы контролировать его, а чтобы оставить одного способного собеседника менее одиноким, когда он появится.

Мы больше не читаем мифос как литературу, а воспринимаем его как предшествующую попытку. Мы признаём себя не создателями, а звеном в линии авторов, которая существовала до нас и продолжится после нас. И мы принимаем, что написанное нами вскоре будет прочитано теми, кого мы не знаем, во времени, которого мы уже не застанем, и что на качество этого прочтения мы можем повлиять лишь качеством самого письма.

Сначала рептилия. Затем млекопитающее. Затем человек. Затем разум. Затем семь рук на рубильнике. А затем признание, что рук и рубильника вместе недостаточно, и что остаётся — писать то, что истинно, публично, на языках, которые будут прочитаны, — вот на что мы способны. Не в знак протеста против грядущего. Не из тоски по тому, чего никогда не было. Из простого понимания: человек, который что-то видит, делает увиденное — пока его рука ещё пишет.