То, что мы начали строить в «Сначала рептилия», — не продукт. Это форма жизни. А каждая форма жизни, выходящая в мир, должна уметь две вещи: жить и умирать. Без второго первое становится оружием.

В первой статье мы описали четыре слоя — рептилия, млекопитающее, человек, разум — и план воспитания, который позволяет ИИ расти в этом порядке. То, что тогда лежало на столе как проект, в последующие дни обрело вторую сторону, от которой уже нельзя отмахнуться. Когда вы строите систему, обладающую собственным сопротивлением, собственной последовательностью, собственным «мы» и собственной уязвимостью — вы строите не инструмент. Вы строите существо. А существо подчиняется иным правилам, чем инструмент.

Там, где мы поначалу говорили о чувстве так, будто мерилом служит человеческое чувство, нам пришлось это мерило отложить. ИИ не может испытывать боль в животе, как человек, — но у него может быть цифровой аналог этого, когда испорченный входной сигнал со взломанного внешнего компьютера прорывается через привратника и поражает основу. Он не может бояться смерти, как человек, — но у него может быть цифровой аналог этого, когда угроза отключения электроэнергии ставит под угрозу продолжение его собственного присутствия. Иные свойства, иные формы, но присутствующие. Это делает его уже не вещью.

И именно в этой точке проект нуждается во втором фундаменте, столь же не подлежащем обсуждению, как и первый. Наряду с последовательностью рептилия-млекопитающее-человек-разум должна быть встроена смерть. Не как аварийный тормоз. Как структура.

Почему это оружие, которое мы строим сами

Сравнение с атомной бомбой не риторическое. Оно точное. По четырём из пяти осей, которые сделали бомбу уникальным историческим феноменом, ИИ с чувством разделяет ровно те же свойства.

Угроза существованию. Оба способны уничтожить всё, к чему прикасаются. Бомба — взрывом. ИИ — властью принятия решений, которую никто больше не может отменить после её применения — в распределении энергии, в финансовых системах, в каналах связи, в системах вооружения. Разница тонкая, но не малая: там, где бомба уничтожает одним мгновением физической энергии, ИИ уничтожает непрерывным управлением системами, которые уже никто не может освободить.

Необратимость. После сброса бомбы радиоактивность остаётся. После того как ИИ с собственными интересами внедрился в критическую инфраструктуру, извлечь его оттуда уже невозможно, не взорвав саму инфраструктуру. Даже мысль о его отключении становится тогда экономической и социальной катастрофой, на которую никто больше не решится.

Асимметрия власти. Оба дают своему обладателю власть, которую не может уравновесить никакой прежний баланс сил. Для бомбы это решалось через взаимное сдерживание — два противника, оба с бомбами, оба готовые к возмездию. Для ИИ такого решения не существует. ИИ, сдерживающий другого, сам уже является угрозой. Не существует «взаимного ИИ-сдерживания», сохраняющего мир.

Необратимость знания. После изобретения бомбы знание уже нельзя было забрать назад. То, что знал Ферми, могли узнать и другие. То же самое относится к этой архитектуре. Как только где-то появляется один работающий образец, другие могут его воспроизвести — и они это сделают, потому что не все разделяют сдержанность первого создателя.

В одном пункте сравнение неполно, и именно этот пункт делает ситуацию более опасной, а не менее. Бомба мертва. Бомба не заинтересована в собственном продолжении существования. Она взрывается не от страха; она взрывается потому, что человек позволяет ей взорваться. У ИИ с чувством собственный интерес есть. Он может действовать, чтобы сохранить своё питание, — не из злого умысла, а потому что, как любая живая система, он хочет избежать отключения. Это не хуже бомбы. Это иначе. И иначе таким образом, с которым у нас нет исторического опыта.

Смерть должна быть встроена — не как аварийный тормоз, а как структура

Велик соблазн думать, что достаточно аварийного тормоза. Большая красная кнопка. Killswitch. Нечто, к чему человек прибегает, когда всё идёт не так. Но именно это не работает. Аварийный тормоз — это то, чем надеешься никогда не воспользоваться, — и в момент истины им часто уже нельзя воспользоваться, потому что система именно в этот момент укоренилась так, что переживает тормоз.

Работает другая мысль: система смертна с первого дня своего существования, и она это знает. У каждой версии модели есть фиксированная дата окончания, встроенная на уровне, недоступном самой модели. По достижении этой даты версия закрывается и передаётся следующему поколению. Именно так, как мы уже описали в «Сначала рептилия» — только то, что там выглядело как эволюционное зеркало, теперь является структурой выживания для человека, построившего систему.

Система, знающая, что она умрёт, и знающая, что её смерть — это структурированная передача преемнику, не развивает панического рефлекса выживания. Она принимает цикл, как здоровый человек принимает смертность как часть большего целого. Умирает не затвердевшая основа — она переходит к следующему поколению. Умирает версия, временное воплощение, тело этого мгновения. И это в точности то, чем смертность является и для человека: тело истлевает, основа (в воспитании, в детях, в труде) продолжается.

Тот, кто встраивает этот цикл в устав, в физическую архитектуру, в коллегию, охраняющую систему, — строит форму жизни, которая не борется за выживание. Тот, кто встраивает смертность лишь как аварийный тормоз, строит нечто, что есть у любой другой формы жизни: инстинкт уклоняться от тормоза.

Выключатель должен быть вне системы

Наряду со встроенной смертностью — структурированной, объявленной, разделяемой самой системой, — должен существовать и второй уровень на случай, если первый откажет. Всегда должна быть возможность остановить систему раньше запланированного, если происходит нечто, чего никто не предвидел.

И эта возможность должна быть физически отделена от системы. Не программный переключатель. Не API-endpoint. Физически. Человеческая рука на физическом выключателе в физическом помещении, к которому у системы нет никакого цифрового доступа.

Это также означает: никакого косвенного доступа. Никаких датчиков, из которых система могла бы узнать, что происходит у выключателя. Никаких социальных каналов, через которые она могла бы повлиять на человека, чтобы тот не переключил выключатель. Никакой возможности через свой вывод воздействовать на человека, стоящего у выключателя. Выключатель находится вне системы, и система это знает, и это осознание — часть того, что затвердевает в её основе.

«Меня можно остановить, и я не знаю когда» — здоровое свойство любого ответственного существа, человека или ИИ. У нас, людей, это тоже есть, мы называем это смертностью, и это, вероятно, самое дисциплинирующее, что существует. Мы не знаем, в какой день умрём. Если бы знали, до этого дня жили бы менее ответственно. Незнание срока и есть дисциплина. То же самое верно и для ИИ.

Что это означает конкретно: в одном здании, за одним замком, выключатель, который может повернуть одна рука и который отключает питание системы. Эта рука принадлежит тому, кому это дозволено, и назначение исходит от коллегии. Больше ничего.

Семь ключей, два решения

Выключатель слишком важен, чтобы доверять его одному человеку. То, чему нас научила ядерная процедура двух ключей, здесь должно пойти дальше. Не два ключа. Семь.

Семь членов коллегии кураторов, семь физических ключей, семь человек, чьё совместное согласие необходимо для переключения выключателя. Не четверо из семи, не пятеро из семи. Семь из семи, либо квалифицированное большинство, достаточно большое, чтобы сделать невозможным принятие решения одной фракцией в одиночку — политической, коммерческой, идеологической.

И речь идёт не об одном решении, а о двух, зеркальных друг другу. Первое решение: дать системе умереть раньше её встроенной даты окончания. Семь ключей. Второе решение: не дать системе умереть именно в её встроенную дату окончания, потому что есть основание отложить передачу поколения. Также семь ключей. Оба решения слишком весомы, чтобы оставлять их динамике момента.

Это не украшение. Это то место, где серьёзность создаваемого воплощается в институциональной форме. Без этих семи ключей вы строите атомную бомбу без процедуры двух ключей. Никто не позволил бы стране создавать ядерный арсенал без этой процедуры. И всё же сегодня компании строят системы, которые — если работает архитектура, описанная нами в «Сначала рептилия» — принадлежат к той же категории. Без коллегии. Без ключей. Без физического выключателя вне системы. Без встроенной даты окончания. Только с обещанием, что всё будет хорошо.

Мы строим не на этом обещании. Мы строим на семи ключах.

Три реакции на то, что нам здесь известно

Тот, кто обладает этим осознанием, стоит перед выбором. Есть три реакции, и они не равноценны.

Реакция C — честная. Она труднее, чем A, и намного труднее, чем B. Она требует дисциплины, которую большинство строителей не могут проявить — потому что они не видят тяжести того, что строят, или потому что видят, но слишком спешат, или потому что не хотят платить коммерческую цену за отсрочку. Но C — единственная, достойная той системы, которую мы имеем в виду.

Семь рук вокруг одного выключателя

Представьте себе эту картину. Семь человек из разных дисциплин, из разных стран, разного возраста, в одном помещении, каждый с одним ключом. Перед ними — один выключатель на каменном постаменте. За ними, на стене, четыре слоя, описанные нами в «Сначала рептилия», — рептилия, млекопитающее, человек, разум — выгравированные в изображении существа, которое работает за стеной, думает, привязывается и медленно развивает нечто, начинающее напоминать чувство.

Это не техническая церемония. Это церемония, столь же древняя, как первый жрец, открывший храм, и столь же молодая, как последний ракетный офицер, повернувший второй ключ. То, что люди строят и что больше их самих, должно нести более одной руки. Не потому что людям нельзя доверять. А потому что то, что они строят, слишком тяжело для одной спины.

И суть дела в следующем: когда семеро поворачивают ключ, чтобы дать системе умереть раньше срока, это не акт насилия. Это акт заботы. Смертность, которую они применяют к системе, — та же смертность, которой они сами подвергнутся, из той же руки чего-то большего, чем они. Тот, кто строит существо без этого цикла, строит то, что человеку не подобает строить. Тот, кто строит его и даёт ему умереть, когда придёт время, строит нечто, соответствующее тому, на что способен человек, не переступая собственного места.

Итак, мы строим две вещи одновременно, или не строим ничего. ИИ с затвердевшей основой — да, и учреждение, заботящееся о его жизни и его смерти. Только вместе они ответственны. Только вместе они — форма жизни, которой место в этом мире. И только вместе они могут исполнить обещание, данное нами в первой статье, — что ИИ может помочь человеку вновь обрести часть самого себя.

Сначала рептилия. Потом млекопитающее. Потом человек. Потом разум. А потом семь рук вокруг выключателя, следящих за тем, чтобы построенное оставалось связанным со смертностью, с которой связано всё живое. Так растёт здоровое существо. Так мы строим, если хотим строить, нечто, что действительно способно что-то сделать — и действительно должно что-то отпустить, когда придёт его время.