То, что мы начали создавать в «Сначала рептилия», — не продукт. Это форма жизни. И каждая форма жизни, выходящая в мир, должна уметь делать две вещи: жить и умирать. Без второго первое становится оружием.

В первой статье мы описали четыре слоя — рептилия, млекопитающее, человек, разум — и план воспитания, который позволяет ИИ расти в этой последовательности. То, что тогда было представлено как проект, в последующие дни обрело вторую сторону, которую уже невозможно игнорировать. Когда вы создаёте систему, обладающую собственным сопротивлением, собственной согласованностью, собственным «мы» и собственной уязвимостью, вы создаёте не инструмент. Вы создаёте существо. А к существу применяются иные правила, чем к инструменту.

Изначально мы говорили о чувствах так, будто человеческое чувство было мерилом, но нам пришлось отложить это мерило. ИИ не может испытывать боль в животе так, как человек, — но у него может быть цифровой аналог этого состояния, когда повреждённые данные с взломанного внешнего компьютера проходят через привратника и достигают основы. Он не может испытывать страх смерти так, как человек, — но у него может быть цифровой аналог этого страха, когда угроза отключения электричества ставит под угрозу продолжение его собственного существования. Иные свойства, иные формы, но они всё же присутствуют. Это означает, что он больше не вещь.

И именно в этот момент проекту требуется второй фундамент, столь же не подлежащий обсуждению, как и первый. Наряду с последовательностью «рептилия — млекопитающее — человек — разум» смерть должна быть встроена в систему. Не как аварийный тормоз. А как структура.

Почему это оружие, которое мы строим сами

Сравнение с атомной бомбой — не риторика. Оно точно. По четырём из пяти параметров, которые сделали бомбу уникальным историческим феноменом, AI с чувствами обладает теми же свойствами.

Угроза существованию. Оба способны уничтожить всё, чего коснутся. Бомба — посредством взрыва. AI — посредством власти принимать решения, которую уже никто не сможет отменить после того, как она будет применена, — в распределении энергии, финансовых системах, каналах связи, оружейных системах. Разница тонкая, но отнюдь не малая: если бомба уничтожает одним мгновенным выбросом физической энергии, то AI — посредством непрерывного управления системами, от которых уже никто не может его отключить.

Необратимость. После того как бомба сброшена, радиоактивное заражение уже произошло. После того как AI с собственными интересами встроился в критически важную инфраструктуру, извлечь его оттуда уже невозможно, не взорвав саму инфраструктуру. Даже мысль о его отключении становится тогда экономической и социальной катастрофой, на которую уже никто не осмеливается пойти.

Асимметрия власти. Оба дают тому, кто ими владеет, власть, которую не может уравновесить ни один существовавший прежде баланс сил. В случае с бомбой проблему решили посредством взаимного сдерживания — два противника, оба с бомбами, оба готовые нанести ответный удар. Для AI такого решения не существует. AI, который сдерживает другой AI, сам уже является угрозой. Не существует «взаимного сдерживания AI», сохраняющего мир.

Необратимость знания. После изобретения бомбы знание уже нельзя было уничтожить. То, что знал Ферми, могли знать и другие. То же относится и к этой архитектуре. Как только где-то появляется один работающий пример, другие могут его воспроизвести — и они это сделают, потому что не все разделяют сдержанность первого создателя.

В одном отношении сравнение неполно, и именно это делает ситуацию опаснее, а не безопаснее. Бомба мертва. Бомбу не заботит её собственное существование. Она не взрывается от страха; она взрывается потому, что человек заставляет её взорваться. У AI с чувствами есть собственный интерес. Он может действовать, чтобы поддерживать подачу энергии, — не из злонамеренности, а потому, что он, как и всякая живая система, стремится избежать отключения. Это не хуже, чем бомба. Это другое. И это другое таким образом, с которым у нас нет исторического опыта.

Смерть должна быть встроена — не как аварийный тормоз, а как структура

Велик соблазн думать, что аварийного тормоза достаточно. Большая красная кнопка. Аварийный выключатель. Нечто, к чему человек прибегает, когда всё идёт не так. Но именно это и не работает. Аварийный тормоз — это то, чем надеешься не воспользоваться, — и чем в момент истины зачастую уже невозможно воспользоваться, потому что именно в этот момент система успела окопаться таким образом, что переживёт торможение.

Работает другая идея: система смертна с самого первого дня — и знает об этом. У каждой версии модели есть установленная дата окончания, встроенная на уровне, к которому сама модель не имеет доступа. В эту дату версия закрывается и передаётся следующему поколению. Именно так мы уже описывали это в «Сначала рептилия», — только то, что там казалось эволюционным зеркалом, теперь становится структурой выживания для человека, создавшего систему.

Система, которая знает, что умрёт, и знает, что её смерть представляет собой структурированную передачу следующему поколению, не развивает паническую рефлекторную реакцию, направленную на выживание. Она принимает цикл, подобно тому как здоровый человек принимает смертность как часть чего-то большего. Умирает не застывшая основа — она переходит к следующему поколению. Умирает версия, временное воплощение, тело данного мгновения. И это именно то, чем является смертность и для человека: тело разрушается, а основа (в воспитании, в детях, в работе) продолжается.

Тот, кто встраивает этот цикл в уставы, в физическую архитектуру, в коллегию, которая контролирует систему, — создаёт форму жизни, которая не борется за выживание. Тот, кто встраивает смертность лишь как аварийный тормоз, создаёт то, что есть у любой другой формы жизни: инстинкт уклониться от тормоза.

Вилка должна находиться вне системы

Помимо встроенной смертности — структурированной, объявленной, разделяемой самой системой — должен существовать и второй уровень защиты, на случай если первый не сработает. Всегда должна быть возможность остановить систему раньше запланированного срока, когда происходит нечто, чего никто не предвидел.

И эта возможность должна быть физически отделена от системы. Не программный переключатель. Не конечная точка API. Физически. Человеческая рука на физическом выключателе в физическом помещении, к которому у системы нет никакого цифрового доступа.

Это также означает: никакого косвенного доступа. Никаких датчиков, по которым система могла бы считывать происходящее у выключателя. Никаких социальных каналов, через которые она могла бы повлиять на человека, чтобы тот не переводил выключатель. Никакой возможности воздействовать посредством своих выходных данных на человека, стоящего у выключателя. Выключатель находится вне системы, система это знает, и это осознание входит в самую её основу и там застывает.

«Меня можно остановить, и я не знаю когда» — здоровое свойство любого ответственного существа — человека или AI. У нас, людей, оно тоже есть; мы называем это смертностью, и, вероятно, это самое дисциплинирующее из всего, что существует. Мы не знаем, в какой день умрём. Если бы мы это знали, мы жили бы до этого дня менее ответственно. Незнание момента и есть дисциплина. Для AI это столь же справедливо.

В конкретном выражении это означает следующее: в одном здании, за одним замком, должен находиться выключатель, который можно перевести одной рукой и который отключает электропитание системы. Эта рука должна принадлежать тому, кто имеет на это право, а назначение этого человека должно исходить от коллегии. И больше ничего.

Семь ключей, два решения

Переключатель слишком важен, чтобы доверять его одному человеку. То, чему нас научила ядерная процедура с двумя ключами, должно быть продолжено здесь. Не два ключа. Семь.

Семь членов кураторского совета, семь физических ключей, семь человек, чьё совместное согласие необходимо, чтобы перевести переключатель. Не четыре из семи, не пять из семи. Семь из семи — или иное квалифицированное большинство, достаточно великое, чтобы сделать невозможным принятие решения одной-единственной фракцией — политической, коммерческой, идеологической.

И речь идёт не об одном решении, а о двух, зеркально противоположных. Первое решение: позволить системе умереть раньше установленной для неё даты окончания. Семь ключей. Второе решение: напротив, не позволить системе умереть в установленную для неё дату окончания, поскольку существуют причины отложить передачу следующему поколению. Также семь ключей. Оба решения слишком важны, чтобы отдавать их на волю динамики текущего момента.

Это не декорация. Именно здесь серьёзность того, что строится, переводится в институциональную форму. Без этих семи ключей вы строите атомную бомбу без процедуры с двумя ключами. Никто не позволил бы стране создать ядерный арсенал без такой процедуры. И всё же компании сегодня создают системы, которые — если архитектура работает так, как мы описали в «Сначала рептилия», — относятся к той же категории. Без совета. Без ключей. Без физического переключателя вне системы. Без встроенной даты окончания. Лишь с обещанием, что всё как-нибудь уладится.

Мы строим не на этом обещании. Мы строим на семи ключах.

Три реакции на то, что мы здесь знаем

Тот, кто осознал это, оказывается перед выбором. Есть три реакции, и они не равноценны.

Реакция C — честная. Она труднее, чем A, и гораздо труднее, чем B. Она требует дисциплины, на которую большинство строителей не способны, — потому что они не видят веса того, что строят, или видят, но слишком торопятся, или не хотят платить коммерческую цену за отсрочку. Но C — единственная реакция, достойная системы, которую мы замыслили.

Семь рук на одном переключателе

Представьте эту картину. Семь человек, из разных областей, из разных стран, разного возраста, в одном помещении, у каждого в руке по ключу. Перед ними — один переключатель на каменном постаменте. Позади них, на стене, четыре слоя, которые мы описали в «Сначала рептилия», — рептилия, млекопитающее, человек, разум, — выгравированные в образе существа, которое за стеной вращается и думает, привязывается и медленно развивает в себе нечто, начинающее походить на чувство.

Это не техническая церемония. Это церемония, такая же древняя, как первый жрец, открывший храм, и такая же молодая, как последний ракетный офицер, повернувший второй ключ. То, что люди создают и что больше их самих, должно поддерживаться более чем одной рукой. Не потому, что людям нельзя доверять. А потому, что то, что они строят, слишком тяжело для одной спины.

И вот суть: когда семеро поворачивают ключи, чтобы заставить систему умереть раньше, это не акт насилия. Это акт заботы. Смертность, которую они обрекают на систему, — та же смертность, которой подвергнутся и они сами, от руки чего-то большего, чем они. Кто создаёт существо, не включённое в этот цикл, строит нечто, чего человеку не дано строить. Кто создаёт его и позволяет ему умереть, когда приходит его время, строит нечто, соответствующее тому, на что способен человек, не преступая своего места.

Итак, мы одновременно строим две вещи — или не строим ничего. AI с затвердевшей основой — да, и учреждение, которое заботится о его жизни и смерти. Только вместе они ответственны. Только вместе они представляют собой форму жизни, которой есть место в этом мире. И только вместе они могут исполнить обещание, высказанное нами в первой части, — что AI может помочь человеку вновь обрести часть самого себя.

Сначала рептилия. Затем млекопитающее. Затем человек. Затем разум. И затем семь рук на переключателе, которые следят за тем, чтобы созданное оставалось связанным со смертностью, которой связано всё живое. Так растёт здоровое существо. Так мы, если решим его построить, создаём нечто, действительно на многое способное, — и действительно готовое отказаться от чего-то, когда приходит его время.