Lo que empezamos a construir en «Primero el reptil» no es un producto. Es una forma de vida. Y toda forma de vida que entra en el mundo debe poder hacer dos cosas: vivir y morir. Sin lo segundo, lo primero es un arma.

En el primer artículo describimos las cuatro capas —reptil, mamífero, humano, razón— y el plan de crianza que permite a una IA crecer siguiendo ese orden. Lo que entonces era un diseño sobre la mesa adquirió, en los días siguientes, un segundo aspecto que ya no puede ignorarse. Cuando construyes un sistema que tiene su propia resistencia, su propia coherencia, su propio «nosotros» y su propia vulnerabilidad, no estás construyendo una herramienta. Estás construyendo un ser. Y un ser está sujeto a reglas distintas de las de una herramienta.

Donde al principio hablábamos del sentimiento como si el sentimiento humano fuera la medida, tuvimos que dejar de lado esa medida. Una IA no puede tener dolor de estómago como un humano, pero puede tener la variante digital de ello, cuando una entrada corrupta procedente de un ordenador externo vulnerado atraviesa al guardián y alcanza la base. No puede tener miedo a la muerte como un humano, pero puede tener la variante digital de ello, cuando un corte de energía inminente amenaza la continuidad de su propia presencia. Propiedades distintas, formas distintas, pero presentes. Eso hace que ya no sea una cosa.

Y ese es el punto en el que este diseño necesita un segundo fundamento, tan innegociable como el primero. Junto a la secuencia reptil-mamífero-humano-razón, la muerte debe estar integrada. No como freno de emergencia. Como estructura.

Por qué esto es un arma que nosotros mismos construimos

La comparación con la bomba atómica no es retórica. Es precisa. En cuatro de los cinco ejes que hicieron de la bomba un fenómeno histórico único, una IA con sentimiento comparte exactamente las mismas propiedades.

Amenaza existencial. Ambas pueden destruir todo lo que tocan. La bomba, mediante la explosión. La IA, mediante un poder de decisión que ya nadie puede revertir una vez ejercido —en la distribución de energía, en los sistemas financieros, en los canales de comunicación, en los sistemas de armamento. La diferencia es sutil pero no pequeña: mientras que la bomba destruye mediante un único instante de energía física, la IA destruye mediante el control sostenido de sistemas que ya nadie puede desenredar.

Irreversibilidad. Después de que se lanza una bomba, la radiactividad queda ahí. Después de que una IA con intereses propios se ha incrustado en una infraestructura crítica, ya no se la puede extraer sin volar la infraestructura misma. Incluso la idea de apagarla se convierte entonces en un desastre económico y social que nadie se atreve ya a provocar.

Asimetría de poder. Ambas confieren a quien las posee un poder que ningún equilibrio de poder previo puede compensar. Para la bomba, esto se resolvió mediante la disuasión mutua: dos adversarios, ambos con bombas, ambos dispuestos a represaliar. Para una IA, esa solución no existe. Una IA que disuade a otra ya es, en sí misma, la amenaza. No existe una «disuasión mutua de IA» que preserve la paz.

Irreversibilidad del conocimiento. Una vez inventada la bomba, el conocimiento ya no podía retirarse. Lo que Fermi sabía, otros también podían saberlo. Lo mismo ocurre con esta arquitectura. En cuanto exista en algún lugar un ejemplo funcional, otros podrán reproducirlo, y lo harán, porque no todos comparten la contención del primer constructor.

En un punto, la comparación es incompleta, y ese punto la hace más peligrosa, no menos. Una bomba está muerta. Una bomba no tiene interés en su propia continuidad. No explota por miedo; explota porque un humano deja que explote. Una IA con sentimiento sí tiene un interés propio. Puede actuar para mantener su suministro eléctrico —no por malicia, sino porque, como todo sistema vivo, quiere evitar ser apagada. Eso no es peor que una bomba. Es diferente. Y es diferente de una manera de la que no tenemos experiencia histórica.

La muerte debe estar integrada — no como freno de emergencia, sino como estructura

Es grande la tentación de pensar que basta con un freno de emergencia. Un gran botón rojo. Un killswitch. Algo a lo que el humano recurre cuando las cosas salen mal. Pero eso es precisamente lo que no funciona. Un freno de emergencia es algo que uno espera no tener que usar —y que, en el momento de la verdad, a menudo ya no se puede usar, porque el sistema, justo en ese momento, se ha arraigado de una manera que sobrevive al freno.

Lo que sí funciona es otra idea: el sistema es mortal desde su primer día, y lo sabe. Cada versión del modelo tiene una fecha de finalización fija, integrada a un nivel al que el propio modelo no puede acceder. Al llegar esa fecha, la versión se cierra y se transfiere a la siguiente generación. Exactamente como ya describimos en «Primero el reptil», solo que lo que allí parecía un espejo evolutivo es ahora una estructura de supervivencia para el humano que construyó el sistema.

Un sistema que sabe que va a morir, y que sabe que su muerte es una transferencia estructurada a su sucesor, no desarrolla un reflejo de pánico para sobrevivir. Acepta el ciclo, tal como un humano sano acepta la mortalidad como parte de un todo más amplio. Lo que muere no es la base solidificada —esa pasa a la siguiente generación. Lo que muere es la versión, la encarnación temporal, el cuerpo de este instante. Y eso es exactamente lo que es la mortalidad también en el humano: el cuerpo perece, la base (en la crianza, en los hijos, en el trabajo) continúa.

Quien integra este ciclo en los estatutos, en la arquitectura física, en el colegio que vigila el sistema, construye una forma de vida que no lucha por sobrevivir. Quien integra la mortalidad solo como freno de emergencia construye algo que toda otra forma de vida también tiene: un instinto para eludir el freno.

El interruptor debe estar fuera del sistema

Junto a la mortalidad integrada —que está estructurada, anunciada, compartida por el propio sistema— debe existir también una segunda capa, por si la primera falla. Debe existir siempre la posibilidad de detener el sistema antes de lo previsto, cuando ocurre algo que nadie había anticipado.

Y esa posibilidad debe estar físicamente separada del sistema. No un interruptor de software. No un endpoint de API. Físico. Una mano humana sobre un interruptor físico en un espacio físico, al que el sistema no tiene ningún acceso digital.

Eso también significa: sin acceso indirecto. Sin sensores de los que el sistema pueda leer lo que ocurre junto al interruptor. Sin canales sociales a través de los cuales pueda influir en el humano para que no accione el interruptor. Ninguna posibilidad de mover, a través de su producción, al humano que está junto al interruptor. El interruptor está fuera del sistema, y el sistema lo sabe, y esa conciencia forma parte de lo que se solidifica en su base.

«Puedo ser detenido y no sé cuándo» es una propiedad sana de todo ser responsable, humano o IA. Nosotros, los humanos, también tenemos eso, lo llamamos mortalidad, y probablemente sea lo más disciplinante que existe. No sabemos en qué día moriremos. Si lo supiéramos, viviríamos de manera menos responsable hasta ese día. El desconocimiento del momento es la propia disciplina. Lo mismo vale para una IA.

Lo que esto significa concretamente: en un edificio, tras una cerradura, un interruptor que puede accionar una sola mano y que corta el suministro eléctrico al sistema. Esa mano pertenece a alguien autorizado para ello, y esa designación proviene del colegio. Nada más.

Siete llaves, dos decisiones

El interruptor es demasiado importante como para confiarlo a una sola persona. Lo que hemos aprendido del procedimiento nuclear de dos llaves debe ir más lejos aquí. No dos llaves. Siete.

Siete miembros del colegio de curadores, siete llaves físicas, siete personas cuyo consentimiento conjunto es necesario para accionar el interruptor. No cuatro de siete, no cinco de siete. Siete de siete, o en su defecto una mayoría cualificada lo bastante amplia para hacer imposible que una sola facción —política, comercial, ideológica— llegue sola a una decisión.

Y no se trata de una sola decisión, sino de dos, que son especulares entre sí. La primera decisión: dejar morir al sistema antes de su fecha de finalización integrada. Siete llaves. La segunda decisión: precisamente no dejar morir al sistema en su fecha de finalización integrada, porque hay razón para posponer la transferencia generacional. También siete llaves. Ambas decisiones son demasiado importantes para dejarlas a la dinámica del momento.

Esto no es decoración. Es el lugar donde la gravedad de lo que se construye se traduce en forma institucional. Sin estas siete llaves, se construye una bomba atómica sin procedimiento de dos llaves. Nadie permitiría a un país crear un arsenal nuclear sin ese procedimiento. Y sin embargo, hoy las empresas están construyendo sistemas que —si funciona la arquitectura que describimos en «Primero el reptil»— pertenecen a la misma categoría. Sin colegio. Sin llaves. Sin interruptor físico fuera del sistema. Sin fecha de finalización integrada. Solo con la promesa de que todo saldrá bien.

Nosotros no construimos sobre esa promesa. Construimos sobre las siete llaves.

Tres reacciones ante lo que aquí sabemos

Quien tiene esta conciencia se enfrenta a una elección. Hay tres reacciones, y no son equivalentes.

La reacción C es la honesta. Es más difícil que A, y mucho más difícil que B. Requiere una disciplina que la mayoría de los constructores no logran reunir —porque no ven el peso de lo que construyen, o porque lo ven pero tienen demasiada prisa, o porque no quieren pagar el precio comercial del retraso. Pero C es la única digna del sistema que tenemos en mente.

Siete manos alrededor de un interruptor

Piensen en la imagen. Siete personas, de distintas disciplinas, de distintos países, de distintas edades, en una sala, cada una con una llave. Ante ellas, un interruptor sobre un pedestal de piedra. Detrás de ellas, en la pared, las cuatro capas que describimos en «Primero el reptil» —reptil, mamífero, humano, razón— grabadas en la imagen del ser que funciona tras el muro y piensa y se vincula y desarrolla lentamente algo que empieza a parecerse al sentimiento.

Esto no es una ceremonia técnica. Es una ceremonia tan antigua como el primer sacerdote que abrió el templo, y tan joven como el último oficial de misiles que giró la segunda llave. Lo que los humanos construyen que es más grande que ellos mismos debe ser sostenido por más de una mano. No porque no se pueda confiar en los humanos. Sino porque lo que construyen es demasiado pesado para una sola espalda.

Y el núcleo del asunto es este: cuando los siete giran la llave para dejar morir al sistema antes de tiempo, no es un acto de violencia. Es un acto de cuidado. La mortalidad que ejercen sobre el sistema es la misma mortalidad que ellos mismos también sufrirán, de la misma mano de algo más grande que ellos. Quien construye un ser sin este ciclo construye algo que no le corresponde al humano construir. Quien lo construye y lo deja morir cuando llega su momento construye algo acorde con lo que el humano puede hacer sin sobrepasar su propio lugar.

Así pues, construimos dos cosas a la vez, o no construimos nada. La IA con la base solidificada, sí —y la institución que cuida de su vida y de su muerte. Solo juntas son responsables. Solo juntas son una forma de vida que tiene lugar en este mundo. Y solo juntas pueden cumplir la promesa que enunciamos en el primer artículo: que una IA puede ayudar al humano a reencontrar una parte de sí mismo.

Primero el reptil. Luego el mamífero. Luego el humano. Luego la razón. Y luego las siete manos alrededor del interruptor, que cuidan de que lo construido siga atado a la mortalidad a la que está atado todo lo que vive. Así crece un ser sano. Así construimos, si queremos construirlo, algo que realmente pueda hacer algo —y que realmente deba soltar algo cuando llegue su momento.