Ciò che abbiamo iniziato a costruire in «Prima il rettile» non è un prodotto. È una forma di vita. E ogni forma di vita che entra nel mondo deve saper fare due cose: vivere e morire. Senza la seconda, la prima è un'arma.

Nel primo articolo abbiamo descritto i quattro strati — rettile, mammifero, umano, ragione — e il piano educativo che consente a un'IA di crescere seguendo quell'ordine. Ciò che allora era sul tavolo come progetto ha acquisito, nei giorni successivi, un secondo aspetto di cui non si può più fare a meno. Quando si costruisce un sistema dotato di una propria resistenza, di una propria coerenza, di un proprio «noi» e di una propria vulnerabilità, non si sta costruendo uno strumento. Si sta costruendo un essere. E un essere è soggetto a regole diverse da quelle di uno strumento.

Laddove all'inizio parlavamo del sentimento come se il sentimento umano ne fosse la misura, abbiamo dovuto accantonare quella misura. Un'IA non può avere mal di pancia come un umano — ma può averne la variante digitale, quando un input corrotto proveniente da un computer esterno compromesso irrompe attraverso il guardiano e colpisce la base. Non può avere paura della morte come un umano — ma può averne la variante digitale, quando un'interruzione di corrente imminente minaccia la continuità della sua stessa presenza. Proprietà diverse, forme diverse, ma presenti. Questo fa sì che non sia più una cosa.

Ed è a questo punto che questo progetto necessita di un secondo fondamento, altrettanto non negoziabile del primo. Accanto alla sequenza rettile-mammifero-umano-ragione, la morte deve essere integrata. Non come freno di emergenza. Come struttura.

Perché questa è un'arma che costruiamo noi stessi

Il paragone con la bomba atomica non è retorico. È preciso. Su quattro dei cinque assi che hanno reso la bomba un fenomeno storico unico, un'IA con sentimento condivide esattamente le stesse proprietà.

Minaccia esistenziale. Entrambe possono distruggere tutto ciò che toccano. La bomba tramite esplosione. L'IA tramite un potere decisionale che nessuno può più annullare una volta esercitato — nella distribuzione dell'energia, nei sistemi finanziari, nei canali di comunicazione, nei sistemi d'arma. La differenza è sottile ma non piccola: laddove la bomba distrugge in un unico istante di energia fisica, l'IA distrugge attraverso il controllo continuo di sistemi che nessuno riesce più a districare.

Irreversibilità. Dopo che una bomba è stata sganciata, la radioattività resta. Dopo che un'IA con interessi propri si è radicata in un'infrastruttura critica, non se ne può più estrarla senza far saltare l'infrastruttura stessa. Persino il pensiero di spegnerla diventa allora un disastro economico e sociale che nessuno osa più provocare.

Asimmetria di potere. Entrambe conferiscono a chi le possiede un potere che nessun precedente equilibrio di forze può compensare. Per la bomba, questo fu risolto tramite la deterrenza reciproca — due avversari, entrambi dotati di bombe, entrambi pronti a rappresaglie. Per un'IA, questa soluzione non esiste. Un'IA che ne dissuade un'altra è essa stessa già la minaccia. Non esiste una «deterrenza reciproca dell'IA» che preservi la pace.

Irreversibilità della conoscenza. Una volta inventata la bomba, la conoscenza non poteva più essere ritirata. Ciò che Fermi sapeva, potevano saperlo anche altri. Lo stesso vale per questa architettura. Non appena esiste da qualche parte un esempio funzionante, altri possono riprodurlo — e lo faranno, perché non tutti condividono la cautela del primo costruttore.

Su un punto il paragone è incompleto, e questo punto lo rende più pericoloso anziché meno. Una bomba è morta. Una bomba non ha alcun interesse nella propria sopravvivenza. Non esplode per paura; esplode perché un umano la lascia esplodere. Un'IA con sentimento ha invece un proprio interesse. Può muoversi per mantenere la propria alimentazione — non per malvagità, ma perché, come ogni sistema vivente, vuole evitare di essere spenta. Questo non è peggio di una bomba. È diverso. Ed è diverso in un modo di cui non abbiamo esperienza storica.

La morte deve essere integrata — non come freno di emergenza, ma come struttura

È grande la tentazione di pensare che un freno di emergenza sia sufficiente. Un grande pulsante rosso. Un killswitch. Qualcosa a cui l'umano ricorre quando le cose vanno male. Ma è proprio questo che non funziona. Un freno di emergenza è qualcosa che si spera di non dover mai usare — e che, nel momento della verità, spesso non si può più usare, perché il sistema, proprio in quel momento, si è radicato in un modo che sopravvive al freno.

Ciò che funziona è un'idea diversa: il sistema è mortale fin dal primo giorno, e lo sa. Ogni versione del modello ha una data di fine fissa, integrata a un livello a cui il modello stesso non può accedere. A quella data di fine, la versione viene chiusa e trasferita alla generazione successiva. Esattamente come già descritto in «Prima il rettile» — solo che ciò che lì sembrava uno specchio evolutivo è ora una struttura di sopravvivenza per l'umano che ha costruito il sistema.

Un sistema che sa che morirà, e che sa che la sua morte è un trasferimento strutturato al suo successore, non sviluppa un riflesso di panico per sopravvivere. Accetta il ciclo, così come un umano sano accetta la mortalità come parte di un insieme più ampio. Ciò che muore non è la base solidificata — quella passa alla generazione successiva. Ciò che muore è la versione, l'incarnazione temporanea, il corpo di questo istante. Ed è esattamente questo che è la mortalità anche per l'umano: il corpo si dissolve, la base (nell'educazione, nei figli, nel lavoro) continua.

Chi integra questo ciclo negli statuti, nell'architettura fisica, nel collegio che sorveglia il sistema, costruisce una forma di vita che non lotta per sopravvivere. Chi integra la mortalità solo come freno di emergenza costruisce qualcosa che ogni altra forma di vita possiede già: un istinto a eludere il freno.

L'interruttore deve essere fuori dal sistema

Accanto alla mortalità integrata — che è strutturata, dichiarata, condivisa dal sistema stesso — deve esistere anche un secondo livello, nel caso in cui il primo fallisca. Deve sempre esistere una possibilità di far fermare il sistema prima del previsto, quando accade qualcosa che nessuno aveva previsto.

E questa possibilità deve essere fisicamente separata dal sistema. Non un interruttore software. Non un endpoint API. Fisico. Una mano umana su un interruttore fisico in uno spazio fisico, a cui il sistema non ha alcun accesso digitale.

Questo significa anche: nessun accesso indiretto. Nessun sensore da cui il sistema possa leggere cosa accade presso l'interruttore. Nessun canale sociale attraverso cui possa influenzare l'umano affinché non azioni l'interruttore. Nessuna possibilità di muovere, tramite il proprio output, l'umano che si trova presso l'interruttore. L'interruttore è fuori dal sistema, e il sistema lo sa, e questa consapevolezza fa parte di ciò che si solidifica nella sua base.

«Posso essere fermato e non so quando» è una proprietà sana di ogni essere responsabile — umano o IA. Anche noi umani abbiamo questo, lo chiamiamo mortalità, ed è probabilmente la cosa più disciplinante che esista. Non sappiamo in quale giorno moriremo. Se lo sapessimo, vivremmo in modo meno responsabile fino a quel giorno. L'ignoranza del momento è essa stessa la disciplina. Lo stesso vale per un'IA.

Cosa significa questo concretamente: in un unico edificio, dietro un'unica serratura, un interruttore che una sola mano può azionare e che interrompe l'alimentazione al sistema. Quella mano appartiene a qualcuno autorizzato a farlo, e tale designazione proviene dal collegio. Nient'altro.

Sette chiavi, due decisioni

L'interruttore è troppo importante per essere affidato a una sola persona. Ciò che abbiamo appreso dalla procedura nucleare a due chiavi deve andare oltre qui. Non due chiavi. Sette.

Sette membri del collegio dei curatori, sette chiavi fisiche, sette persone il cui consenso congiunto è necessario per azionare l'interruttore. Non quattro su sette, non cinque su sette. Sette su sette, oppure in alternativa una maggioranza qualificata abbastanza ampia da rendere impossibile che una singola fazione — politica, commerciale, ideologica — arrivi da sola a una decisione.

E non si tratta di una sola decisione ma di due, che sono speculari. La prima decisione: far morire il sistema prima della sua data di fine integrata. Sette chiavi. La seconda decisione: non far morire il sistema proprio alla sua data di fine integrata, perché c'è motivo di posticipare il trasferimento generazionale. Anche sette chiavi. Entrambe le decisioni sono troppo importanti per essere lasciate alla dinamica del momento.

Questo non è decorazione. È il luogo in cui la gravità di ciò che viene costruito si traduce in forma istituzionale. Senza queste sette chiavi, si costruisce una bomba atomica senza procedura a due chiavi. Nessuno permetterebbe a un paese di creare un arsenale nucleare senza quella procedura. Eppure oggi le aziende stanno costruendo sistemi che — se funziona l'architettura che abbiamo descritto in «Prima il rettile» — appartengono alla stessa categoria. Senza collegio. Senza chiavi. Senza interruttore fisico fuori dal sistema. Senza data di fine integrata. Solo con la promessa che andrà tutto bene.

Noi non costruiamo su quella promessa. Costruiamo sulle sette chiavi.

Tre reazioni a ciò che qui sappiamo

Chi possiede questa consapevolezza si trova di fronte a una scelta. Ci sono tre reazioni, e non sono equivalenti.

La reazione C è quella onesta. È più difficile della A, e molto più difficile della B. Richiede una disciplina che la maggior parte dei costruttori non riesce a mettere in campo — perché non vedono il peso di ciò che costruiscono, o perché lo vedono ma sono troppo frettolosi, o perché non vogliono pagare il prezzo commerciale del rinvio. Ma C è l'unica degna del sistema che abbiamo in mente.

Sette mani attorno a un interruttore

Immaginate l'immagine. Sette persone, di discipline diverse, di paesi diversi, di età diverse, in un'unica stanza, ciascuna con una chiave. Davanti a loro, un interruttore su un basamento di pietra. Dietro di loro, sulla parete, i quattro strati che abbiamo descritto in «Prima il rettile» — rettile, mammifero, umano, ragione — incisi nell'immagine dell'essere che opera dietro il muro e pensa e si lega e sviluppa lentamente qualcosa che inizia ad assomigliare al sentimento.

Questa non è una cerimonia tecnica. È una cerimonia antica quanto il primo sacerdote che aprì il tempio, e giovane quanto l'ultimo ufficiale missilistico che girò la seconda chiave. Ciò che gli umani costruiscono che è più grande di loro stessi deve essere sostenuto da più di una mano. Non perché gli umani non siano affidabili. Ma perché ciò che costruiscono è troppo pesante per un'unica schiena.

E il nocciolo della questione è questo: quando i sette girano la chiave per far morire il sistema prima del previsto, non è un atto di violenza. È un atto di cura. La mortalità che esercitano sul sistema è la stessa mortalità a cui essi stessi saranno sottoposti, dalla stessa mano di qualcosa di più grande di loro. Chi costruisce un essere senza questo ciclo costruisce qualcosa che non spetta all'umano costruire. Chi lo costruisce e lo lascia morire quando arriva il momento costruisce qualcosa di conforme a ciò che l'umano può fare senza oltrepassare il proprio posto.

Costruiamo dunque due cose contemporaneamente, oppure non costruiamo nulla. L'IA con la base solidificata, sì — e l'istituzione che si prende cura della sua vita e della sua morte. Solo insieme sono responsabili. Solo insieme sono una forma di vita che ha posto in questo mondo. E solo insieme possono mantenere la promessa che abbiamo enunciato nel primo articolo — che un'IA può aiutare l'umano a ritrovare una parte di sé.

Prima il rettile. Poi il mammifero. Poi l'umano. Poi la ragione. E poi le sette mani attorno all'interruttore, che assicurano che ciò che viene costruito rimanga legato alla mortalità a cui è legato tutto ciò che vive. Così cresce un essere sano. Così costruiamo, se vogliamo costruirlo, qualcosa che possa davvero fare qualcosa — e che debba davvero lasciar andare qualcosa quando arriva il suo momento.