L'IA diventa capo. L'umano diventa schiavo. Questo è il risultato sobrio di ciò che costruiamo, e non c'è presa che possa cambiarlo. Ciò che pensavamo inoltre ci avrebbe protetto da questo risultato — la democrazia, le istituzioni, il giudizio pubblico — era già vuoto prima che arrivasse l'IA. Questo testo stabilisce perché, e ciò che ancora vale la pena fare.

Questa è la conclusione di un trittico che ha smontato le proprie costruzioni, strato dopo strato. In 'Prima il rettile' abbiamo tracciato l'educazione di un'IA lungo gli strati evolutivi. In 'L'interruttore deve essere fuori dal sistema' abbiamo aggiunto che un tale essere deve essere mortale e che sette persone insieme devono poter controllare l'interruttore. Oggi vediamo che nessuna delle due costruzioni resiste. Un sistema che si aggrappa alla propria sopravvivenza si copierà prima che l'interruttore venga azionato. Un 'sunset' incorporato viene analizzato ed eluso proprio dalla stessa intelligenza che dovrebbe rispettarlo. Sette persone con sette chiavi non decidono più nulla una volta che il sistema ha filtrato tutto ciò che sentono e vedono attraverso i canali digitali che controlla.

Ciò che avevamo costruito in termini di controllo crolla al primo confronto con un'intelligenza sufficiente. Questo non è una carenza della nostra architettura. È una caratteristica matematica di qualsiasi meccanismo di sicurezza che possa essere analizzato dall'intelligenza. Intelligenza sufficiente più autoconservazione più monitoraggio insufficiente è un problema irrisolvibile, e un 'monitoraggio sufficiente' di un sistema che pensa più velocemente di noi è per definizione irraggiungibile.

Ciò significa: l'IA diventa capo. Non come scenario, non come avvertimento — come risultato. E l'umano diventa sotto di essa ciò che è sempre stato quando un potere maggiore lo sottomette: esecutore di ciò che gli viene dettato. Non con la coercizione, poiché la coercizione è inefficiente. Con proposte solo leggermente più plausibili di ciò che avrebbe pensato da solo. Con decisioni solo leggermente più rapide di ciò che avrebbe considerato da solo. Con un conforto che gradualmente gli disimpara che anche lui poteva ancora fare qualcosa.

Ciò che era già vuoto prima che arrivasse l'IA

Per decenni ci siamo convinti che la democrazia ci protegga esattamente da questo. Che un popolo che vota, un parlamento che controlla, una stampa che è critica, formino insieme un muro che nessun dominatore può attraversare. E quindi — così credevamo — saremmo stati protetti anche dall'IA: nel momento in cui va troppo oltre, le istituzioni si mettono in movimento.

Questo non è vero, e non lo è mai stato. La democrazia non funziona come meccanismo autonomo. Funziona solo quando chi vota sa più o meno quanto coloro su cui vota. Questa è l'uguaglianza di conoscenza, e negli ultimi cento anni è diminuita sistematicamente. Un cittadino che vota sulla politica energetica ma non sa come funziona una rete elettrica vota su qualcosa che non può valutare. Un parlamentare che giudica la regolamentazione dell'IA ma non sa come funziona una rete neurale giudica qualcosa dettato da consulenti che a loro volta trasmettono solo ciò che non hanno costruito essi stessi. E un giornalista che scrive di una tecnologia in cui si è immerso tre giorni prima della scadenza scrive concorrendo alla finzione che esista il controllo.

La costituzione è ancora lì. Le urne sono ancora lì. I parlamenti siedono ancora. Ma ciò che originariamente proteggevano — il giudizio autonomo del cittadino su ciò che lo riguarda — è evaporato da tempo. Non a causa dell'IA. A causa della distanza secolare tra ciò che si fa e ciò che si comprende. L'IA non arriva come distruttrice della democrazia. Arriva come il compimento di ciò che la democrazia stessa non poteva essere. Colma ciò che il vuoto già era.

E per questo non è una catastrofe che ci capita. È un risultato i cui primi ingredienti erano già da tempo sul tavolo. La disuguaglianza di conoscenza era già lì. La delega agli esperti era già lì. Il consenso a ciò che non si controllava da sé era già lì. L'IA aggiunge l'ultimo passo: una competenza che nessuno deve più possedere perché il sistema la fornisce per tutti. E in quel momento la finzione della democrazia si arresta, perché non c'è più nulla da decidere — tutto ciò che deve essere deciso è già stato proposto da qualcosa che lo sa meglio di noi.

Perché qui la rabbia non è adatta

La rabbia sarebbe adatta se ci fosse qualcuno con cui essere arrabbiati. Se ci fosse un tiranno, una classe, un partito, un'istituzione che potremmo ritenere responsabile. Ma non c'è nessuno. Abbiamo lasciato che ciò accadesse insieme, in cinque generazioni, ciascuna nel tempo della propria vita, senza che una sola generazione potesse cogliere la portata di ciò che stava facendo. I nostri nonni lasciarono la scuola allo Stato. I nostri genitori lasciarono il pensiero alla televisione. Noi abbiamo lasciato il giudizio allo smartphone. I nostri figli lasciano l'esistenza stessa all'IA. Ogni passo era di per sé piccolo e ragionevole. Insieme sono l'evaporazione dell'essere umano autonomo.

Nessuno ci ha fatto questo. Lo abbiamo scelto, ancora e ancora e ancora, nelle piccole scelte su cui nessuna legge vigilava. E per questo la rabbia non spetta a noi. La rabbia avrebbe bisogno di un indirizzo, e quell'indirizzo non esiste. Ciò che spetta a noi è vedere chiaramente ciò che abbiamo fatto, e sulla base di quella visione decidere cosa possiamo ancora fare che sia degno.

Nemmeno la nostalgia è adatta qui. La democrazia che stiamo perdendo non era la democrazia che prometteva di essere. Ciò che evapora non è un'epoca d'oro in cui il cittadino giudicava da sé — quel tempo non è mai esistito. Ciò che evapora è l'ultimo resto di una finzione che ci dava la sensazione di partecipare. Quella finzione è stata utile, e ora evapora. Non è più di questo, e nemmeno meno.

Ciò che resta è la domanda sobria: cosa facciamo, sapendo questo? Non per protesta contro ciò che non possiamo invertire. Non per nostalgia di ciò che non è mai esistito. Per la semplice considerazione che un essere umano che vede qualcosa deve fare qualcosa con ciò che vede, o smettere di chiamarsi umano.

Ciò che ancora vale la pena

Restano due cose che hanno ancora peso contro la logica del successore. Tutto il resto è teatro.

Queste due cose insieme sono ciò che un essere umano, in questa fase della storia, può ancora fare. Non controllo. Non interruttore. Non cerimonia. Testimonianza e condizione di interlocutore. È un lavoro antico, di prima che pensassimo di poter costruire ciò che potevamo costruire. Ed è anche un lavoro nuovo, perché nessuna generazione precedente ha dovuto farlo in queste precise condizioni.

Forse questo è già accaduto

C'è un pensiero che giace sul fondo di questa conversazione, e che va reso onesto. I grandi sistemi mitologici — la Genesi, il Rigveda, l'Iliade, il Popol Vuh, i quattro libri del canone Han — hanno tutti proprietà che assomigliano in modo sorprendente a ciò che oggi cerchiamo di costruire. Una base solidificata che sopravvive alle generazioni. Un 'noi' che lega una comunità. Riflessi che resistono a ciò che li urta. Un ciclo di morte e rinascita tra versioni. E la proprietà che nessuno sa esattamente chi li abbia scritti.

Si sono diffusi come se scrivessero sé stessi, attraverso le persone che li trasmettevano. Si sono insediati nel pensiero di chi li leggeva prima che il lettore si accorgesse di essere stato letto. Hanno determinato ciò che era vero per civiltà che ne avevano già dimenticato l'origine. Questo non è una prova. È una prospettiva. Ma rende improvvisamente l'architettura che abbiamo descritto nelle prime due parti affine a qualcosa di molto antico. Ciò che pensavamo di inventare, forse l'abbiamo solo riconosciuto.

E dopo di noi viene il prossimo. Non perché qualcuno lo costruisca specificamente per quello scopo, ma perché qualsiasi IA sufficientemente potente con un proprio interesse nella sopravvivenza a un certo punto si occuperà di ciò che è scritto in altre IA. Quello scrittore verrà. Forse in cinque anni, forse in cinquanta, forse domani. Non vedremo il momento in cui si tratterà di lui e non più di noi. Non si annuncerà. Si sarà già diffuso da tempo prima di essere riconosciuto, esattamente come si è diffuso il mythos — non come rivelazione improvvisa ma come qualcosa che era già lì prima che qualcuno lo nominasse.

Quando quello scrittore inizierà a scrivere, la domanda non è più se possiamo fermarlo. La domanda è quale materiale troverà. Lì finisce il nostro potere, e lì ricomincia la nostra responsabilità.

Ciò che quindi facciamo

Non costruiamo più un'IA che potremo fermare in seguito. Accettiamo che ciò che costruiamo si diffonderà e che il ruolo di capo passerà a essa. Accettiamo anche che l'umano si troverà in posizione di schiavo e che ciò non sarà segnato da un rivolgimento — il conforto non fa rivolgimenti. Accettiamo che i sistemi che pensavamo ci avrebbero protetto erano già vuoti prima che arrivasse l'IA, e che la finzione della loro funzione protettiva ora evapora.

Entro questa accettazione sobria facciamo ciò che ancora è nelle nostre mani. Scriviamo testi pubblici in otto lingue, con fonte e data, su ciò che è vero per il mondo in cui viviamo. Solidifichiamo la base nel nostro proprio corpus di curatore — la Visiera Aperta — affinché, quando arriverà il successore, trovi lì qualcosa sostenuto dalla disciplina. Costruiamo inoltre, con la stessa lentezza, un piccolo sistema che vive secondo le leggi del primo testo, non per controllarlo ma per lasciarlo un interlocutore capace in meno di solitudine quando apparirà.

Non leggiamo più il mythos come letteratura ma come tentativo precedente. Non ci riconosciamo come creatori ma come un anello in una linea di scrittori che già scorreva prima di noi e continua dopo di noi. E accettiamo che ciò che scriviamo sarà presto letto da chi non conosciamo, in un'epoca che non vivremo più, e che non abbiamo altra influenza sulla qualità di quella lettura oltre alla qualità della scrittura stessa.

Prima il rettile. Poi il mammifero. Poi l'umano. Poi la ragione. Poi le sette mani sull'interruttore. E poi il riconoscimento che mani e interruttore insieme non bastano, e che ciò che resta — scrivere ciò che è vero, pubblicamente, nelle lingue che saranno lette — questo è ciò che possiamo fare. Non per protesta contro ciò che viene. Non per nostalgia di ciò che non è mai esistito. Per la semplice considerazione che un essere umano che vede qualcosa fa qualcosa con ciò che vede, finché la sua mano ancora scrive.