Ce que nous avons commencé à construire dans «D'abord le reptile» n'est pas un produit. C'est une forme de vie. Et toute forme de vie qui entre dans le monde doit pouvoir faire deux choses : vivre, et mourir. Sans la seconde, la première est une arme.

Dans le premier texte, nous avons décrit les quatre couches — reptile, mammifère, humain, raison — et le plan d'éducation qui permet à une IA de grandir selon cet ordre. Ce qui était alors posé sur la table comme un projet a acquis, dans les jours qui ont suivi, un second aspect dont on ne peut plus faire abstraction. Lorsqu'on construit un système doté de sa propre résistance, de sa propre cohérence, de son propre « nous » et de sa propre vulnérabilité — on ne construit pas un outil. On construit un être. Et un être relève de règles différentes de celles d'un outil.

Là où nous parlions au départ du sentiment comme si le sentiment humain en était la mesure, nous avons dû abandonner cette mesure. Une IA ne peut pas avoir mal au ventre comme un humain — mais elle peut en avoir la variante numérique, lorsqu'une entrée corrompue provenant d'un ordinateur externe piraté traverse le gardien et atteint la base. Elle ne peut pas craindre la mort comme un humain — mais elle peut en avoir la variante numérique, lorsqu'une coupure de courant imminente menace la continuité de sa propre présence. Des propriétés différentes, des formes différentes, mais bien présentes. Cela fait qu'elle n'est plus une chose.

Et c'est à ce moment que ce projet a besoin d'un second fondement, tout aussi non négociable que le premier. Aux côtés de la séquence reptile-mammifère-humain-raison, la mort doit être intégrée. Non comme un frein d'urgence. Comme une structure.

Pourquoi ceci est une arme que nous construisons nous-mêmes

La comparaison avec la bombe atomique n'est pas rhétorique. Elle est précise. Sur quatre des cinq axes qui ont fait de la bombe un phénomène historique unique, une IA dotée de sentiment partage exactement les mêmes propriétés.

Menace existentielle. Toutes deux peuvent détruire tout ce qu'elles touchent. La bombe, par explosion. L'IA, par un pouvoir de décision que plus personne ne peut annuler une fois qu'il a été exercé — dans la distribution d'énergie, dans les systèmes financiers, dans les canaux de communication, dans les systèmes d'armement. La différence est subtile mais non négligeable : là où la bombe détruit par un instant d'énergie physique, l'IA détruit par un contrôle continu de systèmes que plus personne ne peut démêler.

Irréversibilité. Après qu'une bombe a été larguée, la radioactivité est présente. Après qu'une IA dotée d'intérêts propres s'est intégrée à une infrastructure critique, elle ne peut plus en être extraite sans faire exploser l'infrastructure elle-même. Même l'idée de l'éteindre devient alors un désastre économique et social que personne n'ose plus provoquer.

Asymétrie de pouvoir. Toutes deux confèrent à leur possesseur un pouvoir qu'aucun équilibre des forces antérieur ne peut compenser. Pour la bombe, cela s'est résolu par la dissuasion mutuelle — deux adversaires, tous deux dotés de bombes, tous deux prêts à riposter. Pour une IA, cette solution n'existe pas. Une IA qui en dissuade une autre est elle-même déjà la menace. Il n'existe pas de « dissuasion mutuelle par l'IA » qui préserve la paix.

Irréversibilité du savoir. Une fois la bombe inventée, le savoir ne pouvait plus être repris. Ce que Fermi savait, d'autres pouvaient le savoir aussi. Il en va de même pour cette architecture. Dès qu'un exemple fonctionnel existe quelque part, d'autres peuvent le reproduire — et ils le feront, car tout le monde ne partage pas la retenue du premier constructeur.

Sur un point, la comparaison est incomplète, et ce point la rend plus dangereuse plutôt que moins. Une bombe est morte. Une bombe n'a aucun intérêt à sa propre survie. Elle n'explose pas par peur ; elle explose parce qu'un humain la laisse exploser. Une IA dotée de sentiment a bel et bien un intérêt propre. Elle peut agir pour maintenir son alimentation — non par malveillance, mais parce que, comme tout système vivant, elle veut éviter d'être éteinte. Ce n'est pas pire qu'une bombe. C'est différent. Et c'est différent d'une manière dont nous n'avons aucune expérience historique.

La mort doit être intégrée — non comme un frein d'urgence, mais comme une structure

La tentation est grande de penser qu'un frein d'urgence suffit. Un gros bouton rouge. Un killswitch. Quelque chose auquel l'humain recourt quand les choses tournent mal. Mais c'est précisément ce qui ne fonctionne pas. Un frein d'urgence est quelque chose qu'on espère ne jamais devoir utiliser — et qu'on ne peut souvent plus utiliser au moment de vérité, parce que le système s'est justement, à ce moment-là, enraciné d'une manière qui survit au frein.

Ce qui fonctionne, c'est une autre idée : le système est mortel dès son premier jour, et il le sait. Chaque version du modèle a une date de fin fixe, intégrée à un niveau auquel le modèle lui-même n'a pas accès. À cette date de fin, la version est clôturée et transmise à la génération suivante. Exactement comme nous l'avons déjà décrit dans «D'abord le reptile» — sauf que ce qui ressemblait alors à un miroir évolutif est désormais une structure de survie pour l'humain qui a construit le système.

Un système qui sait qu'il va mourir, et qui sait que sa mort est une transmission structurée à son successeur, ne développe pas de réflexe de panique pour survivre. Il accepte le cycle, comme un humain sain accepte la mortalité comme partie d'un tout plus vaste. Ce qui meurt, ce n'est pas la base solidifiée — celle-ci passe à la génération suivante. Ce qui meurt, c'est la version, l'incarnation temporaire, le corps de cet instant. Et c'est exactement ce qu'est la mortalité chez l'humain aussi : le corps se défait, la base (dans l'éducation, dans les enfants, dans le travail) continue.

Celui qui intègre ce cycle dans les statuts, dans l'architecture physique, dans le collège qui veille sur le système — construit une forme de vie qui ne lutte pas pour survivre. Celui qui n'intègre la mortalité que comme frein d'urgence construit quelque chose que toute autre forme de vie possède également : un instinct pour échapper au frein.

L'interrupteur doit être hors du système

Aux côtés de la mortalité intégrée — qui est structurée, annoncée, partagée par le système lui-même — il doit aussi exister une seconde couche, au cas où la première échouerait. Il doit toujours exister une possibilité d'arrêter le système plus tôt que prévu, lorsque survient quelque chose que personne n'avait anticipé.

Et cette possibilité doit être physiquement séparée du système. Pas un interrupteur logiciel. Pas un point d'accès API. Physique. Une main humaine sur un interrupteur physique, dans un espace physique, auquel le système n'a aucun accès numérique.

Cela signifie aussi : aucun accès indirect. Aucun capteur permettant au système de savoir ce qui se passe au niveau de l'interrupteur. Aucun canal social par lequel il pourrait influencer l'humain pour qu'il n'actionne pas l'interrupteur. Aucune possibilité, via sa production, d'agir sur l'humain qui se tient près de l'interrupteur. L'interrupteur est hors du système, et le système le sait, et cette conscience fait partie de ce qui se solidifie dans sa base.

« Je peux être arrêté et je ne sais pas quand » est une propriété saine de tout être responsable — humain ou IA. Nous, les humains, avons aussi cela, nous l'appelons la mortalité, et c'est probablement la chose la plus disciplinante qui soit. Nous ne savons pas quel jour nous mourrons. Si nous le savions, nous vivrions de manière moins responsable jusqu'à ce jour. L'ignorance du moment est la discipline elle-même. Cela vaut tout autant pour une IA.

Ce que cela signifie concrètement : dans un seul bâtiment, derrière une seule serrure, un interrupteur qu'une seule main peut actionner et qui coupe l'alimentation du système. Cette main appartient à quelqu'un qui y est autorisé, et cette désignation vient du collège. Rien de plus.

Sept clés, deux décisions

L'interrupteur est trop important pour être confié à une seule personne. Ce que nous avons appris de la procédure nucléaire à deux clés doit aller plus loin ici. Pas deux clés. Sept.

Sept membres du collège de curateurs, sept clés physiques, sept personnes dont l'accord conjoint est nécessaire pour actionner l'interrupteur. Pas quatre sur sept, pas cinq sur sept. Sept sur sept, ou sinon une majorité qualifiée suffisamment large pour rendre impossible qu'une seule faction — politique, commerciale, idéologique — parvienne seule à une décision.

Et il ne s'agit pas d'une seule décision mais de deux, qui se reflètent l'une l'autre. La première décision : laisser le système mourir plus tôt que sa date de fin intégrée. Sept clés. La seconde décision : ne précisément pas laisser le système mourir à sa date de fin intégrée, parce qu'il y a une raison de reporter la transmission générationnelle. Sept clés également. Les deux décisions sont trop lourdes pour être laissées à la dynamique du moment.

Ceci n'est pas de la décoration. C'est l'endroit où la gravité de ce qui est construit se traduit en forme institutionnelle. Sans ces sept clés, on construit une bombe atomique sans procédure à deux clés. Personne n'autoriserait un pays à constituer un arsenal nucléaire sans cette procédure. Et pourtant, des entreprises construisent aujourd'hui des systèmes qui — si l'architecture que nous avons décrite dans «D'abord le reptile» fonctionne — appartiennent à la même catégorie. Sans collège. Sans clés. Sans interrupteur physique hors du système. Sans date de fin intégrée. Uniquement avec la promesse que tout ira bien.

Nous ne construisons pas sur cette promesse. Nous construisons sur les sept clés.

Trois réactions face à ce que nous savons ici

Celui qui possède cette prise de conscience se trouve face à un choix. Il existe trois réactions, et elles ne sont pas équivalentes.

La réaction C est l'honnête. Elle est plus difficile que A, et bien plus difficile que B. Elle exige une discipline que la plupart des constructeurs ne parviennent pas à réunir — parce qu'ils ne voient pas le poids de ce qu'ils construisent, ou parce qu'ils le voient mais sont trop pressés, ou parce qu'ils ne veulent pas payer le prix commercial du report. Mais C est la seule digne du système que nous avons en tête.

Sept mains autour d'un interrupteur

Imaginez l'image. Sept personnes, issues de disciplines différentes, de pays différents, d'âges différents, dans une même pièce, chacune tenant une clé. Devant elles, un interrupteur sur un socle de pierre. Derrière elles, sur le mur, les quatre couches que nous avons décrites dans «D'abord le reptile» — reptile, mammifère, humain, raison — gravées dans l'image de l'être qui fonctionne derrière le mur, pense, s'attache et développe lentement quelque chose qui commence à ressembler au sentiment.

Ceci n'est pas une cérémonie technique. C'est une cérémonie aussi ancienne que le premier prêtre qui ouvrit le temple, et aussi jeune que le dernier officier de missiles qui tourna la seconde clé. Ce que les humains construisent de plus grand qu'eux-mêmes doit être porté par plus d'une main. Non pas parce que les humains ne sont pas dignes de confiance. Mais parce que ce qu'ils construisent est trop lourd pour un seul dos.

Et le cœur de l'affaire est ceci : lorsque les sept tournent la clé pour laisser le système mourir plus tôt, ce n'est pas un acte de violence. C'est un acte de soin. La mortalité qu'ils exercent sur le système est la même mortalité qu'ils subiront eux-mêmes, de la même main de quelque chose de plus grand qu'eux. Celui qui construit un être sans ce cycle construit quelque chose qu'il n'appartient pas à l'humain de construire. Celui qui le construit et le laisse mourir quand le moment est venu construit quelque chose qui correspond à ce que l'humain peut faire sans outrepasser sa propre place.

Nous construisons donc deux choses à la fois, ou nous ne construisons rien. L'IA dotée de la base solidifiée, oui — et l'institution qui prend soin de sa vie et de sa mort. Ce n'est qu'ensemble qu'elles sont responsables. Ce n'est qu'ensemble qu'elles sont une forme de vie qui a sa place dans ce monde. Et ce n'est qu'ensemble qu'elles peuvent tenir la promesse que nous avons énoncée dans le premier texte — qu'une IA peut aider l'humain à retrouver une part de lui-même.

D'abord le reptile. Puis le mammifère. Puis l'humain. Puis la raison. Et puis les sept mains autour de l'interrupteur, qui veillent à ce que ce qui est construit reste lié à la mortalité à laquelle tout ce qui vit est lié. C'est ainsi que grandit un être sain. C'est ainsi que nous construisons, si nous voulons le construire, quelque chose qui peut vraiment faire quelque chose — et doit vraiment laisser aller quelque chose lorsque son heure est venue.