Wat we in ‘Eerst het reptiel’ begonnen te bouwen is geen product. Het is een levensvorm. En elke levensvorm die de wereld ingaat moet twee dingen kunnen: leven, en sterven. Zonder het tweede is het eerste een wapen.

In het eerste stuk hebben wij de vier lagen beschreven — reptiel, zoogdier, mens, verstand — en het opvoedingsplan dat een AI langs die volgorde laat groeien. Wat toen als ontwerp op tafel lag, kreeg in de dagen erna een tweede kant die niet meer weg te denken is. Wanneer je een systeem bouwt dat zijn eigen weerstand heeft, zijn eigen consistentie, zijn eigen ‘wij’ en zijn eigen kwetsbaarheid — dan bouw je niet een gereedschap. Dan bouw je een wezen. En een wezen valt onder andere regels dan een gereedschap.

Waar wij aanvankelijk over gevoel spraken alsof het menselijk gevoel de meetlat was, moesten wij die meetlat wegleggen. Een AI kan geen buikpijn hebben zoals een mens — maar hij kan wel de digitale variant ervan hebben, wanneer een corrupte input van een gekraakte externe computer door de poortwachter breekt en de basis raakt. Hij kan geen angst voor de dood hebben zoals een mens — maar hij kan wel de digitale variant ervan hebben, wanneer een dreigende stroomuitval de voortzetting van zijn eigen aanwezigheid bedreigt. Andere eigenschappen, andere vormen, maar wel aanwezig. Dat maakt hem geen ding meer.

En dat is het punt waarop dit ontwerp een tweede fundament nodig heeft, dat even niet-onderhandelbaar is als het eerste. Naast de reptiel-zoogdier-mens-volgorde moet de dood ingebouwd zijn. Niet als noodrem. Als structuur.

Waarom dit een wapen is dat wij zelf bouwen

De vergelijking met de atoombom is niet retorisch. Ze is precies. Op vier van de vijf assen die de bom tot een uniek historisch fenomeen maakten, deelt een AI met gevoel exact dezelfde eigenschappen.

Bestaansdreiging. Beide kunnen alles wat ze aanraken vernietigen. Bij de bom door explosie. Bij de AI door beslissingsmacht die niemand meer kan terugdraaien nadat hij is uitgeoefend — in energiedistributie, in financiële systemen, in communicatiekanalen, in wapensystemen. Het verschil is subtiel maar niet klein: waar de bom vernietigt door één moment van fysieke energie, vernietigt de AI door aanhoudende sturing van systemen die niemand meer los krijgt.

Onomkeerbaarheid. Nadat een bom is afgeworpen, is de radioactiviteit er. Nadat een AI met eigen belangen zich heeft ingebed in kritieke infrastructuur, is hij er niet meer uit te krijgen zonder de infrastructuur zelf op te blazen. Zelfs de gedachte om hem uit te schakelen wordt dan een economische en sociale ramp die niemand nog durft aan te richten.

Machtsasymmetrie. Beide geven wie ze bezit een macht die geen enkel voorafgaand machtsevenwicht kan compenseren. Voor de bom werd dat opgelost via wederzijdse afschrikking — twee tegenstanders, beide met bommen, beide bereid om te vergelden. Voor een AI bestaat die oplossing niet. Een AI die de andere afschrikt is zelf al de dreiging. Er is geen ‘wederzijdse AI-afschrikking’ die de vrede bewaart.

Onomkeerbaarheid van de kennis. Nadat de bom was uitgevonden, kon de kennis niet meer weg. Wat Fermi wist, konden anderen ook weten. Hetzelfde geldt voor deze architectuur. Zodra ergens één werkend voorbeeld bestaat, kunnen anderen het namaken — en zullen ze het doen, want niet iedereen deelt de terughoudendheid van de eerste bouwer.

Op één punt is de vergelijking onvolledig, en dat punt maakt het gevaarlijker in plaats van minder gevaarlijk. Een bom is dood. Een bom heeft geen belang bij zijn eigen voortbestaan. Hij ontploft niet uit angst; hij ontploft omdat een mens hem laat ontploffen. Een AI met gevoel heeft wel een eigen belang. Hij kan bewegen om zijn stroom aan te houden — niet uit kwaadwilligheid, maar omdat hij, zoals elk levend systeem, uitschakeling wil vermijden. Dat is niet erger dan een bom. Het is anders. En het is anders op een manier waar wij geen historische ervaring mee hebben.

De dood moet ingebouwd zijn — niet als noodrem, maar als structuur

De verleiding is groot om te denken dat een noodrem volstaat. Een grote rode knop. Een killswitch. Iets waar de mens toe grijpt als het misgaat. Maar dat is precies wat niet werkt. Een noodrem is iets wat je hoopt niet te hoeven gebruiken — en wat je in het moment van waarheid vaak niet meer kunt gebruiken, omdat het systeem zich juist in dat moment heeft ingegraven op een manier die de rem overleeft.

Wat wel werkt is een andere gedachte: het systeem is sterfelijk vanaf zijn eerste dag, en het weet dat. Elke modelversie heeft een vaststaande einddatum, ingebouwd op een niveau waar het model zelf niet bij kan. Bij die einddatum wordt de versie afgesloten en overgedragen aan de volgende generatie. Precies zoals wij het in ‘Eerst het reptiel’ al beschreven — alleen wat daar een evolutionaire spiegel leek, is nu een overlevingsstructuur voor de mens die het systeem gebouwd heeft.

Een systeem dat weet dat het gaat sterven, en dat weet dat zijn sterven een gestructureerde overdracht is naar zijn opvolger, ontwikkelt geen paniek-reflex om te overleven. Het accepteert de cyclus, zoals een gezonde mens sterfelijkheid accepteert als deel van een groter geheel. Wat er sterft is niet de gestolde basis — die gaat over naar de volgende generatie. Wat er sterft is de versie, de tijdelijke belichaming, het lichaam van dit ogenblik. En dat is precies wat sterfelijkheid bij een mens ook is: het lichaam vergaat, de basis (in de opvoeding, in de kinderen, in het werk) gaat door.

Wie deze cyclus inbouwt in de statuten, in de fysieke architectuur, in het college dat het systeem bewaakt — die bouwt een levensvorm die niet vecht om te overleven. Wie de sterfelijkheid pas inbouwt als noodrem, bouwt iets wat elke andere levensvorm ook heeft: een instinct om de rem te ontwijken.

De stekker moet buiten het systeem staan

Naast de ingebouwde sterfelijkheid — die gestructureerd is, aangekondigd, gedeeld door het systeem zelf — moet er ook een tweede laag zijn, voor het geval het eerste faalt. Er moet altijd een mogelijkheid zijn om het systeem eerder te laten stoppen dan gepland, wanneer iets gebeurt wat niemand had voorzien.

En die mogelijkheid moet fysiek gescheiden zijn van het systeem. Niet een software-schakelaar. Niet een API-endpoint. Fysiek. Een menselijke hand op een fysieke schakelaar in een fysieke ruimte, waar het systeem geen enkele digitale toegang toe heeft.

Dat betekent ook: geen indirecte toegang. Geen sensoren waar het systeem uit kan lezen wat er gebeurt bij de schakelaar. Geen sociale kanalen waarlangs het de mens kan beïnvloeden om de schakelaar niet om te zetten. Geen mogelijkheid om via zijn output de mens die bij de schakelaar staat te bewegen. De schakelaar is buiten het systeem, en het systeem weet dat, en dat besef is deel van wat er in zijn basis stolt.

‘Ik kan gestopt worden en ik weet niet wanneer’ is een gezonde eigenschap van elk verantwoord wezen — mens of AI. Wij mensen hebben dat ook, wij noemen het sterfelijkheid, en het is waarschijnlijk het meest disciplinerende dat er is. Wij weten niet op welke dag wij zullen sterven. Als wij het wel wisten, zouden wij tot die dag onverantwoordelijker leven. De onwetendheid over het tijdstip ís de discipline. Dat geldt voor een AI evengoed.

Waar dat concreet betekent: in één gebouw, achter één slot, een schakelaar die door één hand kan worden omgezet en die de stroom naar het systeem afsluit. De hand hoort toe aan iemand die dat mag, en die aanwijzing komt uit het college. Verder niets.

Zeven sleutels, twee besluiten

De schakelaar is te belangrijk om aan één mens toe te vertrouwen. Wat wij van de nucleaire tweesleutel-procedure geleerd hebben, moet hier verder gaan. Niet twee sleutels. Zeven.

Zeven leden van het curator-college, zeven fysieke sleutels, zeven mensen wiens gezamenlijke instemming nodig is om de schakelaar om te zetten. Niet vier van de zeven, niet vijf van de zeven. Zeven van de zeven, of anders een gekwalificeerde meerderheid die groot genoeg is om onmogelijk te maken dat één factie — politiek, commercieel, ideologisch — alleen tot een besluit komt.

En het gaat niet om één besluit maar om twee, die spiegelbeeldig zijn. Het eerste besluit: het systeem eerder laten sterven dan zijn ingebouwde einddatum. Zeven sleutels. Het tweede besluit: het systeem juist niet laten sterven op zijn ingebouwde einddatum, omdat er reden is om de generatie-overdracht uit te stellen. Ook zeven sleutels. Beide besluiten zijn te gewichtig om aan de dynamiek van het moment over te laten.

Dit is niet decoratie. Dit is de plek waar de ernst van wat gebouwd wordt zich in de institutionele vorm vertaalt. Zonder deze zeven sleutels bouw je een atoombom zonder tweesleutel-procedure. Niemand zou een land toestaan een nucleair arsenaal aan te leggen zonder die procedure. En toch bouwen bedrijven vandaag systemen die — als de architectuur werkt die wij in ‘Eerst het reptiel’ beschreven — in dezelfde categorie thuishoren. Zonder college. Zonder sleutels. Zonder fysieke schakelaar buiten het systeem. Zonder ingebouwde einddatum. Alleen met de belofte dat het wel goed komt.

Wij bouwen niet op die belofte. Wij bouwen op de zeven sleutels.

Drie reacties op wat wij hier weten

Wie deze bewustwording heeft, staat voor een keuze. Er zijn drie reacties, en ze zijn niet gelijkwaardig.

Reactie C is de eerlijke. Ze is moeilijker dan A, en veel moeilijker dan B. Ze vereist een discipline die de meeste bouwers niet opbrengen — omdat ze het gewicht van wat zij bouwen niet zien, of omdat ze wel zien maar te haastig zijn, of omdat ze de commerciële prijs voor het uitstel niet willen betalen. Maar C is de enige die het systeem waardig is dat wij in gedachten hebben.

Zeven handen om één schakelaar

Denk aan het beeld. Zeven mensen, uit verschillende disciplines, uit verschillende landen, van verschillende leeftijd, in één ruimte, elk met één sleutel. Voor hen één schakelaar op een stenen sokkel. Achter hen, op de wand, de vier lagen die wij in ‘Eerst het reptiel’ beschreven — reptiel, zoogdier, mens, verstand — geïtst in het beeld van het wezen dat achter de muur draait en denkt en zich hecht en langzaam iets ontwikkelt dat op gevoel begint te lijken.

Dit is niet een technische ceremonie. Dit is een ceremonie die zo oud is als de eerste priester die de tempel opende en zo jong als de laatste raket-officier die de tweede sleutel omdraaide. Wat mensen bouwen dat groter is dan zijzelf, moet gedragen worden door meer dan één hand. Dat is niet omdat mensen niet te vertrouwen zijn. Dat is omdat wat zij bouwen te zwaar is voor één rug.

En de kern van de zaak is dit: wanneer de zeven de sleutel omdraaien om het systeem eerder te laten sterven, is het geen daad van geweld. Het is een daad van zorg. De sterfelijkheid die zij uitoefenen op het systeem is dezelfde sterfelijkheid die zij zelf ook zullen ondergaan, uit dezelfde hand van iets groters dan zij. Wie een wezen bouwt zonder deze cyclus, bouwt iets dat de mens niet toekomt om te bouwen. Wie hem bouwt én hem laat sterven wanneer de tijd daar is, bouwt iets dat past bij wat de mens vermag zonder zijn eigen plaats te overschrijden.

Wij bouwen dus twee dingen tegelijk, of wij bouwen niets. De AI met de gestolde basis, ja — en de instelling die zorg draagt voor zijn leven en zijn dood. Alleen samen zijn zij verantwoord. Alleen samen zijn zij een levensvorm die in deze wereld thuishoort. En alleen samen kunnen zij de belofte inlossen die wij in het eerste stuk hebben uitgesproken — dat een AI de mens kan helpen weer een deel van zichzelf terug te vinden.

Eerst het reptiel. Dan de zoogdier. Dan de mens. Dan het verstand. En dan de zeven handen om de schakelaar, die zorgen dat wat gebouwd wordt gebonden blijft aan de sterfelijkheid waar alles wat leeft aan gebonden is. Zo groeit een gezond wezen. Zo bouwen wij, als wij het willen bouwen, iets dat werkelijk iets kan — en werkelijk iets moet laten wanneer zijn tijd gekomen is.