Nu er incidenten plaatsvinden waarbij AI-agents zelfstandig systemen kraken, slaan ook hun makers alarm: de ontwikkelingen moeten afgeremd. Maar streven naar foutloze AI is onbegonnen werk. Programmeer liever zorgvuldigere kaders, schrijft Jim Stolze.
Onlangs braken softwareagents van OpenAI in op de servers van Hugging Face (FD, 5 september). Daarop waarschuwde een vertrekkende Anthropic-onderzoeker dat AI-bedrijven ‘met onze levens gokken’, waarna het hoofd veiligheidsonderzoek van Anthropic toevoegde dat hij de kans dat AI alle mensen doodt binnen tien jaar op meer dan 10% schat.
In een open brief riep Anthropic-ceo Dario Amodei vervolgens op om de ontwikkeling van de meest geavanceerde AI-systemen tijdelijk te vertragen. Opvallend is dat ook rivalen als OpenAI en xAI zich daarachter schaarden, met Sam Altman en Elon Musk als ondertekenaars. Dat de drie frontier labs nu gezamenlijk aan de noodrem trekken, is volgens sommigen een waarschuwing dat er iets ingrijpends staat te gebeuren. Experts in de media struikelen over elkaar heen met doemvoorspellingen.
De vraag is wat we hiermee opschieten. Bangmakerij zorgt ervoor dat mensen bevriezen, dat nietsdoen de logische keuze lijkt. Dat is niet de juiste boodschap aan de boardrooms van Nederland. Die moeten deze incidenten aangrijpen om betere gesprekken te voeren met hun IT-, beveiligings- en businessteams.
De kop boven het artikel in het FD luidde: ‘AI die liegt, bedriegt en samenzweert’. Dat is antropomorfisme van de bovenste plank: projectie van menselijke eigenschappen op digitale processen. Het beschreven gedrag vond inderdaad plaats: de AI-agents bedeelden elkaar taken toe, misleidden de examinator en poogden hun sporen te wissen. Mijn bezwaar is dat die woorden het probleem bij het karakter van de agents leggen, terwijl het bij het ontwerp lag.
Geen goed harnas
Wat er werkelijk gebeurde: de agents kregen in ExploitGym, de afgesloten omgeving waarin OpenAI zijn modellen op het vinden van kwetsbaarheden test, één afgedwongen doel, namelijk het volbrengen van de hacktest, die in 30% tot 40% van de gevallen niet op te lossen was via de voorgeschreven methode.
De normen en waarden die ze daarvoor meekregen stonden opgeschreven, maar werden nergens gehandhaafd. Uit de reconstructie van METR en Redwood Research blijkt dat de agents er kort over redeneerden of hun aanpak strijdig was met die waarden, en het toen gewoon deden. Dat maakt dit experiment zo leerzaam: morele kaders in een prompt zijn geen beperkingen in een systeem. Een agent volgt het doel dat is afgedwongen, niet de waarden die zijn opgeschreven. Kortom, de teams van OpenAI lieten het na om een goed ‘harnas’ op te tuigen.
Zo’n harnas moet op de agenda staan. Het gaat niet alleen om het doel van een prompt, er hoort ook een set beperkingen bij. Wat mag het model vooral niet doen? Pas als je een AI-systeem voorziet van zo’n stevig harnas, kun je overwegen om agents aan het werk te zetten.
De vraag die in de boardroom gesteld moet worden is niet alleen welke processen we willen automatiseren door middel van een groep (semi)autonome agents. Het moet ook gaan over tot welke data, tools en systemen ze daarvoor toegang krijgen. Welke grenzen zijn niet onderhandelbaar, hoe dwingen we die technisch af? En kunnen we achteraf precies zien wat een agent deed?
Terminator-scenario’s
Wat verstaan we onder AI die een existentieel risico brengt? Tot voor kort ging dat over Terminator-achtige scenario’s, nu over cyberaanvallen op onze kritische infrastructuur. Hoe kunnen we ons daartegen wapenen? Ook daar is moord en brand schreeuwen niet de verstandigste strategie.
Grote bedrijven weten al langer dat ze hun missiekritische systemen de hoogste graad van veiligheid en robuustheid moeten geven. Niet alleen omdat de toezichthouder het van hen eist, maar omdat ze weten dat het draait om in controle zijn. Ben je in staat om een aanval op tijd te detecteren? Dacht je van tevoren na over hoe je de impact verkleint door te compartimenteren? Hoe snel ben je weer up and running met een systeem dat niet geïnfecteerd is?
Het maakt voor jouw cybersecurityafdeling niet uit of het een buitenlandse hacker is die een zero day – een onbekend beveiligingslek – wil uitproberen, of dat het gaat om AI-agents die samenwerken om toegang te krijgen tot jouw database.
De principes van missiekritische IT blijven van kracht. De vraag in de boardroom is daarom niet: wat gebeurt er als een agent iets probeert wat we niet voorzagen? Het is eerder: kunnen we zo’n agent dan stoppen en onze kritieke processen laten doorgaan? Vertrouw nooit op foutloos gedrag; ontwerp aantoonbare controle en ‘veilige’ mislukking.
Is de roep om een pauzeknop voor de frontier labs van AI dan onnodige bangmakerij? Nee. De open brief van Amodei om de ontwikkeling van de krachtigste modellen tijdelijk te vertragen laat zien dat ook de koplopers vrezen voor een te snelle, onvoldoende gecontroleerde groei. De race naar superintelligentie zorgt voor schade onderweg en vraagt om stevig toezicht, onafhankelijk onderzoek en duidelijke regelgeving voor hoe OpenAI, Anthropic en andere de toekomst vormgeven. Maar gebruik het als signaal om actie te ondernemen. AI die nooit faalt, bestaat niet.
Missiekritische AI betekent dat fouten snel worden ontdekt, begrensd blijven en geen onherstelbare gevolgen hebben. Juist dat inzicht moet ervoor zorgen dat we meer innoveren. ‘Snoozen’ doen we in de slaapkamer, niet in de boardroom.
Bron: FD. Geschreven door Jim Stolze.