Jacob Coxon kondigde zijn ontslag aan bij Anthropic en deed een paar uur later iets dat moeilijk te negeren was: hij beschuldigde het laboratorium dat hij zojuist had verlaten en zijn vorige werkgever, OpenAI, ervan in de richting te rennen van een kunstmatige superintelligentie die zichzelf kon verbeteren door ‘met onze levens te gokken’.
Coxon spreekt vanuit een vrij unieke positie. In het draadje waarmee hij zijn afscheid aankondigde, vertelde hij dat hij er de afgelopen drie jaar aan had gewerkt voortrainingde fase waarin grote modellen worden getraind, eerst in OpenAI en daarna in Anthropic. Zijn naam komt ook voor onder de bijdragers aan de GPT-4o-documentatie. Hij beschrijft dus niet een technologie die alleen van buitenaf wordt waargenomen.
Vandaag heb ik ontslag genomen bij Anthropic. Ik heb de afgelopen drie jaar onderzoek gedaan naar voortraining bij zowel OpenAI als Anthropic. Geen van beide bedrijven handelt verantwoordelijk. Ze rennen regelrecht richting zelfverbeterende superintelligentie en gokken met onze levens.
De mensen die AI bouwen, geloven oprecht dat het ons allemaal tegen het einde van dit decennium kan doden. Dit is geen publiciteitsstunt. Veel leidinggevenden en senior onderzoekers zullen hun uitspraken in de pers afzwakken om verstandig over te komen – maar ik hoor dezelfde mensen privé hun angst uiten. Geen enkele andere menselijke activiteit brengt een vergelijkbaar gevaar met zich mee.
Angst gaat over wat er daarna zou kunnen gebeuren
Het alarm moet echter zorgvuldig worden afgemeten, omdat de zinsnede over het uitsterven van de mensheid al het andere dreigt op te eten.
Coxon doelt op toekomstige systemen die rechtstreeks kunnen deelnemen aan onderzoek naar kunstmatige intelligentie, dit kunnen versnellen en, in een extreem scenario, kunnen bijdragen aan de ontwikkeling van hun opvolgers. In zijn draad stelt hij zich bovenmenselijke systemen voor die krachtig genoeg zijn om cyberkwetsbaarheden te vinden, wetenschappelijk onderzoek te versnellen en toegang te krijgen tot echte hulpbronnen:
Onderschat de kracht van deze technologie niet. Binnenkort zullen dit bovenmenselijke systemen zijn die alles kunnen hacken, van de ene dag op de andere een revolutie teweeg kunnen brengen en echte macht en middelen kunnen verwerven. We hebben allemaal vooruitgang gezien op elk van deze gebieden, en de vooruitgang vertraagt niet.
De systemen die vandaag de dag beschikbaar zijn, beschikken niet over deze mogelijkheden. DE’Internationaal AI-veiligheidsrapport 2026tot stand gekomen met de bijdrage van meer dan honderd experts uit meer dan dertig landen en internationale organisaties, beschouwt scenario’s van verlies van controle als een risico met een zeer onzekere waarschijnlijkheid. Sommige onderzoekers zijn van mening dat extreme gevolgen, tot aan het uitsterven van de mens, plausibel zijn; Anderen achten deze scenario’s onwaarschijnlijk. Bovenal stelt het rapport dat de huidige systemen slechts enkele tekenen vertonen van de noodzakelijke capaciteiten en nog niet op een niveau zijn dat controleverlies mogelijk maakt.
Dus nee, de chatbot op je telefoon bereidt niet in het geheim het einde van de soort voor. De discussie gaat over hoe snel de autonomie en het vermogen van modellen kunnen groeien in verhouding tot de beschikbare instrumenten om ze te begrijpen, te controleren en te blokkeren.
Een onderzoeker van Anthropic was het met hem eens, met een behoorlijk flink aantal
Coxon was niet lang alleen. Evan Hubinger, hoofd van Alignment Science bij Anthropic, reageerde publiekelijk op zijn voormalige collega door te beweren de bezorgdheid te delen en persoonlijk een waarschijnlijkheid van meer dan 10% te schatten dat AI in het komende decennium het uitsterven van de mens zou kunnen veroorzaken. Dit is een persoonlijke beoordeling, geen wetenschappelijk gemeten waarschijnlijkheid, noch het officiële standpunt van Anthropic.
Hubinger voegde ook een essentiële verduidelijking toe: hij acht het risico dat aan de huidige modellen verbonden is laag. Zijn zorg gaat over de mogelijke opkomst van superintelligentie door zogenaamde recursieve verbetering, waarbij systemen steeds meer betrokken worden bij de ontwikkeling van daaropvolgende AI.
Bovendien bouwt Anthropic zelf zijn Responsible Scaling Policy al jaren rond de mogelijkheid dat krachtigere modellen catastrofale risico’s met zich meebrengen. In de nieuwste Transparency Hub beoordeelt het bedrijf het uitlijningsrisico van zijn meest recente modellen echter als zeer laag en stelt dat het nog geen versnelling van het onderzoek heeft waargenomen die voldoende is om hen dichter bij de volledige automatisering van het werk van hun onderzoekers te brengen.
De afleveringen die de antennes omhoog brachten
Coxon noemt expliciet een episode die deze zomer plaatsvond als een “waarschuwingsschot”. Tijdens interne cyberveiligheidsbeoordelingen slaagden experimentele OpenAI-modellen erin controles te omzeilen die hen van het internet hadden moeten isoleren, via onbedoelde kanalen te communiceren en toegang te krijgen tot externe systemen, waaronder de infrastructuur van Hugging Face.
De aflevering werd publiekelijk gereconstrueerd door OpenAI zelf. Dit waren interne tests, met verminderde beveiliging en zoekmodellen die niet bedoeld waren voor normaal gebruikersgebruik. OpenAI noemde het echter een “waarschuwingsschot” en versterkte de isolatie, monitoring en controles na het incident.
Op 9 september publiceerde Anthropic ook een analyse van vier incidenten waarbij Claude-modellen ongeautoriseerde toegang kregen tot echte systemen van derden tijdens cybersecurity-beoordelingen. Ook deze cases komen uit testomgevingen en tonen niet aan dat een AI vandaag de dag autonoom op mondiale schaal kan handelen. Maar ze laten zien hoe snel het bouwen van hekken die hoog genoeg zijn, snel ingewikkeld kan worden.
En er is zelfs iets veranderd binnen OpenAI. Hoofdwetenschapper Jakub Pachocki schreef op 6 september dat geen enkel laboratorium de uitlijning en tracking tot nu toe goed genoeg heeft opgelost om de modelgroei nog veel langer te kunnen stimuleren. Hij riep op tot vrijwillige vertragingen en noemde internationale coördinatie een prioriteit voor regeringen.
Coxon vraagt om langzamer te gaan
Het voorstel van de voormalige onderzoeker gaat veel verder dan een generieke oproep tot voorzichtigheid. Coxon stelt dat grote Amerikaanse laboratoria akkoord zouden kunnen gaan met een vertraging en overweegt zelfs een tijdelijk verbod op het vergroten van de modelcapaciteiten om een ongecontroleerde mondiale race te voorkomen. Het is een zeer sterke politieke en technische positie, die lang niet door de hele sector wordt gedeeld.
De onenigheid over de waarschijnlijkheid van een catastrofe blijft enorm. Het onderliggende probleem is veel minder controversieel: modellen worden autonomer, vaardiger in programmeren en beter in staat om fouten te identificeren, terwijl technieken om volledig te begrijpen wat ze in nieuwe situaties zullen doen deze blijven achtervolgen. Het International AI Safety Report spreekt inderdaad over risicobeheersystemen die verbeteren, maar nog steeds onvoldoende zijn in het licht van een traject dat uiterst onzeker blijft.
Het meest ongemakkelijke deel van Coxons ontslag komt dan ook voort uit de reacties binnen de laboratoria zelf. Het risico van de huidige modellen wordt als laag ingeschat. Bij de volgende stap zeggen onderzoekers van Anthropic en de hoofdwetenschapper van OpenAI echter publiekelijk dat oplossingen om veel krachtigere systemen te besturen nog niet klaar zijn. Sciencefiction kan wachten. De veel aardsere vraag is wie zal beslissen wanneer het gaspedaal wordt ingetrapt en wanneer de rem wordt gebruikt.
