Weet je wanneer er een gedachte in je opkomt en je vraagt je af of iemand die kan lezen? Tegenwoordig is het niet langer alleen maar sciencefiction. Een groep Japanse onderzoekers heeft zojuist een manier gevonden om hersenactiviteit in geschreven tekst te vertalen, en het resultaat is verrassend nauwkeurig.
Het project heet ‘Mind Captioning’ en het belooft de manier te veranderen waarop we de menselijke geest begrijpen – ook al is het, laten we eerlijk zijn, een beetje rusteloos.
Hoe de technologie die gedachten in woorden omzet, werkt
Het idee ontstond in de communicatiewetenschappelijke laboratoria van NTT in Japan, waar onderzoeker Tomoyasu Horikawa functionele magnetische resonantiebeeldvorming (fMRI) en taalmodellen voor kunstmatige intelligentie combineerde om naar de hersenen te ‘luisteren’. In de praktijk decodeert het systeem woorden niet rechtstreeks, maar interpreteert het de hersenmodellen die worden gevormd voordat het denken taal wordt. Een beetje zoals het lezen van de mentale schets van wat we gaan zeggen.
Het onderzoek, gepubliceerd op Wetenschappelijke vooruitganglaat zien dat zelfs wanneer een persoon stille video’s bekijkt of onthoudt, de hersenen voldoende informatie bevatten voor de AI om de scène op een samenhangende en betekenisvolle manier te beschrijven, wat resulteert in zinnen in natuurlijke taal die met verrassende nauwkeurigheid vertellen wat de persoon ziet of zich herinnert.
De hersenen ‘spreken’ zelfs zonder woorden
Horikawa heeft zijn methode ‘mind captioning’ genoemd: een aanpak in twee stappen. Ten eerste wordt hersenactiviteit vertaald in semantische kenmerken, d.w.z. representaties van betekenis, dankzij een diepgaand taalmodel genaamd DeBERTa. Vervolgens gebruikt een tweede model, RoBERTa, die informatie om volledige zinnen te reconstrueren. Door een iteratief proces van pogingen en correcties slaagt AI erin beschrijvingen te genereren die steeds meer consistent zijn met de oorspronkelijke gedachte.
Bij het experiment waren zes Japanse vrijwilligers betrokken die duizenden korte video’s zonder geluid bekeken. Tijdens het kijken en de daaropvolgende mentale herinneringsfase werden hun hersenactiviteiten vastgelegd met fMRI. Het systeem genereerde vervolgens zinnen die, vergeleken met de echte bijschriften, consistent bleken te zijn tot 50% van de gevallen, een enorme prestatie als je bedenkt dat het willekeurige resultaat slechts 1% zou zijn geweest.
Van geest tot tekst: wat ze echt ontdekten
Wat het allemaal nog fascinerender maakt, is dat het systeem niet simpelweg objecten opsomt, maar relaties en acties herkent: wie doet wat, waar en hoe. Toen de onderzoekers de volgorde van de woorden door elkaar haalden, daalde de nauwkeurigheid van de beschrijvingen – een teken dat het model de logische structuur van de scène daadwerkelijk had begrepen.
Bovendien werkt de decoder zelfs zonder de traditionele taalgebieden van de hersenen te betrekken. Het betekent dat betekenis over veel hersengebieden wordt verspreid – niet alleen over taalgebieden – en dat onze gedachten een begrijpelijke structuur hebben, zelfs voordat ze in woorden worden vertaald.
Ethiek, grenzen en toekomst van ‘mind captioning’
Gedachten lezen is uiteraard (nog) niet mogelijk. Horikawa maakt zelf duidelijk dat deze technologie niet “de geest leest”, maar niet-linguïstische mentale representaties interpreteert. En voorlopig werkt de methode alleen bij mensen die lange MRI-sessies ondergaan – maar liefst 17 uur per deelnemer – en met een enorme hoeveelheid gegevens.
Dan is er de kwestie van mentale privacy, een onderwerp dat de wetenschapper met voorzichtigheid benadert:
We hebben samenwerking, consensus en ethisch gebruik van hersengegevens nodig. We mogen deze resultaten nooit als iemands ware gedachten beschouwen.
Ondanks de beperkingen opent mind captioning fascinerende scenario’s: het kan mensen helpen die niet met taal kunnen communiceren, zoals mensen met afasie of verlamming, of het begrip van complexe mentale toestanden, zoals dromen, emoties of herinneringen, verbeteren.
Uiteindelijk herinnert dit onderzoek ons eraan dat de hersenen een natuurlijke verteller zijn: zelfs voordat ze spreken, construeren ze verhalen.
En misschien zullen we op een dag technologie kunnen gebruiken, niet om de geest te schenden, maar om een stem te geven aan degenen die zich niet kunnen uiten. Zoals Horikawa zelf zegt:
Het echte doel is om te begrijpen hoe bewustzijn betekenis construeert, zelfs voordat het woorden worden.”
Mogelijk bent u ook geïnteresseerd in:
