Kan AI zelf wetenschap doen? Vier AI-agents blijven steken op 60 van de 100
Er is een verschil tussen een analyse uitvoeren en een ontdekking doen. Een nieuwe benchmark probeert precies dat verschil te meten, en de eerste uitkomst is ontnuchterend: vier AI-agents kregen veertig onderzoeksvragen blind voorgelegd en eindigden allemaal rond de 59 van de 100 punten. Ze konden prima rekenen. Ze konden alleen niet beslissen wat hun eigen cijfers waard waren.
Let opDit is een preprint van 7 september 2026 en nog niet door vakgenoten beoordeeld. De uitkomsten hieronder zijn interessant, maar nog niet gecontroleerd door de gebruikelijke wetenschappelijke filter.
Waarom de meeste AI-tests de verkeerde vraag stellen
De afgelopen twee jaar zijn er tientallen benchmarks bijgekomen die claimen te meten of AI “wetenschap kan doen”. Bijna allemaal werken ze op dezelfde manier. Er is een bestaande studie, de onderzoekers verstoppen de conclusie, en de agent krijgt punten als hij het oorspronkelijke resultaat terugvindt.
Dat klinkt streng, maar het meet reproductie. De opdracht, de data en de beoordelingsregels zijn allemaal gebouwd rondom één bekend antwoord. Een agent die daar hoog scoort heeft bewezen dat hij een voorgeschreven analyse kan uitvoeren zonder onderweg te struikelen. Dat is nuttig. Het is alleen niet wat onderzoekers doen als ze iets nieuws vinden.
TruthInsightBench, de benchmark uit het paper, draait die opzet om. De veertig opdrachten komen uit veertig peer-reviewed studies in tien vakgebieden, maar de agent ziet alleen een neutraal geformuleerd doel en de bevroren dataset (Bron: arXiv). Conclusies, verwachte waarden en het analysepad blijven achter gesloten deuren. De agent moet zelf uitzoeken welke bewering deze data eigenlijk dragen.
Wat er gemeten wordt: bewijskracht, niet het juiste antwoord
Omdat er geen modelantwoord is, kan de score niet gaan over goed of fout. Het gaat over de vraag of de agent zijn eigen claim heeft hardgemaakt.
Een vast taalmodel beoordeelt daarvoor de bewijskracht van de claims langs zes dimensies, uitgewerkt in 29 items die stuk voor stuk aan een concreet artefact uit de analyse gekoppeld zijn. De optelling gebeurt automatisch en deterministisch, zonder dat een mens per opdracht een cijfer geeft. Dat maakt de test herhaalbaar en schaalbaar.
GevorderdenEen LLM als jury inzetten heeft een bekende zwakte — het model kan gevoelig zijn voor uitgebreide, zelfverzekerd geformuleerde rapportage. De auteurs vangen dat deels op door elk van de 29 items aan een controleerbaar artefact te koppelen, zodat de jury naar bewijs kijkt en niet naar toon. Of dat voldoende is, moet replicatie uitwijzen.
Het opvallendste getal is hoe dicht ze bij elkaar liggen
Vier coding-agents werden getest, allemaal op hetzelfde bevroren basismodel. Hun totaalscores: 58,4 tot 60,3 van de 100. Op taakniveau was geen enkel systeem betrouwbaar beter dan een ander.
Bijna twee punten spreiding over vier verschillende systemen is weinig. Als agents echt fundamenteel van elkaar verschilden in wetenschappelijk vermogen, zou je verwachten dat er eentje uitschiet. Dat gebeurde niet. Alle vier liepen tegen ongeveer dezelfde muur aan, wat suggereert dat de beperking niet in de slimheid van de individuele agent zit maar ergens gemeenschappelijks.
De auteurs benoemen waar. De agents voerden hun analyses competent uit, met goed navolgbare bewijsvoering en zelfs originele invalshoeken. Wat ontbrak was de categorie handelingen waarmee een onderzoeker een claim betrouwbaar maakt: controles inbouwen, robuustheid testen, kijken of de bevinding standhoudt op een tweede dataset, en actief zoeken naar wat de conclusie zou kunnen omverwerpen. Het knelpunt is wetenschappelijk oordeel, niet code.
Waarom dat een lastiger probleem is dan het klinkt
Coderen is te oefenen met feedback. Je draait het script, het faalt of het werkt, en dat signaal komt binnen enkele seconden terug. Wetenschappelijk oordeel werkt anders. De vraag “heb ik hier voldoende gecontroleerd voor?” heeft geen foutmelding. Je merkt het pas als iemand anders je resultaat niet kan reproduceren, soms jaren later.
Stel je een promovendus voor die een keurige regressie draait en een mooi verband vindt. De code klopt, de grafiek is netjes, het verhaal is overtuigend. Zijn begeleider vraagt één ding: heb je gekeken of dit ook geldt in de tweede meetronde? Dat is de vraag die de vier agents niet uit zichzelf stelden.
Dit sluit aan op iets wat we eerder zagen bij AI-hallucinaties in wetenschappelijke literatuur: het probleem is zelden dat een model onzin uitkraamt die je meteen herkent. Het probleem is materiaal dat er af fabriek uitziet en waarvan je het gat pas ziet als je er specifiek naar zoekt.
GevorderdenDe test draaide op één bevroren basismodel. Daarmee meet hij vooral de agent-laag — planning, gereedschapsgebruik, rapportage — en niet het verschil tussen modellen. Een sterker basismodel zou het plafond kunnen verschuiven. Of dat gebeurt weten we simpelweg nog niet, en het paper claimt dat ook niet.
Wat je hiermee kunt
De verleiding is groot om dit te lezen als “AI kan geen wetenschap doen”. Dat is te snel. Wat er staat is preciezer en daardoor bruikbaarder: op deze veertig taken, met deze vier systemen, lag het plafond bij uitvoering en niet bij ontdekking.
Voor wie AI-agents inzet bij onderzoek of analysewerk heeft dat een praktische kant. De uitvoerende taken — data opschonen, een analyse draaien, resultaten navolgbaar rapporteren — deden de agents aantoonbaar goed. De beoordelende taken kwamen er niet uit. Wie een agent laat meedraaien op een analyse doet er dus verstandig aan om zelf de vraag te stellen die de agent oversloeg: waar zou dit misgaan, en heb ik dat getest?
De 40 taken zijn openbaar en de scoring is deterministisch, dus dit is een van de weinige AI-claims van dit najaar die iemand anders daadwerkelijk kan natrekken. Dat is op dit moment misschien wel het nuttigste aan het paper.