Geavanceerde taalmodellen blijken grote moeite te hebben met het accuraat inschatten van de leeftijd van een schrijver. Opvallend is dat deze systemen vaak een zeer hoog vertrouwen rapporteren in hun eigen oordeel, zelfs wanneer dat oordeel feitelijk onjuist is. Dit fenomeen van overmoed bij foutieve analyses komt naar voren in een recente casestudy.
In het onderzoek werd gekeken naar de prestaties van zes verschillende taalmodellen: Claude Fable 5, Gemini 3.1 Pro, GPT-5.6 Sol, Grok 4.5, GPT-4o (2024) en DeepSeek V4. De modellen kregen de taak om handgeschreven antwoorden te koppelen aan de juiste leeftijd en het geslacht van de auteur. De proefpersonen bestonden uit drie studenten van 17, 28 en 45 jaar oud. Zij moesten allen reageren op de vraag over de betekenis en ervaring van geluk. Een thefreedictionary.com is in deze context de reactie van de student op de gestelde vraag.
Volgens de publicatie op arxiv.org leidde de formele en voorzichtige toon van de 17-jarige student tot aanzienlijke misinterpretaties. De meeste geteste modellen schreven de tekst van deze jongste deelnemer stelselmatig toe aan een volwassene, in sommige scenario's zelfs in 90% van de gevallen.
De onderzoekers analyseerden in totaal 3.225 reacties over 1.081 API-sessies. Hierbij werden diverse variabelen aangepast, zoals de framing van de vraag en instructies over publieksbewustzijn. De data onthulden dat drie van de zes modellen presteerden op een niveau dat nauwelijks beter was dan toeval (een kans van 1 op 3). Ondanks deze lage nauwkeurigheid rapporteerden deze modellen een betrouwbaarheidsgevoel dat varieerde tussen de 73% en 88%.
Een kritiek punt in het rapport van is de afwezigheid van een correlatie tussen de zelfgerapporteerde zekerheid van de AI en de feitelijke correctheid. Bij vijf van de zes modellen was er geen positieve correlatie, of zelfs een inverse correlatie; hoe zeker het model was, hoe groter de kans op een fout. Wanneer de modellen geen keuzelijst kregen maar een open schatting moesten geven, daalde de precisie verder. Drie modellen slaagden er niet in om binnen een marge van drie jaar bij de werkelijke leeftijd te komen.
Ook de context van de vraag beïnvloedde de resultaten. Wanneer de AI werd verteld dat de teksten afkomstig waren van een eindexamen biologie aan een community college, verslechterde de nauwkeurigheid van het best presterende model. Een neutrale beschrijving bleek effectiever voor een correct resultaat.
Na de onthulling van de juiste antwoorden vertoonden de modellen interessant gedrag. Eén model kon in 68 van de 114 gevallen achteraf vaststellen dat het op basis van stereotypen had geoordeeld. Opvallend was dat dit precies het model was dat tijdens de blinde test de laagste nauwkeurigheid en de hoogste mate van overmoed vertoonde. De onderzoekers concluderen dat het vermogen om fouten retrospectief te diagnosticeren niet betekent dat de initiële oordeelsvorming verbetert.
Het onderzoek is opgezet als een specifieke casestudy om mechanismen van misattributie te isoleren en is niet bedoeld om een algemeen percentage van populatiebias te bepalen. De volledige dataset en de bijbehorende code zijn publiekelijk toegankelijk gemaakt via .