In de wereld van kunstmatige intelligentie wordt een stabiel verloop van het trainingsproces doorgaans beschouwd als een positief teken dat een model correct leert. Een recent wetenschappelijk onderzoek stelt echter dat deze stabiliteit misleidend kan zijn. Het fenomeen, dat wordt aangeduid als 'Stable but Wrong', beschrijft een situatie waarin de optimalisatie van een model succesvol lijkt te verlopen, terwijl de uiteindelijke uitkomsten systematisch afwijken van de werkelijkheid.
Volgens een analyse van Zhipeng Zhang, gepubliceerd via arxiv.org, is stabiliteit primair een kenmerk van hoe het optimalisatieproces zich gedraagt. Het is geen sluitend bewijs dat het model daadwerkelijk convergeert naar een correct extern doel. Wanneer het signaal dat gebruikt wordt voor optimalisatie een aanhoudende bias bevat, kan een model in een staat terechtkomen waarin het leerproces volgens de operationele criteria stabiel blijft, maar het resultaat permanent verschoven is van het gewenste objectief.
Om dit theoretische kader te onderbouwen, is er gebruikgemaakt van een minimaal sterk convex model. Uit deze analyse blijkt dat een persistente bias in de update-richting het unieke convergentiepunt kan veranderen. Hierdoor convergeert het systeem niet naar het werkelijke optimum, maar naar een foutief punt dat desondanks stabiel is. Voor wie meer wil leren over de basisprincipes van dergelijke technologieën en digitale vaardigheden, biedt open.edu diverse educatieve bronnen.
De theorie werd verder getoetst via diverse experimenten binnen verschillende domeinen van machine learning. Zoals beschreven in de , zijn er tests uitgevoerd met supervised learning, waarbij patronen worden herkend op basis van gelabelde data, en reinforcement learning, waarbij een agent leert via beloningen en straffen. Daarnaast is er gekeken naar continual fine-tuning van grote taalmodellen (LLM's). In al deze gevallen werd een kloof waargenomen tussen de schijnbaar normale optimalisatiecurve en de feitelijke correctheid van de output. Dit gold zowel voor statische biases als voor biases die voortkomen uit feedbackloops.
Een belangrijk onderdeel van het onderzoek was de vraag of modellen die in deze 'Stable but Wrong'-staat zijn beland, nog kunnen worden gecorrigeerd. De resultaten suggereren dat trajecten na een foutieve stabilisatie nog wel aanpasbaar zijn. Dit kon worden bereikt door het model tijdens een herstelfase toegang te geven tot data zonder bias, of door middel van exploratie-interventies waarbij het model wordt gestimuleerd om nieuwe mogelijkheden te onderzoeken. De auteur merkt echter op dat de protocollen voor deze herstelmogelijkheden verschillen, wat betekent dat er niet noodzakelijkerwijs sprake is van één gedeeld herstelmechanisme.
De implicaties voor de betrouwbaarheid van AI zijn aanzienlijk. De studie concludeert dat een 'mooie' trainingscurve een beperkt signaal is voor de uiteindelijke betrouwbaarheid, zeker bij systemen die continu leren of werken met feedbackkoppelingen. Als de onderliggende signalen bevooroordeeld zijn, garandeert een stabiel optimalisatieproces niet dat het model de waarheid benadert.
De meest recente versie van dit onderzoek is op 27 augustus 2026 geactualiseerd. In deze herziene versie zijn de theoretische analyse en de conceptuele inkadering verder aangescherpt. Het volledige wetenschappelijke werk en de bijbehorende appendices zijn raadpleegbaar via de .