Een recent wetenschappelijk onderzoek werpt nieuw licht op de vraag of taalmodellen in staat zijn om hun interne parameters direct aan te passen terwijl ze een tekst verwerken. Deze methode, die bekendstaat als 'dynamische evaluatie', stelt een model in staat om gradiëntstappen te zetten op basis van de informatie die het op dat moment analyseert. Volgens een publicatie op arxiv.org resulteert dit proces in een lagere foutmarge (loss) voor het resterende deel van het document, wat erop wijst dat het model zich tijdens het leesproces aanpast aan de specifieke inhoud.
Impact op verschillende modelarchitecturen
Het onderzoek, dat op 10 oktober 2026 werd ingediend door Surya Saka, laat zien dat de effectiviteit van deze aanpak sterk afhangt van de gebruikte architectuur. Bij modellen die gebruikmaken van softmax-attention, zoals bepaalde versies van Qwen3 en Gemma-4, werd een afname van de next-token loss met 5% tot 8% vastgesteld. Deze modellen presteerden hierdoor beter dan versies waarbij de parameters bevroren bleven, zelfs wanneer die laatste toegang hadden tot een volledige context van 32.000 tokens.
Andere architecturen reageerden minder sterk. Hybride Gated-DeltaNet modellen, waaronder specifieke varianten van Qwen3.5 en Qwen3.8, behaalden een winst van minder dan 1%. Dit wordt toegeschreven aan het feit dat de lineaire-attention blokken in deze systemen adaptatie blijkbaar al inherent uitvoeren. De meest opvallende verbeteringen werden gezien bij masked-diffusion modellen. Zo vertoonde Nemotron-Diffusion-8B een stijging van 8%, terwijl DiffusionGemma-26B een verbetering van 17% tot 20% liet zien, mits de updates beperkt werden en de leerfrequentie werd verlaagd, zoals beschreven in de .
Beperkingen bij het onthouden van feiten
Ondanks de winst in taalverwerking blijkt de methode onvoldoende voor het herstellen van informatieverlies. De onderzoekers testten diverse benchmarks, waaronder HotpotQA, BABILong en RULER, om te bepalen of het bijwerken van gewichten kon helpen bij het onthouden van feiten wanneer tekst wordt afgekapt (contexttruncatie). De resultaten waren negatief: de adaptatie richt zich primair op de stijl en het vocabulaire, maar niet op het daadwerkelijk ophalen van informatie.
Uit de data van blijkt dat het model bij het opslaan van feiten via de next-token loss eerder het formaat van de prompt onthoudt dan de feitelijke inhoud. Dit leidde tot een recall van slechts 30% bij chat-prompting, terwijl dit 80% was wanneer de informatie in de context behouden bleef. Daarnaast had deze methode een negatieve impact op wiskundige vaardigheden; op GSM8K-taken daalden de prestaties met 36 tot 38 punten.
Linguïstische context en alternatieven
Om de nadelige effecten op wiskundige taken te vermijden, experimenteerde de onderzoeker met het distilleren van conclusies in een 'low-rank adapter'. Deze benadering richt zich op het aanpassen van het gedrag van het model in plaats van de feiten zelf, waardoor het plafond van in-context leren werd bereikt zonder prestatieverlies op GSM8K.
Dit onderzoek benadrukt het fundamentele verschil tussen het aanpassen van de toon van een tekst en het verwerven van nieuwe kennis. Taal is in essentie een complex systeem van grammatica, woorden en geluiden dat mensen gebruiken om ideeën over te dragen, zoals uitgelegd op myenglishpages.com. Hoewel AI-modellen steeds beter worden in het synchroniseren van deze linguïstische aspecten, blijft het proces van feitelijke kennisverwerving tijdens het 'denkproces' een aanzienlijke technische hindernis.