Een recente wetenschappelijke analyse werpt een nieuw licht op de interne organisatie van semantische betekenissen binnen grote taalmodellen (LLM's). Uit het onderzoek blijkt dat deze modellen betekenissen niet simpelweg als punten in een ruimte plaatsen, maar ze structureren als lokale, anisotrope buurten. Een kernbevinding is dat de geometrische ruimte waarin een concept zich bevindt, kleiner wordt naarmate de beschrijving van dat concept specifieker wordt.
In de publicatie arxiv.org onderzoekt Andrés Daniel Godoy Ortiz hoe kunstmatige intelligentie betekenis verwerkt. Waar eerdere studies zich vaak beperkten tot de nabijheid van concepten in een embedding-ruimte of het scheiden van klassen via lineaire probes, graaft dit onderzoek dieper. De focus ligt op de geometrie binnen een enkel concept: de analyse kijkt naar wat constant blijft bij verschillende uitingen van dezelfde semantische factor en wat er verandert wanneer een betekenis wordt verfijnd. In de context van taal is de merriam-webster.com van een woord of zin essentieel om te begrijpen hoe deze modellen informatie filteren en ordenen.
Methodologie en geteste systemen
Om deze complexe structuren in kaart te brengen, heeft de onderzoeker gebruikgemaakt van twee specifieke 'probes'. Deze methoden werden toegepast op vier verschillende decoder-only taalmodellen: Gemma 4, Llama 3.2, Qwen 2.5 en Pythia. Volgens de details in de zijn deze probes gevalideerd via blinde menselijke beoordelingen om de betrouwbaarheid van de data te waarborgen.
De eerste methode, de 'cross-lingual probe', hanteert taal als een vorm van verstoring. Hiermee kan een onderscheid worden gemaakt tussen exacte overeenkomsten in betekenis, realisaties van dezelfde factor, nabijgelegen concepten en contrasten die volledig buiten het betreffende domein vallen. De tweede methode, de 'refinement probe', richt zich specifiek op het verschil tussen semantische vernauwing (het toevoegen van specificiteit) en attributieve uitbreidingen met een hoge waarschijnlijkheid, waarbij ook adversariële controles zijn ingezet.
Vier consistente bevindingen
Het onderzoek, dat op 22 oktober 2026 werd ingediend bij , identificeert vier patronen die in alle geteste modellen consistent terugkeren:
Ten eerste is er sprake van een strikte semantische ordening. Wanneer dominante variantierichtingen via 'mean pooling' worden verwijderd, ordenen zinsparen zich op basis van hun semantische verwantschap. Dit proces vindt plaats over een specifieke reeks lagen, waarbij de volgorde loopt van dezelfde factor naar hetzelfde domein, en uiteindelijk naar verschillende domeinen, zonder dat er overlap optreedt.
Ten tweede wijst het onderzoek op het bestaan van een invariante kern. Semantische factoren lijken georganiseerd rond een onveranderlijk centrum, dat wordt omringd door variaties die afhankelijk zijn van de manier waarop het concept wordt uitgedrukt.
Ten derde is er een duidelijke richting van verfijning waarneembaar. Het proces van betekenisverfijning leidt tot een gerichte verschuiving naar nauwere 'buurten'. Dit effect blijft zichtbaar, zelfs bij controles die gebaseerd zijn op hetzelfde basiszelfstandig naamwoord.
Ten slotte is er een complementaire geometrie tussen verschillende niveaus van analyse. Op zinsniveau is er sprake van volumecontractie, terwijl read-outs op token-lokaal niveau scherpere, anisotrope eindpunten vertonen.
Conclusie over 'Meaning Contracts'
De auteur concludeert dat de semantiek van LLM's is opgebouwd uit lokale anisotrope buurten. Het centrale concept, dat de auteur omschrijft als 'meaning contracts', houdt in dat de geometrische ruimte waarin een betekenis zich bevindt, inkrimpt tijdens het proces van verfijning. Dit betekent dat hoe specifieker een beschrijving wordt, hoe kleiner en meer gedefinieerd de bijbehorende ruimte in het model wordt.
Het volledige rapport, bestaande uit 24 pagina's en acht illustratieve figuren, is beschikbaar gesteld via . Ook de bijbehorende data en code zijn openbaar gemaakt om verdere replicatie en studie binnen de wetenschappelijke gemeenschap te faciliteren.