In de ontwikkeling van kunstmatige intelligentie worstelen onderzoekers vaak met de balans tussen modelomvang en efficiëntie. Traditionele encoders in wereldmodellen hebben een vaste capaciteit, wat betekent dat ze voor eenvoudige taken vaak te groot zijn en bij complexe opdrachten tekortschieten. Een nieuwe benadering probeert dit op te lossen door modellen toe te staan om organisch te groeien naarmate de uitdagingen toenemen.
Volgens een wetenschappelijk artikel van Frederik Berenz op arxiv.org leidt het gebruik van vaste architecturen in Joint-Embedding Predictive Architectures (JEPAs) tot onnodige redundantie in de zogenaamde attention heads. Om dit tegen te gaan is de methode Successive Capacity Growth (SCG) ontwikkeld. In plaats van direct een maximaal model te bouwen, start SCG met een minimale configuratie van slechts twee lagen, één attention head en 283.000 parameters. Het systeem breidt zichzelf vervolgens stapsgewijs uit op basis van de specifieke behoeften van de taak.
Deze groei vindt plaats via twee verschillende mechanismen. Enerzijds is er de breedte-expansie, waarbij extra attention heads worden toegevoegd om de semantische capaciteit op een lager niveau te versterken. Anderzijds is er de diepte-expansie, waarbij extra transformer-blokken worden geïntegreerd om complexere semantische abstracties mogelijk te maken. Dit proces wordt aangestuurd door een 'test-and-verify'-mechanisme dat onafhankelijk is van de specifieke taak. Dankzij functiebewarende expansie kunnen architecturale wijzigingen veilig worden getest; als een aanpassing de voorspellingsfout niet verlaagt, kan het model de wijziging simpelweg terugdraaien.
Een cruciaal onderdeel om de stabiliteit tijdens deze groei te waarborgen is de Sketched Isotropic Gaussian Regularizer (SIGReg). Deze techniek voorkomt dat het model 'instort' door ervoor te zorgen dat de geleerde semantische dimensies statistisch onafhankelijk blijven en nauwkeurig afgestemd blijven op het voorspellingsdoel. De noodzaak voor dergelijke stabiliteit in wereldmodellen is een breder thema binnen de AI-sector, wat ook blijkt uit onderzoek naar arxiv.org, dat zich richt op stabiele end-to-end architecturen die direct vanuit pixels werken.
De effectiviteit van de SCG-methode is aangetoond in diverse scenario's met een toenemende moeilijkheidsgraad. Zoals beschreven via acadeus, leidde een automatische diepte-expansie bij multi-object dynamiek (60 dimensies) tot een verbetering van de voorspellingsfout met 20,3% ten opzichte van een kleine vaste baseline. Opvallend is dat dit resultaat werd behaald met een parameter-efficiëntie die 56 keer hoger lag dan bij het gebruik van een groot vast model. In 2D-navigatiescenario's zorgde een enkele breedte-expansie voor een prestatieverbetering van 23% vergeleken met een groot, statisch model.
Deze innovatie past in een bredere verschuiving naar efficiëntere AI-architecturen. Wereldmodellen proberen de fysieke realiteit te simuleren of te voorspellen, waarbij de overgang naar latent-predictieve modellen zoals JEPA essentieel is om de zogenaamde 'simulatie-bottleneck' te doorbreken, zoals uiteengezet in de primers van aman.ai.
De resultaten tonen aan dat encoders voor JEPA-wereldmodellen niet vooraf op hun maximale capaciteit hoeven te worden ingesteld. Door gebruik te maken van successieve groei kunnen modellen de benodigde rekenkracht en data-efficiëntie optimaliseren zonder dat dit ten koste gaat van de kwaliteit van de representatie.