LoRA-adapters horen bij één specifiek AI-model — dat was tot nu toe de heersende opvatting. Nieuw onderzoek draait die aanname om: adapters die los van elkaar zijn getraind, kun je gewoon bij elkaar optellen. En het resultaat werkt op meerdere basismodellen tegelijk.
De techniek heet 'LoRA superposition'. Onderzoekers publiceerden er een studie over, te lezen op arxiv.org.
🧠 Even simpel uitgelegd
Grote AI-modellen zijn enorm. Wil je ze een extra taak leren, dan train je niet het hele model opnieuw, maar plak je een klein 'stickerpakket' aanpassingen op: een LoRA-adapter. Die past normaal alleen bij het model waarvoor hij is gemaakt. Dit onderzoek laat zien dat je meerdere van die stickers bij elkaar kunt plakken — en dat het gecombineerde pakket dan zelfs op ándere modellen werkt. Alsof een sleutel niet één slot opent, maar meerdere tegelijk.
Alle combinaties gingen vooruit
De onderzoekers testten de methode met meerdere basismodellen en taken voor beeldclassificatie. De exacte som van de adapters verbeterde alle geteste combinaties van basismodel en taak. De gemiddelde nauwkeurigheid steeg ten opzichte van de niet-aangepaste basismodellen.
Opvallend: de opgetelde adapters presteerden bijna net zo goed als adapters die specifiek voor één model waren getraind.
Het contrast met een controle-experiment is groot. Laat je één model weg uit de som — de zogenaamde 'leave-one-model-out' (LOMO) som — dan blijft er maar weinig winst over, aldus papers.cool. Ieder model levert dus echt een eigen bijdrage.
Het basismodel kiest zelf zijn component
De resultaten ondersteunen wat de auteurs de 'component-wise non-interference hypothesis' noemen. Het bevroren basismodel fungeert daarbij als een impliciete selecteur van zijn eigen component. Externe routing of complexe uitlijning tussen modellen is niet nodig.
De verklaring zit in de wiskunde. Solo LoRA's die voor een specifieke backbone zijn gemaakt, blijken bijna orthogonaal in de parameterruimte. De responsen tussen verschillende backbones concentreren zich juist sterk op de diagonaal.
Breder plaatje: model-merging en adaptatie
Het onderzoek sluit aan bij de trend van parameter-efficiënte fine-tuning (PEFT). Een survey op springer.com beschrijft uiteenlopende toepassingen van LoRA-varianten.
Ook andere studies proberen verschillen tussen modellen te overbruggen. Het PGSB-framework (Pretrained-Guided Shared Basis), geïntroduceerd in oktober 2026, identificeert gedeelde richtingen tussen taakspecifieke LoRA-updates om model-merging te optimaliseren, aldus arxiv.org.
Het 'Cross-LoRA' framework, gepresenteerd in augustus 2025, gaat een stap verder: het transfereert LoRA-modules tussen heterogene taalmodellen via subspace alignment met singular value decomposition (SVD) — zonder extra trainingsdata. Dat leverde relatieve winsten tot 5,26% op diverse benchmarks, volgens arxiv.org.
Ook de dynamiek van adaptatie krijgt aandacht. Het C-LoRA-systeem, waarvan de laatste revisie in oktober 2026 verscheen, bestrijdt 'catastrofaal vergeten' bij sequentiële taken met een leerbare routingmatrix die de balans tussen stabiliteit en plasticiteit beheert, zoals uiteengezet op arxiv.org.
De kern van de ontdekking: de band tussen adapters en hun basismodellen is minder rigide dan gedacht. Dat opent nieuwe wegen om kennis uit verschillende getrainde modellen te combineren.