Onderzoekers hebben Specter ontwikkeld, een nieuw inferentiesysteem dat de snelheid van Mixture-of-Experts (MoE) modellen op consumentenhardware aanzienlijk verhoogt door PCIe-bottlenecks te omzeilen.
Het draaien van grote Mixture-of-Experts (MoE) modellen vormt een uitdaging voor enkelvoudige versnellers, omdat de totale hoeveelheid parameters vaak het beschikbare geheugen van één GPU overschrijdt. Om dit op te lossen, worden 'experts' (onderdelen van het model) vaak uitgewisseld naar het geheugen van de hostcomputer (offloading). Dit proces creëert echter een ernstige I/O-bottleneck via de PCIe-verbinding, aangezien de routing van data afhankelijk is van de input, waardoor transfers direct op het kritieke pad van de berekening liggen.
Speculatieve aanpak met kwantisering
Om dit probleem aan te pakken, introduceert Specter een methode die kwantisering combineert met speculatieve decoding. Volgens een publicatie op arxiv.org maakt het systeem gebruik van een lichtgewicht, gekwantiseerd draft-model dat efficiënt op het apparaat zelf draait. Dit model is klein genoeg om ruimte over te laten voor het hoofdmodel, maar behoudt voldoende precisie om activatiepatronen van experts nauwkeurig te voorspellen.
Door deze speculatieve aanpak kan het systeem meerdere stappen vooruitkijken naar welk expertgebruik in de toekomst nodig zal zijn. Hierdoor kan de runtime de verplaatsing van experts vanuit het hostgeheugen naar de GPU organiseren nog voordat de feitelijke verificatie plaatsvindt. In plaats van een sequentiële reeks van wachten en berekenen, kunnen communicatie en executie zo grotendeels overlappen, wat de latentie per gegenereerd token vermindert.
Prestatiewinst en technische architectuur
De resultaten van het systeem zijn veelbelovend voor gebruikers van commodity hardware. Uit de gegevens van aiweekly.co blijkt dat Specter bij inferentie met een enkel verzoek een gemiddelde versnelling van 1,50x behaalt in de tijd per output-token (TPOT), met uitschieters tot 1,88x ten opzichte van state-of-the-art systemen.
De architectuur van Specter rust op drie hoofdpijlers:
1. Speculative Inference Controller: Beheert een hybride-precisie model waarbij bepaalde componenten in FP16 en andere in INT4 draaien.
2. Predictive I/O Orchestrator: Bevat een planner die rekening houdt met lagen en een analyzer voor routingpatronen om prefetching te optimaliseren.
3. Streamlined Execution Engine: Optimaliseert parallellisme en maakt gebruik van cache-bewuste herordening voor de verificatie van experts.
Context en beschikbaarheid
Het onderzoek is uitgevoerd door een team van onder meer de Shanghai Jiao Tong University, zoals vermeld door agihunt.info. Het werk is officieel geaccepteerd voor de ASPLOS 2027 conferentie, wat wordt bevestigd op de publicatielijst van Xiaofeng Hou.
Hoewel de winst in snelheid aanzienlijk is, is er een belangrijke kanttekening bij de huidige resultaten. Zoals opgemerkt door cctest.ai, hebben de gerapporteerde prestatiewinsten betrekking op scenario's met een enkel verzoek (single-request inference). Er zijn in de huidige documentatie geen gedetailleerde resultaten beschikbaar voor batch-verwerking of multi-tenant serving, noch zijn er specifieke gegevens over verschillende host-geheugenplatformen.
De auteurs hebben de code voor Specter publiekelijk beschikbaar gesteld via een GitHub-repository om verdere implementatie en onderzoek in de gemeenschap te faciliteren.