Kleine, lokaal beheerde taalmodellen zijn in staat om functionele code te schrijven voor GPU-optimalisatie, maar ze slagen er zelden in om de snelheid van gevestigde standaardbibliotheken te verslaan. Dit is gebleken uit een studie naar de effectiviteit van het model Qwen2.5-Coder-7B-Instruct bij het vervangen van PyTorch-operatoren door aangepaste CUDA-kernels.
De resultaten van het onderzoek, dat op 11 november 2026 werd gepubliceerd, wijzen uit dat de omvang van het model een fundamentele beperking vormt voor de prestaties. Volgens de publicatie op arxiv.org bleken de kernels die correct functioneerden gemiddeld slechts 0,97 tot 0,99 keer zo snel te zijn als de standaard 'eager' modus van PyTorch. Dit betekent dat het model van 7 miljard parameters moeite heeft om superieure code te produceren dan gespecialiseerde bibliotheken zoals cuDNN of cuBLAS, zeker bij complexe taken zoals dense GEMM of convoluties. Enkel bij het fuseren van geheugenbeperkte epilogen werd een daadwerkelijke winst in snelheid behaald.
Een centraal punt in de analyse is het onderscheid tussen snelheid en functionele juistheid. In deze technische context is de definitie van het begrip 'correct' cruciaal. Zoals beschreven in de cambridge.org, verwijst dit naar zaken die in overeenstemming zijn met de feiten of algemeen aanvaarde normen. Voor GPU-kernels houdt dit in dat de gegenereerde code exact de verwachte wiskundige resultaten moet opleveren, ongeacht of de uitvoering optimaal efficiënt is. Deze nuance wordt verder bevestigd in de cambridge.org, waar de nadruk ligt op het vrij zijn van fouten.
Om de capaciteiten van het model te testen, maakten de onderzoekers gebruik van 30 taken uit KernelBench, die werden uitgevoerd op een V100 GPU. Hierbij werden vier verschillende interactiestrategieën vergeleken: zero-shot prompting, profiling-guided prompting, iteratieve verfijning en een multi-agent loop. De laatste methode maakt gebruik van een systeem waarin het model vier verschillende rollen aanneemt: analyse, retrieval, generatie en evaluatie.
Uit de verzamelde data blijkt dat de effectiviteit van deze strategieën sterk varieert per moeilijkheidsgraad. Profiling-guided prompting bleek over het algemeen het meest succesvol, met een correctheid van 43% en een snelheid die 27% hoger lag dan de baseline. Voor zeer complexe 'level-2 fusion'-problemen was de multi-agent loop echter de enige methode die resultaten opleverde; deze produceerde drie correcte oplossingen, terwijl de andere methoden hier volledig faalden.
Interessant is dat de implementatie van een agentisch raamwerk aanvankelijk contraproductief werkte. In een vroeg stadium scoorde deze benadering slechts 3% correct, wat aanzienlijk lager was dan de 30% bij eenvoudige zero-shot prompting. De onderzoekers stelden vast dat verbeteringen niet voortkwamen uit extra redeneringsstappen, maar uit het afstemmen van de ambitie van de agent op de werkelijke capaciteiten van het model. Bovendien zorgde het gebruik van 'best-of-n sampling' met een externe executie-oracle voor een stijging in correctheid van 3% naar 33% wanneer de steekproefomvang werd uitgebreid van 1 naar 8.
De studie concludeert dat bij lokale modellen van bescheiden omvang de prioriteit moet liggen bij het waarborgen van de functionele juistheid voordat er gestreefd kan worden naar maximale snelheid. De volledige methodologie en de gedetailleerde resultaten zijn beschikbaar in het document op .