De snelheid waarmee AI-agenten taken uitvoeren wordt vaak belemmerd door de noodzaak om na elke actie te wachten op een reactie uit de omgeving. Deze seriële afhankelijkheid zorgt voor aanzienlijke vertragingen in de totale uitvoeringstijd, ook wel de 'wall-clock time' genoemd. Om dit knelpunt aan te pakken, hebben onderzoekers een nieuw runtime-mechanisme ontwikkeld genaamd Speculative Macro Commit (SMC).
Volgens een publicatie op arxiv.org is SMC ontworpen om de efficiëntie van agenten die externe tools gebruiken te verhogen zonder dat dit ten koste gaat van de precisie. Het systeem werkt via een tweelaagse architectuur. Een krachtig 'actor-model' bepaalt het definitieve pad van acties, terwijl een kleiner en sneller 'drafter-model' parallelle voorspellingen doet over toekomstige stappen. Deze voorspelde acties worden uitgevoerd in een tijdelijke kopie, of snapshot, van de omgeving, waardoor het systeem niet hoeft te wachten op de officiële bevestiging van elke individuele stap.
Een cruciaal element in deze aanpak is de implementatie van een 'macro library'. In deze bibliotheek worden veelvoorkomende patronen van acties opgeslagen als zogenaamde skeletten. Wanneer het drafter-model een reeks acties voorspelt die overeenkomt met een van deze patronen, kan het proces versneld worden. Zodra de gezaghebbende actor de eerste stap van een voorspelde reeks goedkeurt, worden de daaropvolgende stappen en de bijbehorende observaties direct in het officiële traject opgenomen. Zoals beschreven via acadeus, stelt dit mechanisme de agent in staat om effectief meerdere stappen vooruit te werken.
Om de prestaties van SMC te toetsen, maakten de onderzoekers gebruik van de Qwen3.5-27B INT4 als actor en de Qwen3.5-4B als drafter. De resultaten tonen een significante tijdwinst. In tests met de $\tau^2$-Bench Telecom-subset bleek de latentie 18,59% lager dan bij een volledig sequentiële uitvoering en 10,23% lager dan bij de zogenaamde 'Speculative Actions' (SA) baseline. Op het AppWorld-platform was het effect nog sterker, met een reductie in totale tijd van 44,9% ten opzichte van de sequentiële methode en 7,7% ten opzichte van de SA-baseline, hoewel er een lichte daling in de voltooiingsgraad van taken werd genoteerd.
Deze innovatie bouwt voort op eerdere ontwikkelingen in speculatieve uitvoering. Een eerder onderzoek naar arxiv.org introduceerde reeds een framework waarbij snellere modellen waarschijnlijke acties voorspelden om de latentie te verlagen, wat in diverse scenario's tot 20% tijdwinst opleverde. Waar dat eerdere systeem zich echter richtte op losse acties, breidt SMC dit concept uit naar volledige actieketens, wat een hogere snelheid mogelijk maakt.
De noodzaak voor dergelijke optimalisaties is groot, aangezien de reactiesnelheid van interactieve AI-systemen essentieel is voor hun inzet in professionele en technische sectoren. Zo benadrukt onairtoday.com het belang van deze wetenschappelijke doorbraken voor de praktische adoptie van AI-agenten.
Het onderzoek naar Speculative Macro Commit is geaccepteerd voor de conferentie MLSP2026. Om verdere innovatie binnen de AI-gemeenschap te stimuleren, is de bijbehorende code publiekelijk beschikbaar gesteld. De auteurs concluderen dat het overstappen van enkelvoudige speculatieve acties naar macro-commits een effectieve weg is om de runtime van agenten drastisch te verkorten.