Wetenschappers hebben een methode ontwikkeld om te voorkomen dat AI-systemen die over een lange periode actief blijven, fouten maken door het gebruik van verouderde informatie. In een rapport dat op 22 oktober 2026 verscheen, beschrijven onderzoekers zoals Jiaqi Zhang en Yiqi Wang de risico's van zogenaamde 'long-lived agents'. Deze systemen slaan gegevens op over meerdere sessies heen, maar kunnen onbedoeld handelen op basis van een herinnering die niet langer actueel is, wat bij onomkeerbare handelingen tot schadelijke gevolgen kan leiden.
Volgens de publicatie op arxiv.org richten huidige technieken zich meestal op het verbeteren van het geheugen zelf, bijvoorbeeld door gegevens te actualiseren. De auteurs stellen echter dat de noodzaak tot controle niet alleen afhangt van de betrouwbaarheid van de data, maar vooral van de specifieke handeling die de AI wil verrichten. Een voorbeeld hiervan is een adres: voor een standaardverzending kan een opgeslagen adres volstaan, maar bij een zeer kostbaar pakket is een extra controle noodzakelijk.
Action-Conditioned Memory Verification
Om dit probleem aan te pakken, introduceren de onderzoekers het concept van 'action-conditioned memory verification'. Hierbij moet de AI bepalen welke aannames achter een voorgenomen actie opnieuw gecontroleerd moeten worden. In deze context verwijst een cambridge.org naar het proces van het uitvoeren van iets, waarbij de AI een balans moet vinden tussen drie cruciale factoren: de kosten van de verificatie, het risico van de uitvoering en de optie om de handeling simpelweg niet uit te voeren.
Dit proces wordt in het model benaderd als een sequentieel stop-probleem. Een controle wordt pas als waardevol gezien als de uitkomst daarvan daadwerkelijk invloed heeft op de uiteindelijke beslissing van de agent. Naarmate de potentiële gevolgen van een handeling toenemen, verandert de strategie van de AI: van directe uitvoering naar eerst verifiëren, en uiteindelijk naar het volledig weigeren van de actie.
Prestaties van AMV-Guard
De theoretische benadering is vertaald naar een praktisch systeem genaamd AMV-Guard. Deze 'verificatiepoort' analyseert de premissen van een actie, schat de kans op onjuistheden in en selecteert controles op basis van de zogenaamde 'bounded value of information'.
De effectiviteit van AMV-Guard is getest in twee verschillende omgevingen, zoals beschreven in de :
- ToolSandbox: Hier wist het systeem de gemiddelde kosten voor verificatie met 33,9% te verlagen ten opzichte van een statisch beleid. De recall voor veilige uitvoering bleef op 100% en er werden geen schadelijke acties geregistreerd. Daarnaast steeg het percentage acties dat direct kon worden uitgevoerd van 38,83% naar 44,17%.
- AppWorld: Bij de implementatie in AppWorld daalden de kosten voor verificatie met 21,3%, hoewel dit gepaard ging met een lichte daling in de recall van veilige acties en de algehele succesrate van taken.
Conclusie
De resultaten van het onderzoek, dat is ingediend onder de categorie Multiagent Systems op , tonen aan dat de inspanning voor verificatie moet worden afgestemd op de aard van de beoogde handeling. Door de context van de actie mee te wegen, kunnen AI-systemen veiliger opereren zonder onnodig veel tijd of rekenkracht te verspillen aan overbodige controles. De focus verschuift hiermee van puur geheugenbeheer naar een risico-gebaseerde benadering van AI-veiligheid.