Een nieuwe wetenschappelijke publicatie stelt een veiligheidscontract voor dat voorkomt dat AI-agenten werken met inconsistente code-informatie wanneer zij gelijktijdig wijzigingen aanbrengen in software-repositories.
In de ontwikkeling van autonome AI-agenten die softwarecode kunnen bewerken, ontstaat vaak een technisch probleem waarbij de agent informatie opvraagt uit een repository terwijl deze tegelijkertijd wordt aangepast. Volgens een onderzoek van Meng Shi, gepubliceerd op arxiv.org, kan dit leiden tot een zogenaamde 'mixed-revision code context'. Dit fenomeen treedt op wanneer een query feiten combineert die nooit tot dezelfde versie van de repository hebben behoord, omdat broninhoud, symbolen en grafiekrelaties vaak in verschillende opslagplaatsen worden beheerd en op verschillende tijdstippen worden vernieuwd.
Het concept van revisie-consistentie
Om dit probleem op te lossen, introduceert de onderzoeker een 'complete-revision publication contract'. Dit contract zorgt ervoor dat een service voor de agent ofwel wacht, een melding van onbeschikbaarheid geeft, of een volledige oude versie van de code serveert. Pas nadat een specifiek publicatiepunt is bereikt, wordt de volledige nieuwe revisie getoond. In de context van softwareontwikkeling wordt een cambridge.org gedefinieerd als een wijziging die aan iets wordt aangebracht of het proces van het doen hiervan.
Het voorgestelde contract vereist een gedeelde versie-identiteit en een duidelijke publicatiegrens voor elk overzicht dat in één respons wordt teruggegeven. Dit voorkomt dat een AI-agent beslissingen neemt op basis van een hybride staat van de code, wat cruciaal is voor de betrouwbaarheid van automatische bewerkingen.
Testresultaten en implementatie in Codetrip
De methode is geïmplementeerd in een systeem genaamd Codetrip, dat brongegevens, symbolen en grafiekfeiten samenvoegt. In een gecontroleerde vergelijking op de software 'frozen Gin v1.12.0' werden 150 update-scenario's getest. Uit de resultaten op blijkt dat het gebruik van live-source compositie leidde tot twee onveilige responsen. In contrast hiermee produceerde de methode met complete-revision publicatie geen enkele onveilige respons onder dezelfde scenario's.
Daarnaast is er gebruikgemaakt van een journaled, idempotente publicatie waarbij het MCP-proces wordt beëindigd bij vijf duurzame grenzen. Bij 300 evaluatietests op de projecten 'frozen Gin' en 'Cobra' leverde dit telkens een context op die gelijkstond aan een volledige schone herbouw. De gemiddelde latentie bij het herstarten naar de context lag tussen de 77 en 131 milliseconden.
Vergelijking met bestaande systemen
Om de effectiviteit van Codetrip aan te tonen, is er een specifieke test uitgevoerd met het hernoemen van elementen (rename probe). Hierbij bleek dat in 0 van de 30 trials bij Codetrip een gemengde context optrad. Terwijl dit bij Codetrip niet voorkwam, vertoonden zowel CodeGraph als codebase-memory-mcp in alle 30 van de 30 trials wel een gemengde context voordat er convergentie naar een schone staat plaatsvond, zoals beschreven in de .
De belangrijkste bijdrage van dit onderzoek is het bieden van een veiligheidscontract voor agenten, een implementatiepatroon en een meetprotocol. Hiermee kan worden gegarandeerd dat elke succesvolle respons een testbare betekenis heeft wat betreft de staat van de repository, zelfs na een onderbreking. Hoewel sommige externe bronnen zoals Reverso geen specifieke technische details over dit onderzoek bieden, bevestigt de academische data de noodzaak van strikte versiebeheer-protocollen voor AI-gestuurde software engineering.