Wetenschappers hebben een nieuwe benadering ontwikkeld waarmee kunstmatige intelligentie-agenten visuele hulpmiddelen kunnen integreren in hun interne redeneerproces. Waar huidige data-agenten voornamelijk vertrouwen op tekstuele interacties en numerieke data, stelt deze nieuwe methode hen in staat om grafieken te gebruiken als actieve instrumenten voor het detecteren van patronen en anomalieën.
In de huidige stand van zaken maken veel AI-systemen gebruik van zogenaamde 'ReAct-style loops', waarbij het denkproces bijna volledig via tekst verloopt. Dit verschilt fundamenteel van de manier waarop menselijke analisten te werk gaan; zij wisselen constant af tussen tabellen, cijfers en visuele weergaven om bewijslast te verzamelen. Volgens een arxiv.org is er een aanzienlijke kloof tussen wat AI-agenten technisch kunnen lezen en wat zij in de praktijk besluiten te gebruiken tijdens een analyse.
Om dit fenomeen te onderzoeken, hebben Xinzhe Wang en collega-onderzoekers de testsuite $\text{PROBE}$ ontwikkeld. Deze suite bevat 200 gecontroleerde taken verspreid over vier verschillende interfacecondities. Uit de resultaten van dit onderzoek, zoals beschreven in het , blijkt dat agenten even goed presteren wanneer zij zelf gegenereerde grafieken gebruiken als wanneer zij puur numerieke output analyseren. Echter, het simpelweg aanbieden van de mogelijkheid om te plotten, zorgde er niet voor dat de agenten dit consequent gingen doen.
De onderzoekers stelden vast dat visuele weergaven superieur zijn bij het analyseren van tijdstroom en patronen, terwijl tekst effectiever blijft voor het verifiëren van specifieke waarden. Om dit te optimaliseren, introduceerden de auteurs een systeem dat ervaringen destilleert uit 'conditioned trajectory rollouts'. Dit systeem leert de agent wanneer het raadzaam is om tekst, grafieken of een combinatie van beide in te zetten. Een 'trajectory judge' scoort de resultaten, terwijl een validatiepoort enkel ervaringen doorlaat die de prestaties op onbekende datasets daadwerkelijk verbeteren.
De effectiviteit van deze methode werd getest op drie benchmarks met vier verschillende Large Language Model (LLM) backbones. Volgens de resulteerde dit in een hogere analytische nauwkeurigheid en een betere kwaliteit van het visuele bewijs. Een opvallend resultaat is dat modellen die voorheen geen gebruik maakten van grafieken, door deze methode begonnen te plotten zonder dat de parameters van het model zelf gewijzigd hoefden te worden.
Deze ontwikkeling verschuift de rol van grafieken binnen AI. Ze worden niet langer enkel gezien als een eindproduct voor de menselijke gebruiker, maar als 'epistemische acties' die het begrip van de agent tijdens het proces vergroten. Hoewel platforms zoals tradingview.com reeds geavanceerde visuele instrumenten bieden voor menselijke handelaren, laat dit onderzoek zien dat de integratie van visuele logica in de interne redenering van AI nog in een vroeg stadium verkeert. De resultaten wijzen op een toekomst waarin autonome data-analyse steunt op een hybride vorm van tekstueel en visueel redeneren.