AI-agenten die ongevraagd meehelpen in groepschats, weten vaak wél wat ze moeten zeggen — maar niet wanneer. Dat blijkt uit nieuw onderzoek naar de zogenaamde 'timing-vraag' bij kunstmatige intelligentie, gepubliceerd op arxiv.org.
De zogenaamde proactieve agenten zijn ontworpen om groepscollaboraties te ondersteunen. Ze dragen nuttige feiten of verduidelijkingen aan zonder dat iemand erom vraagt. Onderzoekers, waaronder Ruotong Wang en Amy X. Zhang, stellen vast dat zelfs relevante informatie disruptief uitpakt als de timing niet klopt.
🧠 Even simpel uitgelegd
Stel je voor: je zit met vrienden te overleggen en iemand die meeluistert roept steeds ongevraagd een handig feitje. Soms is dat tip echt nuttig — maar als hij op het verkeerde moment komt, haalt hij juist het gesprek uit de flow. Precies dat probleem hebben AI-agenten: ze checken of hun bericht relevant is, maar niet of het moment goed is.
Eerste benchmark voor gesprekstiming
Om het probleem meetbaar te maken, ontwikkelden de onderzoekers PITCH: Proactive Intervention Timing in CHat. Volgens de publicatie is dit de eerste benchmark die op grote schaal menselijke oordelen gebruikt over de timing van proactieve agenten — gebaseerd op ongescripte gesprekken tussen meerdere personen.
De data kwam tot stand via een speciale interface waarmee groepen van twee tot vier personen synchroon chatten. Deelnemers schreven zelf potentiële AI-bijdragen en bepaalden daarna als groep waar die berichten het beste in de gespreksgeschiedenis pasten. Zo ontstond een dataset met 384 kandidaat-bijdragen en 1.091 oordelen van 89 deelnemers, verspreid over 35 gesprekken.
Live presteren? Dan keldert de score
Het onderzoek testte 15 verschillende modellen in 28 configuraties. Het contrast tussen terugblikken en live meekijken is scherp. Wanneer een model de volledige gespreksgeschiedenis kan inzien, plaatst het bijdragen redelijk goed. Maar zodra het live moet beslissen terwijl het gesprek zich ontvouwt, zakt de nauwkeurigheid van de 'beste beurt' van 57,8% naar 19,0%.
Bijna de helft van de AI-berichten verscheen vóór het moment dat álle menselijke deelnemers acceptabel vonden. Mensen die live beslisten, deden het beter: 23,7% nauwkeurigheid en minder voortijdige tussenkomsten (39,7% tegenover 46,4% bij de AI).
Modellen redeneren over 'wat', niet over 'wanneer'
De analyse van de redeneringsprocessen legde een systematische fout bloot. Volgens de data baseerde 93% van de AI-modellen de rechtvaardiging voor een interventie op de relevantie van de informatie. Vrijwel geen enkel model hield expliciet rekening met het wachten op een geschikter moment.
Dat wijst op een fundamentele tekortkoming in hoe huidige AI-agenten zich in sociale groepssettings gedragen. De focus ligt op wat er gezegd moet worden; het wanneer blijft onderbelicht.
Waarom 'zou moeten' zo lastig is
Het onderzoek richt zich op technische implementatie, maar het concept 'wat men zou moeten doen' zit diep in de taal verankerd. In het Engels gebeurt dat met het modale werkwoord 'should'. Volgens het Cambridge Dictionary geeft dat werkwoord aan wat de correcte of beste actie is in een specifieke situatie.
Het gebruik van 'should' loopt uiteen van advies geven tot het uiten van een morele plicht of verwachting, zoals ABA English toelicht. Precies daar zit de uitdaging voor AI-agenten: bepalen wat 'ideaal' of 'gewenst' is — in de grammatica van Cambridge omschreven als het definiëren van wat optimaal is in een gegeven scenario.
De onderzoekers concluderen dat proactieve agenten expliciet moeten leren redeneren over timing. Alleen zo kan de sociale verstoring in menselijke samenwerking afnemen.