Het vermogen van kunstmatige intelligentie om in een gedeelde virtuele ruimte te herkennen of een opmerking daadwerkelijk aan hen is gericht, wordt sterk beïnvloed door ruimtelijke informatie. In een recente studie naar interacties in driedimensionale omgevingen is onderzocht hoe AI-agenten omgaan met de uitdaging van 'addressee detection', oftewel het identificeren van de beoogde ontvanger van een boodschap wanneer er meerdere gebruikers aanwezig zijn.
Om dit fenomeen te analyseren, hebben Mohammad Al-Ratrout en zijn team de 'LookAway'-dataset ontwikkeld. Deze dataset bevat 1.200 interacties, verdeeld over 40 sessies met 80 verschillende persona's en een taalmodel. Volgens een wetenschappelijke publicatie op arxiv.org is er getest hoe drie open-weight taalmodellen reageren op situaties waarin de kijkrichting van de spreker wel of niet overeenkwam met de werkelijke ontvanger van de boodschap.
De resultaten wijzen op een significante stijging in de precisie wanneer de AI beschikt over informatie over de oriëntatie van de spreker. In gevallen waar de blik van de spreker correct was gericht op de beoogde ontvanger, steeg de accuraatheid van de detectie van 56% naar maar liefst 99,5%. Er werd echter ook een kwetsbaarheid vastgesteld: wanneer de spreker iemand anders aankeek terwijl de AI eigenlijk bedoeld werd, vertrouwden twee van de geteste modellen in meer dan 85% van de gevallen op de visuele aanwijzing in plaats van op de context. Zelfs na een expliciete waarschuwing dat de kijkrichting misleidend kon zijn, bleef deze neiging aanwezig, zoals beschreven in het onderzoek .
Naast de fysieke positionering is er gekeken naar de rol van profielinformatie. Hoewel het toevoegen van gebruikersprofielen zorgde voor relevantere antwoorden, ontstond er een risico op 'oversharing'. De onderzoekers stelden vast dat modellen soms informatie uit profielen onthulden die nog niet in het gesprek was geïntroduceerd. Bij één specifiek model gebeurde dit in 45,3% van de reacties. Dit onderstreept de noodzaak voor betere controlemechanismen over welke gebruikersgegevens op welk moment gedeeld worden in multi-user omgevingen.
Om deze complexe sociale dynamiek inzichtelijk te maken, is er een 3D-demonstrator in de browser gebouwd. Hierin is zichtbaar dat een AI-agent reageert op een zin wanneer de spreker naar hem kijkt, maar zwijgt wanneer de blik naar een andere persoon is gericht. Deze wetenschappelijke benadering van ruimtelijk bewustzijn verschilt wezenlijk van eenvoudiger commerciële interacties met virtuele karakters, zoals men ziet bij talkingtomandfriends.com.
De conclusie van de auteurs is dat extra context de interactie in complexe scenario's weliswaar verbetert, maar dat er een strikte balans moet worden gezocht tussen het gebruik van ruimtelijke signalen en de bescherming van privacy. Meer informatie over deze bevindingen is beschikbaar via de volledige tekst op .