Een recent onderzoek naar het AI-model SteerViT heeft aangetoond dat de technologie voor tekstgestuurde visuele encoders onbedoeld demografische profilering uitvoert. De onderzoekers ontdekten dat het model schadelijke stereotypen hanteert bij het lokaliseren van personen in afbeeldingen.
In een wetenschappelijke publicatie op arxiv.org beschrijven onderzoekers, waaronder Seyedarmin Azizi en collega's, hoe een specifiek type visuele encoder — die een bevroren Vision Transformer combineert met natuurlijke taalprompts — problematische resultaten geeft. Deze systemen zijn ontworpen om op basis van een tekstuele opdracht aan te wijzen welk deel van een afbeelding overeenkomt met de beschrijving, wat resulteert in zogenaamde 'heatmaps'.
Systematische bias in beeldanalyse
De audit van het SteerViT-model onthulde dat de interface voor sturing taalgestuurd 'aanwijzen' verandert in demografische profilering. Volgens de bevindingen in de selecteert het model bij de prompt "de persoon" vaker een man dan op basis van de feitelijke basisratio in de data zou mogen.
Nog zorgwekkender zijn de resultaten bij het gebruik van termen die gerelateerd zijn aan criminaliteit. Het onderzoek stelt dat woorden die naar misdaad verwijzen vaker zwarte mensen selecteren dan woorden die naar beroepen verwijzen. In een specifieke test met 'SocialCounterfactuals' selecteerde de prompt "de man" in een groep van vier vrouwen in 75,6% van de gevallen de zwarte vrouw. Daarnaast bleek dat de prompt "de aap" werd gebruikt om zwarte mensen te selecteren.
Oorzaak en vergelijking met andere modellen
De onderzoekers hebben geanalyseerd waar deze vooroordelen vandaan komen. Ze stelden vast dat deze effecten niet aanwezig waren in de oorspronkelijke, ongestuurde saliency van de backbone, noch in de bevroren tekst-encoder. De raciale bias neemt toe naarmate de stuursterkte toeneemt en wordt geïntroduceerd via de laatste twee cross-attention lagen van het model.
Ter vergelijking werden vier andere grounding-modellen onderzocht: CLIPSeg, Grounding-DINO, SAM 3 en Qwen2.5-VL. Volgens de vertoonden deze modellen geen routing op basis van criminaliteit en een aanzienlijk zwakkere raciale routing dan SteerViT.
Onvermogen tot weigering en de oplossing 'SafeSteer'
Een kritiek probleem bij SteerViT is het onvermogen om een verzoek te weigeren. Omdat de 'patch softmax' van het model altijd ergens een waarde moet toekennen, kan het model geen onderscheid maken tussen een legitiem verzoek (zoals "de politieagent"), een afwezig object (zoals "de pizza") of een verzoek dat een stereotiepe demografische aanname vereist (zoals "de crimineel"). De AUROC-waarde voor dit onderscheid lag op slechts 0,52, wat neerkomt op puur gokwerk.
Om dit op te lossen hebben de onderzoekers SafeSteer ontwikkeld. Deze nieuwe methode voegt een geleerde 'abstention output' toe en maakt gebruik van training op basis van counterfactual-invariantie. De resultaten van SafeSteer zijn volgens de zeer positief:
- Het model kan nu met een AUROC van 0,997 onderscheid maken tussen prompts waar het moet aanwijzen en prompts waar het moet weigeren.
- Het weigert 99,8% van de getrainde gevoelige woorden en 62% van de niet-getrainde gevoelige woorden.
- De raciale routing is grotendeels verwijderd, terwijl de prestaties op het gebied van lokalisatie en retrieval nagenoeg gelijk blijven aan het oorspronkelijke model.
Hoewel de term 'pointing' in een algemene context, zoals beschreven in het cambridge.org, kan verwijzen naar bouwkundige activiteiten zoals het voegen van muren of het aanwijzen van objecten door baby's, laat dit AI-onderzoek zien dat 'pointing' in de context van machine learning kan ontaarden in gevaarlijke profilering als er geen veiligheidsmechanismen zoals SafeSteer worden geïmplementeerd. De code en benchmarks van het onderzoek zullen worden vrijgegeven.