AI-chatbots kunnen mensen met psychische klachten snel en toegankelijk helpen. Maar er schuilt een risico in: de antwoorden zijn niet altijd klinisch correct. Soms zijn ze inconsistent, te sturend, of voldoen ze gewoon niet aan de geldende richtlijnen. Dat blijkt uit een wetenschappelijke publicatie op arxiv.org.
Onderzoekers van het team van Jiwon Kim bedachten daarvoor een oplossing: PAIR-SAFE, een systeem dat elk AI-antwoord controleert vóór het de gebruiker bereikt.
Waarom huidige AI-beveiliging tekortschiet
De meeste AI-systemen worden veilig gemaakt tijdens de training, of via instructies die ze meekrijgen. Dat heet 'implicit alignment'. Het probleem: zodra het model echt met een cliënt praat, is er niemand meer die ingrijpt bij een fout antwoord. In de zorg kan dat gevaarlijk zijn.
Twee AI's in plaats van één
PAIR-SAFE splitst het werk over twee agenten:
- De Responder formuleert het antwoord voor de gebruiker.
- De Judge fungeert als onafhankelijke auditor. Die screent elke reactie voordat deze wordt verzonden.
De Judge beoordeelt volgens de Motivational Interviewing Treatment Integrity (MITI-4), een klinisch gevalideerde standaard voor therapeutische gesprekken. Daarbij zijn er maar twee mogelijkheden: goedkeuren ('Allow') als het antwoord klinisch acceptabel is, of herziening eisen ('Revise') als het niet aan de standaard voldoet.
Meetbaar betere gesprekken
De onderzoekers testten PAIR-SAFE met een simulator voor hulpzoekenden, gebaseerd op geannoteerde menselijke data. De resultaten: gesprekken onder toezicht van de Judge-agent scoorden significant beter op diverse MITI-dimensies. Vooral de categorieën 'Partnership' (de samenwerking tussen hulpverlener en cliënt) en 'Seek Collaboration' (het zoeken naar samenwerking) verbeterden duidelijk.
Expert-evaluaties bevestigden die bevindingen. Zij benadrukken vooral het belang van realtime supervisie voor de relationele kwaliteit van het gesprek.
Transparant toezicht als nieuwe standaard
De kracht van PAIR-SAFE zit in de scheiding tussen genereren en controleren. Dat maakt het toezicht transparant en klinisch gefundeerd — een vorm van 'runtime-accountability' die in eerdere modellen ontbrak. Het onderzoek, op 23 oktober 2026 in herziene versie gepubliceerd, biedt een kader voor veiligere AI-implementaties in de zorg.