Onderzoek naar zogenaamde 'System One'-beslissingsmodellen toont aan dat gespecialiseerde AI-systemen effectiever zijn in het herkennen van ontbrekende juridische autoriteiten dan generatieve taalmodellen, terwijl de kosten aanzienlijk lager liggen.
In de juridische sector is de betrouwbaarheid van bronvermeldingen cruciaal. Generatieve AI-modellen staan bekend om hun neiging tot het fabriceren van informatie, wat in een juridische context kan leiden tot foutieve citaties. Een recent onderzoek van M. Mikail Demir, gepubliceerd op arxiv.org, introduceert een alternatieve benadering: System One-beslissingsmodellen. In plaats van tekst te genereren, produceren deze modellen een gekalibreerde waarschijnlijkheid voor verschillende opties, wat hen beter in staat stelt om aan te geven wanneer een correcte juridische bron simpelweg ontbreekt.
De strijd tegen 'hallucinaties' in het recht
Het hoofddoel van het onderzoek is het creëren van een schaalbare en kosteneffectieve methode om juridische claims te verifiëren. De traditionele generatieve Large Language Models (LLM's) hebben de neiging om altijd een antwoord te geven, zelfs als de juiste informatie niet beschikbaar is. Dit fenomeen wordt in de informatica vaak aangeduid als hallucinatie.
Om dit te testen, heeft de onderzoeker de CaseHOLD-dataset uitgebreid met een specifieke onthoudingsconditie. In 1.670 van de 5.314 items werd de correcte juridische uitspraak vervangen door een foutieve optie, waardoor het model idealiter zou moeten 'onthouden' of aangeven dat er geen correct antwoord aanwezig was. Volgens de publicatie op kozen generatieve LLM's in 38% tot 86% van de gevallen toch een optie, terwijl het meest voorzichtige beslissingsmodel dit slechts in 30% van de gevallen deed.
Efficiëntie en kostenbesparing
Naast de nauwkeurigheid richt het onderzoek zich op de praktische inzetbaarheid. De resultaten tonen aan dat een beslissingsmodel prestaties kan leveren die nagenoeg gelijk zijn aan de beste generatieve LLM's. In de standaard CaseHOLD-test behaalde een beslissingsmodel een score van 88,1%, tegenover 88,2% voor de beste generatieve variant.
Het meest opvallende verschil zit echter in de kosten. Het beslissingsmodel bereikte dit resultaat tegen slechts 1/55e van de kosten van de generatieve modellen. Bovendien stelt de onderzoeker voor om LLM's alleen antwoorden te laten geven wanneer een beslissingsmodel hiermee instemt. Deze hybride aanpak zou het aantal foutieve citaties kunnen halveren.
Context en terminologie
De term 'commit' in de titel van het onderzoek ("Commit or Abstain?") verwijst in deze technische context naar de beslissing van een model om zich aan een specifiek antwoord te verbinden. In het algemeen taalgebruik heeft het woord echter diverse betekenissen. Zo definieert het cambridge.org de term onder andere als het plegen van een misdaad of het geven van een belofte of loyaliteit aan een bepaald principe.
In de praktijk van de advocatuur, zoals bij het Belgische kantoor commitlaw.be, staat de focus op de menselijke expertise in domeinen zoals het arbeidsrecht en socialezekerheidsrecht. Hoewel AI-modellen zoals die beschreven op de efficiëntie van bronverificatie kunnen verhogen, blijft de juridische praktijk sterk leunen op geëngageerde experts die dossiers beheren.
Conclusie voor de juridische AI
De centrale stelling van het onderzoek is dat de kwaliteit van juridische AI niet enkel op basis van algemene accuratesse moet worden beoordeeld, maar primair op het aantal foutieve citaties. Door gebruik te maken van lokale modellen, zoals een gedistilleerde versie van Qwen3-8B, kan een goed gekalibreerd systeem worden opgezet dat weet wanneer het geen antwoord heeft. Dit verhoogt de veiligheid en betrouwbaarheid van AI-ondersteunde juridische processen aanzienlijk.