Onderzoekers hebben een nieuwe methode ontwikkeld om betrouwbare kennisgrafieken te bouwen over de adoptie van software in de gezondheidszorg. Door taalmodel-agenten te dwingen elke claim te onderbouwen met een letterlijk citaat, wordt de kans op foutieve informatie over softwareleveranciers en hun klanten drastisch verkleind.
Het aanschaffen van software in ziekenhuizen is een complex en kostbaar proces. Omdat dergelijke investeringen moeilijk terug te draaien zijn en een directe impact hebben op de patiëntenzorg, zoeken inkopers vaak naar bewijs over welke andere instellingen een specifiek product gebruiken en met welke systemen deze software integreert. Hoewel deze informatie publiekelijk beschikbaar is, bevindt deze zich vaak verspreid over diverse websites van leveranciers, persberichten en externe pagina's.
De uitdaging van AI-hallucinaties
Hoewel moderne taalmodellen (Large Language Models) in staat zijn om grote hoeveelheden data te verzamelen, blijft de correctheid van de geëxtraheerde claims een groot probleem. Een onjuiste vermelding van een klant kan kopers misleiden en een organisatie onbedoeld verkeerd representeren. Om dit op te lossen, stellen Juan Felipe Duran, Arthur Tobler en Martin Vallières in hun onderzoek arxiv.org een strikte pijplijn voor waarbij elke relatie in de kennisgrafiek ondersteund moet worden door een verbatim citaat van de bronpagina.
Een gelaagd proces van verificatie
De voorgestelde methode maakt gebruik van een combinatie van deterministische crawls van leverancierswebsites en een zogenaamde 'ReAct agent' die het bredere web doorzoekt. Het proces verloopt in verschillende stappen om de precisie te waarborgen:
- Extractie: Een extractie-instrument stelt mogelijke relaties voor, inclusief de bijbehorende citaten.
- Grounding: Een gelaagde fase bepaalt welke claims behouden blijven. Hierbij wordt een 'referent-stap' gebruikt die de volledige pagina leest wanneer een citaat slechts één partij noemt.
- Validatie: Er worden deterministische controles uitgevoerd en een panel van vijf model-aanroepen stemt over negen verschillende criteria.
Volgens de publicatie op leidde dit proces bij het testen van 61 leveranciers tot een precisie van 0,94 en een recall van 0,71 ten opzichte van een paginaniveau-sleutel. In totaal werden 6.428 kandidaat-relaties voorgesteld door de extractor.
Resultaten en betrouwbaarheid
Wanneer de resultaten werden vergeleken met de 'golden reference' — de officieel gecureerde lijst van de marktplaats zelf — scoorde het systeem lager. Echter, 89% van de relaties die het systeem behield maar die niet in de referentielijst stonden, waren wel degelijk terug te vinden op een bronpagina.
De onderzoekers benadrukken dat het gebruik van een betrouwbaarheidsscore, gebaseerd op de stemmen van het panel, effectiever is dan een vaste regel. Hiermee kon een precisie van 0,90 worden bereikt bij een recall van 0,90. Daarnaast bespreken de auteurs hoe het beperken van model-aanroepen en het gebruik van string-matching helpt om variaties tussen verschillende runs en kwaliteitsverlies bij lange contexten tegen te gaan.
Context van informatieverzameling
De noodzaak voor strikte bewijsvoering in data-extractie is groot, aangezien algemene informatie op het web vaak inconsistent is. Terwijl gespecialiseerde tools zoals die beschreven in de zich richten op feitelijke software-adoptie, bevat het web ook grote hoeveelheden subjectieve data, zoals te zien is op platforms als wisdomquotes.com, waar citaten worden gebruikt voor inspiratie in plaats van feitelijke verificatie. Het verschil tussen het gebruik van citaten voor wijsheid en het gebruik van citaten als hard bewijs voor zakelijke relaties onderstreept de specifieke methodiek van de zorg-software-analyse.
De volledige details van het onderzoek, inclusief 19 pagina's aan analyse, figuren en tabellen, zijn beschikbaar via de .