Nepnieuws op sociale media valt moeilijk te stoppen. Kwaadwillenden herschrijven berichten namelijk eenvoudig, zodat detectiesoftware ze niet meer herkent. Onderzoekers hebben daarom een nieuw systeem gebouwd: MANTIS. Het raamwerk herkent nepnieuws, zelfs als de presentatie van een bericht flink is aangepast.
Het probleem? Huidige detectiemethoden leunen vaak op oppervlakkige schrijfsignalen of eenvoudige tekstwijzigingen. Verandert iemand alleen de stijl of toon van een bericht, dan glippt het nepnieuws erdoorheen. Dat blijkt uit het onderzoek "MANTIS: Multi-Axis News Transformations for Instance-Wise Stress Testing and Worst-Case Training in Fake News Detection".
MANTIS-Bench: de testbank voor vermomd nepnieuws
Dexin Liu en zeven andere auteurs ontwikkelden een speciale benchmark: MANTIS-Bench. Dit instrument werkt als een "multi-axis presentation-attack benchmark". Originele nieuwsberichten worden gekoppeld aan herschreven versies die variëren op drie assen: de schrijfstijl, de emotionele expressie en de framing van de verspreiding.
Zo kunnen onderzoekers testen hoe sterk een detectiesysteem is wanneer de feitelijke inhoud gelijk blijft, maar de presentatie verandert om lezers of software te misleiden. De volledige details van het onderzoek staan op arxiv.org.
Slimme verdediging per artikel
Naast de benchmark introduceerden de onderzoekers het MANTIS-raamwerk zelf: een "instance-adaptive adversarial framework" dat dynamische training mogelijk maakt. In plaats van algemene heuristieken gebruikt MANTIS "worst-case training" die specifiek is afgestemd op elk individueel nieuwsartikel.
Een groot technisch voordeel: het systeem vraagt geen extra rekenkracht tijdens de inferentiefase (inference-time overhead). Het doel is om de verdediging tegen nepnieuws te verschuiven naar een geloofwaardigheidsbeoordeling die invariant is voor de feiten, hoe het bericht ook geformuleerd is.
De cijfers
De effectiviteit is getest op MANTIS-Bench, met data van GossipCop. MANTIS verlaagde de "Union Attack Success Rate" (UASR) met 3,55 procentpunten ten opzichte van het systeem SheepDog.
Daarnaast presteerde MANTIS consistent beter dan eerdere verdedigingssystemen die zich op slechts één as richtten, gemeten via de Macro-F1 score. Belangrijk: ondanks die extra robuustheid bleef het systeem concurrerend nauwkeurig bij het analyseren van schone, niet-gemanipuleerde data.
Let op: geen verband met schiettraining
De naam "MANTIS" wordt ook elders gebruikt. Zo biedt mantisx.com ook producten en diensten aan onder dezelfde naam.
Er bestaat geen enkel verband tussen het AI-onderzoek naar nepnieuwsdetectie en die commerciële trainingsproducten. Het wetenschappelijke project richt zich uitsluitend op computationele taalkunde en de strijd tegen digitale desinformatie, binnen de categorie "Computation and Language".