Onderzoekers hebben aangetoond dat zogenaamde 'foundation models' in de deeltjesfysica effectief kennis kunnen overdragen van hoogenergetische botsingen naar neutrino-interacties, wat de training van toekomstige AI-systemen kan versnellen.
In een recent wetenschappelijk onderzoek is onderzocht of AI-modellen, die zijn getraind op diverse simulaties en reële gegevens van proton-proton ($pp$) en elektron-proton ($ep$) botsingen, nuttige informatie behouden wanneer ze worden toegepast op een heel ander type experiment. De focus lag hierbij op een neutrino-experiment met een vaste doelwitconfiguratie in het GeV-bereik.
Prestaties van OmniLearned en ParticleViT
De onderzoekers, waaronder Gregor Krzmanc, Vinicius Mikuni, Benjamin Nachman en Callum Wilkinson, maakten gebruik van de foundation models OmniLearned en ParticleViT. Deze modellen werden getest op gegevens van neutrino-nucleus verstrooiingsevenementen afkomstig van MINERvA. De evaluatie richtte zich op twee specifieke taken: de regressie van beschikbare energie en de binaire classificatie van geladen-stroom pion-eindtoestanden.
Volgens de publicatie op arxiv.org presteerden zowel OmniLearned als ParticleViT beter dan modellen van een vergelijkbare omvang die volledig vanaf nul waren getraind met hetzelfde rekenbudget. De resultaten laten zien dat de grootste winst voor OmniLearned werd behaald bij de regressietaken, terwijl ParticleViT superieur bleek bij de classificatietaken.
Vergelijking met tekstgebaseerde modellen
Om te bepalen of dit voordeel specifiek voortkwam uit de fysica-kennis van de modellen, voerden de onderzoekers een vergelijking uit met een transformer-architectuur die was geïnitieerd via BERT, een model dat is voorgetraind op tekst. De resultaten waren hier aanzienlijk minder hoopgevend. Bij de regressietaken bood de tekst-pretraining geen enkel voordeel, en bij de classificatie was de winst in termen van rekenefficiëntie slechts marginaal.
Dit suggereert dat deeltjesniveau-modellen specifieke 'inductive biases' verwerven. Deze biases stellen de modellen in staat om te generaliseren over grote verschillen in energieschalen, gebruikte detectortechnologieën en de onderliggende fysica-processen. Dit wijst op de mogelijkheid van detector-agnostische inferentie binnen de deeltjesfysica.
Context en terminologie
Het concept van 'cross-domain transfer' staat centraal in dit onderzoek. In algemene zin verwijst de term 'cross' naar het oversteken of bewegen van de ene zijde naar de andere, zoals beschreven in het cambridge.org. In de context van AI betekent dit dat kennis die in één domein is geleerd, wordt toegepast in een ander, potentieel verschillend domein.
Hoewel de term 'cross' in diverse contexten voorkomt — van symbolische betekenissen zoals de vele religieuze kruisen beschreven door symbolsage.com tot administratieve systemen zoals het Customs Rulings Online Search System (CROSS) van de U.S. Customs and Border Protection — is de toepassing in dit onderzoek strikt technisch en computationeel.
Toekomstige implicaties
De bevindingen suggereren dat toekomstige AI-gestuurde studies in de deeltjesfysica waarschijnlijk zullen starten vanuit een foundation model. Dit zou niet alleen de trainingstijd verkorten, maar ook de gevoeligheid van de analyses kunnen verhogen. Door gebruik te maken van modellen die al een basisbegrip hebben van deeltjesinteracties, kunnen wetenschappers sneller resultaten boeken in nieuwe experimentele opstellingen.
Het volledige rapport, dat 18 pagina's en 13 figuren beslaat, is beschikbaar via de onder de categorie High Energy Physics - Experiment. De laatste revisie van het document werd op 25 augustus 2026 gepubliceerd.