Een team van onderzoekers heeft een innovatieve benadering ontwikkeld om kunstmatige intelligentie te laten leren van de manier waarop menselijke wetenschappers tot hun ontdekkingen komen. In plaats van AI-modellen enkel te voeden met de uiteindelijke resultaten van onderzoek, richt deze nieuwe methode zich op de trajecten en beslissingen die tijdens het exploratieproces worden genomen.
Het kernprobleem bij huidige AI-systemen voor wetenschap is dat zij hoofdzakelijk worden getraind op bestaande wetenschappelijke corpora, zoals gepubliceerde artikelen. Deze publicaties presenteren echter meestal alleen de definitieve uitkomst, waardoor de systematische zoektocht naar onbekende fenomenen en de bijbehorende trial-and-error fase onzichtbaar blijven. Volgens een publicatie op arxiv.org ontbreekt het AI-modellen hierdoor aan inzicht in de daadwerkelijke 'wetenschappelijke exploratie'.
Om dit gebrek aan data aan te pakken, hebben Xuchen Gong en zijn collega's de dataset ResearchTrails geïntroduceerd. Deze dataset is opgebouwd uit menselijke onderzoekstrajecten die zijn onttrokken uit Git-repositories. In deze technische omgevingen fungeren de commit-geschiedenissen als een digitale weerspiegeling van het wetenschappelijke proces. De onderzoekers hebben hiervoor een schaalbare en geautomatiseerde pijplijn ontwikkeld die in staat is om gestructureerde paden uit deze commits te extraheren. Hierdoor kunnen opeenvolgende wijzigingen in experimenten, methodieken en ablatiestudies nauwkeurig in kaart worden gebracht.
De analyse van ResearchTrails laat zien dat deze trajecten cruciale informatie bevatten over tussenliggende beslissingen die in de uiteindelijke papers vaak worden weggelaten. Het biedt inzicht in tussenliggende onderzoeksbeslissingen. De auteurs van het onderzoek, waaronder Shane Gu, Haokun Liu en Dixi Yao, stellen in hun dat deze data op diverse manieren kunnen worden ingezet. Zo kan de menselijke ervaring als een vorm van externe vaardigheid worden opgehaald tijdens het testen van AI-modellen, wat kan leiden tot een betere generalisatie bij nieuwe onderzoeksbeslissingen.
Deze ontwikkeling markeert een verschuiving in de training van AI: van het leren van de 'producten' van de wetenschap naar het leren van het evoluerende proces van ontdekking zelf. Het project is ingediend onder de categorieën Machine Learning en Computation and Language. Door de commit-historie van onderzoekers te ontsluiten, wordt een transparante laag toegevoegd aan de wetenschappelijke methode die nu vatbaar is voor computationele analyse, zoals verder beschreven op .
Hoewel de transitie van ongestructureerde repository-data naar bruikbare AI-kennis complex blijft, vormt de pijplijn van Gong en team een fundamentele basis voor procesgericht leren. Voor geïnteresseerden in bredere educatieve kaders en open leren kan aanvullende context worden gevonden via platforms zoals open.edu, dat zich richt op toegankelijke kennisdeling.
Door de focus te verleggen naar de weg naar het resultaat, hopen de onderzoekers dat AI-systemen in de toekomst niet alleen resultaten kunnen reproduceren, maar ook de creatieve en kritische denkprocessen van menselijke wetenschappers kunnen simuleren.