Onderzoekers hebben een nieuw machine learning-model ontwikkeld dat weersvoorspellingen aanzienlijk kan verfijnen door schaarse gegevens van weerstations te integreren in bestaande numerieke modellen.
Een team van wetenschappers, waaronder Christian Donner en Michele Cattaneo, heeft de Observation Assimilation Transformer (OAT) geïntroduceerd. Dit nieuwe systeem is ontworpen om de nauwkeurigheid van numerieke weersvoorspellingen (NWP) te verhogen door deze te corrigeren met actuele waarnemingen van verspreide meetstations. Volgens een publicatie op arxiv.org fungeert de OAT als een geometrie-bewust neuraal proces dat een grove initiële voorspelling omzet in een gedetailleerd en hoogresolutie resultaat.
Werking van de Observation Assimilation Transformer
De OAT is gebouwd als een encoder-decoder transformer. Het systeem analyseert een set van geobserveerde locaties en de bijbehorende NWP-gegevens om vervolgens voorspellingen te doen voor willekeurige locaties waar geen directe metingen beschikbaar zijn. Een cruciaal onderdeel van deze technologie is het zogenaamde sparse attention-mechanisme. Dit mechanisme zorgt ervoor dat het model schaalbaar is naar duizenden verschillende stations.
Een belangrijk technisch kenmerk is dat de voorspellingen afhankelijk zijn van de relatieve posities tussen de locaties, in plaats van absolute coördinaten. Hierdoor kan het model flexibel omgaan met onvolledige gegevenssets waarbij sommige observaties ontbreken. Bovendien kan de OAT voorspellingen genereren voor continue locaties zonder dat daarvoor een rasterprojectie nodig is. De output van het model bestaat uit parametrische distributies, wat een probabilistische benadering van de weersanalyse mogelijk maakt.
Resultaten en prestaties
Om de effectiviteit van de OAT te testen, hebben de onderzoekers twee verschillende datasets gebruikt. De eerste dataset was op regionale schaal en bevatte honderden stations, terwijl de tweede dataset op continentaal niveau was ingesteld met duizenden stations. Uit de resultaten blijkt dat de OAT beter presteert dan diverse baseline-modellen en dat de voorspellingen goed gekalibreerd zijn, zoals beschreven in de documentatie op .
In een specifieke casestudy is de capaciteit van het model voor downscaling gedemonstreerd. Hierbij werd de ERA5-dataset, die een resolutie heeft van ongeveer 31 kilometer, omgezet naar de COSMO-resolutie van 1 kilometer. De resultaten toonden aan dat de OAT een lagere gemiddelde absolute fout (MAE) en een betere continuous ranked probability score (CRPS) behaalde voor zowel temperatuur als neerslag op de teststations in vergelijking met COSMO.
Methodologie en training
Voor de training van het model is een specifiek algoritme ontwikkeld dat gebruikmaakt van station-randomisatie. De optimalisatie van het model gebeurt via de CRPS-loss functie, wat bijdraagt aan de probabilistische aard van de weersanalyse. De volledige details van deze methodiek zijn opgenomen in de wetenschappelijke tekst op .
Hoewel de technische details van de OAT uitgebreid zijn gedocumenteerd, is toegang tot externe aanvullende data soms beperkt door technische barrières. Zo probeerden sommige gebruikers toegang te krijgen tot aanvullende informatie via observation.org, maar daar stuitte men op beveiligingsmaatregelen zoals Proof of Work-berekeningen en bot-detectie systemen om ongeautoriseerde toegang te voorkomen.
De ontwikkeling van de OAT markeert een stap voorwaarts in de integratie van machine learning binnen de meteorologie, waarbij de nadruk ligt op het overbruggen van de kloof tussen grove numerieke modellen en lokale, schaarse waarnemingen. De volledige lijst van auteurs, waaronder Maxim Samarin, Francesco Zanetta en anderen, is terug te vinden in de officiële indiening op .