Wetenschappers hebben een innovatieve methode ontwikkeld genaamd Text2Thermal, waarmee thermische infraroodbeelden kunnen worden gesynthetiseerd op basis van tekstuele invoer. Dit nieuwe framework probeert een hardnekkig probleem in de computer vision op te lossen: het tekort aan beschikbare datasets voor thermische beeldvorming en de technische complexiteit bij het omzetten van standaard kleurenfoto's naar warmtebeelden.
Het proces waarbij RGB-beelden worden vertaald naar thermische beelden wordt in een recent onderzoek op arxiv.org omschreven als inherent problematisch. De reden hiervoor is dat een standaard foto geen informatie bevat over de emissiviteit van een oppervlak of de exacte temperatuur van een object. Omdat deze radiometrische gegevens onzichtbaar zijn in het zichtbare spectrum, kan één enkele kleurenfoto theoretisch leiden tot verschillende, maar technisch correcte thermische interpretaties.
Om deze onzekerheid weg te nemen, hebben onderzoekers Tayeba Qazi, Brejesh Lall en Prerana Mukherjee een aanpak bedacht waarbij de ontbrekende fysieke informatie niet wordt afgeleid uit het beeld, maar expliciet wordt toegevoegd via natuurlijke taal. Volgens de publicatie op maakt het systeem gebruik van zogenaamde 'thermally grounded captions'. Dit zijn beschrijvingen die details bevatten over het tijdstip van de dag, de weersomstandigheden, het gebruikte materiaal en de staat van de warmte-emissie.
Technisch gezien is Text2Thermal gebouwd op een aangepaste versie van een Stable Diffusion-backbone, die specifiek is getraind voor het thermische domein. Een opvallend kenmerk is dat het systeem geen RGB-beeld nodig heeft om tot een resultaat te komen; de radiometrische inhoud wordt volledig bepaald door de tekstuele prompt. Voor situaties waarin de geometrie van een scène nauwkeurig moet worden vastgelegd, kan er een optioneel controlesignaal worden toegevoegd zonder dat dit de door de tekst gedefinieerde warmte-eigenschappen beïnvloedt.
De prestaties van het model zijn getoetst aan diverse datasets, waaronder FMB, FLIR en M3FD. De resultaten tonen aan dat Text2Thermal een state-of-the-art Fréchet Inception Distance (FID) behaalt, wat wijst op een hoge kwaliteit van de gegenereerde beelden. De auteurs stellen dat deze methode een mate van controle op tekstniveau biedt die bij traditionele vertaalmethoden ontbreekt.
Deze ontwikkeling is stevig geworteld in wetenschappelijke principes over thermodynamica. Het begrijpen van hoe materialen warmte absorberen en uitstralen is essentieel voor het accuraat simuleren van de fysieke werkelijkheid. Binnen academische kaders, zoals de leeromgevingen van mit.edu, wordt uitgebreid aandacht besteed aan de thermodynamica van materialen en de complexiteit van fasesystemen.
Door fysieke wetmatigheden te integreren in AI-modellen, zoals gebeurt bij Text2Thermal, worden synthetische data gecreëerd die niet alleen visueel kloppen, maar ook radiometrisch consistent zijn. Dit is van groot belang voor de ontwikkeling van autonome systemen die infraroodsensoren gebruiken voor navigatie en detectie in omgevingen met slecht zicht.
Het volledige onderzoek, getiteld "Text2Thermal: Physics-Aware Thermal Image Synthesis from Textual Priors", is op 3 september 2026 ingediend bij onder de categorie Computer Vision and Pattern Recognition.