AI-modellen die beelden analyseren, zijn goed in het herkennen van objecten. Maar zodra ze moeten nadenken over schaduwen, gaan ze massaal de fout in. Dat blijkt uit een nieuwe studie waarin onderzoekers testten of Vision-Language Models (VLMs) begrijpen hoe licht werkt.
Het team ontwikkelde daarvoor de benchmark ShadowBench. Modellen kregen echte foto's te zien in drie varianten: met een correcte schaduw, zonder schaduw en met een schaduw die in een fysiek onmogelijke richting valt. Het doel, aldus de publicatie arxiv.org: testen of AI kan redeneren over waar een schaduw zou moeten vallen, in plaats van alleen een bestaande schaduw te herkennen.
Schaduwen ontstaan wanneer een object de lichtstroom blokkeert. Dat is basisfysica (britannica.com). VLMs lijken die wetten echter niet intuïtief te snappen.
Grote modellen, kleine winst
De onderzoekers testten 19 open-source modellen van 2 tot 78 miljard parameters, plus diverse commerciële systemen. Grotere modellen waren wél beter in het aanwijzen van de richting van een zichtbare schaduw. Maar zodra de taak lastiger werd, kelderden de resultaten.
Het voorspellen van een ontbrekende schaduw lukte slechts zwak. En bij het beoordelen of een scène fysiek consistent was, scoorden de meeste modellen nauwelijks beter dan een gok. Zelfs Chain-of-Thought (CoT) — een techniek waarbij het model stap voor stap redeneert — hielp niet.
Eén model wist de kansscore voor validiteit bescheiden te verbeteren: Gemini-3.1-pro. Maar zelfs dat resultaat bleef ver achter bij wat mensen presteren. De conclusie van de onderzoekers: het probleem zit niet in het redeneervermogen, maar in een gebrek aan basiskennis over belichting.
De oplossing zit in beeldgeneratie
Opvallend genoeg lijkt die kennis wél aanwezig in Image Generation Models (IGMs) — de systemen die zelf beelden maken. Koppel je een VLM aan een IGM, dan stijgen de prestaties aanzienlijk. Het gecombineerde systeem signaleert foutieve schaduwrichtingen beter en maakt sterkere inferenties.
De auteurs, waaronder Ryugo Morita, pleiten er daarom voor om technieken uit beeldgeneratie te integreren in VLMs. Alleen zo worden de modellen echt bewust van belichting.
🧠 Even simpel uitgelegd
Stel dat je een foto ziet van een boom in de zon. Jij weet meteen: de schaduw valt aan de andere kant van de zon, en als er geen schaduw op de foto staat, klopt er iets niet. Dat doe je omdat je begrijpt hoe licht werkt. AI-modellen die foto's 'begrijpen', hebben dat besef niet: ze herkennen wél een schaduw als die er staat, maar kunnen niet voorspellen waar die hoort te vallen. Alsof je een puzzel kunt zien, maar niet snapt hoe de stukjes in elkaar passen.