Stel je voor: je maakt één foto van een straat, en een AI bouwt daarvan een complete 3D-stad die je naar eigen hand kunt zetten. Dat is precies wat het nieuwe framework CityLift doet. Onderzoekers ontwikkelden een systeem dat vanuit één tweedimensionale afbeelding een volledige, bewerkbare 3D-omgeving van een stedelijk gebied genereert.
Dat is geen eenvoudige opdracht. Een foto toont gebouwen vaak maar gedeeltelijk, en het model moet raden hoe de rest eruitziet. Daarnaast moeten alle objecten in de scene consistent blijven qua schaal en positie. Volgens een publicatie op arxiv.org lost CityLift dit op door ruimtelijke modellering van de hele scene te koppelen aan de synthese van individuele gebouwen.
🧠 Even simpel uitgelegd
Stel dat je een foto ziet waarop een huis half achter een boom staat. Jij begrijpt meteen hoe de verborgen kant er waarschijnlijk uitziet — een AI moet dat leren. CityLift doet twee dingen tegelijk: het bepaalt eerst grofweg waar elk gebouw staat en hoe groot het is, en vult daarna de details in. Doordat beide stappen hetzelfde coördinatensysteem gebruiken, past elk gegenereerd gebouw exact op zijn plek in de stad.
Hoe CityLift werkt
Het systeem koppelt scene-level informatie aan instance-level details. In de eerste fase leert het model tegelijk de vorm én de plaatsing van gebouwen via zogenaamde 'coupled scene and instance streams'. Het resultaat: grove, ijle structuren die in een gemeenschappelijk coördinatensysteem staan.
Daarna volgt de verfijning. De auteurs gebruiken daarvoor een techniek genaamd 'generative spatial inheritance'. De grove bezetting van een gebouw en een door de scene geconditioneerd 3D-featureveld worden vertaald naar een lokaal volume. Dat volume stuurt vervolgens een flow-model aan dat fijnere structuren genereert. Omdat dezelfde coördinatenmapping wordt gebruikt, kunnen de uiteindelijke meshes nauwkeurig teruggeplaatst worden in de oorspronkelijke scene. De ruimtelijke relatie met het basisframe blijft zo behouden.
Nieuwe dataset: CityLift-5K
Een groot probleem bij dit soort AI-modellen is het gebrek aan trainingsdata. Er bestaan nauwelijks datasets die zowel scene-afbeeldingen als de bijbehorende individuele 3D-gebouwen bevatten. Om dat gat te dichten, ontwikkelden Haoran Gong en zijn medestanders de CityLift-5K dataset.
De dataset bestaat uit 4.997 synthetische scenes. Elke scene is voorzien van:
- Instance masks (maskers per object);
- Gedetailleerde gebouw-meshes;
- Specifieke annotaties voor de plaatsing van de objecten.
De resultaten
De onderzoekers testten CityLift op de eigen CityLift-5K dataset én op scene-blokken uit bestaande datasets zoals UrbanScene3D en InstanceBuilding. De uitkomst: een duidelijke verbetering in zowel de geometrie van individuele gebouwen als de algehele compositie van de stedelijke scene.
Het onderzoek, ingediend op 23 oktober 2026 door Haoran Gong, Jie Feng en Chenxu Wang, valt onder de categorie Computer Vision and Pattern Recognition. De volledige technische details vind je via de publicatie op arxiv.org.