Wetenschappers hebben een innovatieve methode ontwikkeld om de besturing van robots te verbeteren door gebruik te maken van visuele data uit video's. Het framework, dat bekendstaat als X-World, is ontworpen om interactierepresentaties over te dragen naar robotica, zelfs wanneer de camerastandpunten variëren of de interfaces voor acties verschillen. In een wetenschappelijk rapport dat op 25 oktober 2026 werd gepubliceerd, leggen Chun Gu en collega-onderzoekers uit hoe dit systeem visuele informatie vertaalt naar concrete handelingen in een gesloten-lus uitvoering.
Technische architectuur en werking
De kern van X-World draait om het overdragen van video-informatie naar een zogenaamde 'shared action expert' via een vaste token-sequentie. Om dit te realiseren, hebben de ontwikkelaars een specifieke structuur opgezet waarbij een 'residual cross-view attention branch' centraal staat. Deze toevoeging stelt de vooraf getrainde video-backbone in staat om effectief te functioneren met één, twee of drie verschillende camerabeelden, zonder dat de oorspronkelijke zelf-attentie-paden verloren gaan.
Om de kenmerken uit de backbone te aggregeren, maakt het systeem gebruik van een 'layer-aligned Q-Former'. Daarnaast zijn er modules geïntegreerd die de vertaling verzorgen tussen de specifieke staat- en actie-interfaces van een robot en de gedeelde actie-expert. Volgens de publicatie op arxiv.org verloopt het trainingsproces in drie fasen: eerst vindt de video-adaptatie plaats, gevolgd door actie-specifieke pretraining (waarbij de video-backbone bevroren blijft), en tot slot een gezamenlijke post-training voor het specifieke doeldomein. De uiteindelijke uitvoering gebeurt via asynchrone 'action chunking' nadat de video-kenmerken in één pass zijn geëxtraheerd.
Prestaties en analyse
De effectiviteit van het framework is uitgebreid getest op diverse platforms. Op de LIBERO-benchmark behaalde X-World een gemiddeld succespercentage van 98,5%. Opvallend is de robuustheid van het systeem; een checkpoint dat op LIBERO was getraind, behaalde zonder verdere aanpassingen een succespercentage van 76,5% op de complexere LIBERO-Plus set.
Uit een analyse van zeven verschillende soorten verschuivingen bleek dat het systeem sterke verbeteringen vertoont bij verstoringen in de belichting, de lay-out van de omgeving, de gebruikte robot en de taalinstructies. Er zijn echter ook beperkingen vastgesteld. In vergelijking met OpenVLA-OFT presteerde X-World minder sterk bij ruis, veranderingen in de achtergrond en verschuivingen in de positie van de camera. Deze technische details zijn uitgebreid gedocumenteerd in het onderzoek op .
Toepassing in de fysieke wereld
Naast simulaties is X-World ook in echte omgevingen uitgeprobeerd. Bij zes verschillende taken met dubbele robotarmen werd een gemiddeld succespercentage van 81,7% behaald over 20 pogingen per taak. Via ablation-studies hebben de onderzoekers vastgesteld dat zowel de video-adaptatie als de 'cross-view fusion' cruciaal zijn; het weglaten van deze componenten leidde tot de grootste daling in prestaties. Dit bevestigt dat het combineren van meerdere camerahoeken en visuele priors essentieel is voor het succes van de robotbesturing.
Terwijl internationale mediakanalen zoals cnn.com zich vaak richten op algemene wereldgebeurtenissen, focust dit specifieke project zich op de grenzen van computerwetenschappen en robotica. De volledige methodologie en de resultaten van auteurs zoals Yiming Chen, Xiaofei Wei en Chun Gu zijn raadpleegbaar via de .