Wetenschappers hebben een innovatieve methode ontwikkeld om het strategische proces van videobewerking te automatiseren. Het systeem, genaamd RefineCut, is ontworpen om complexe instructies, metadata en randvoorwaarden te vertalen naar een concrete tijdlijn die direct kan worden uitgevoerd. In tegenstelling tot systemen die zich richten op het genereren van beelden, concentreert deze technologie zich op de besluitvormingslaag van de montage.
Volgens een publicatie op arxiv.org maakt RefineCut gebruik van een compacte, open-weight planner die werkt met gestructureerde 'patches'. Deze planner beheert essentiële aspecten van de montage, waaronder de selectie en het trimmen van clips, de volgorde van scènes, de overgangen en de synchronisatie met muziek. Om de precisie van deze acties te garanderen, is het systeem gekoppeld aan een deterministische verifieerder. Deze component toetst elke voorgestelde wijziging aan een zogenaamd 'constraint ledger', een lijst met expliciete beperkingen waaraan de montage moet voldoen.
Een centraal aspect van het onderzoek is de manier waarop de AI is getraind. Omdat er in videobewerking zelden één enkel correct antwoord bestaat, wijkt RefineCut af van traditionele methoden waarbij menselijke experts of grotere modellen simpelweg worden geïmiteerd. In plaats daarvan worden diverse scenario's van meerdere 'teacher-modellen' door de verifieerder gehaald. Alleen de aanpassingen die door deze verifieerder als optimaal worden beoordeeld, dienen als trainingsmateriaal voor de planner.
In een verdere evolutie van het systeem, aangeduid als RefineCut-Evo, leert de AI zijn eigen reparaties te scoren aan de hand van een specifieke takenrubriek en de verifieerder. Door gebruik te maken van 'high-margin preference pairs' kan de planner, die over 8 miljard parameters beschikt, volledig autonoom opereren. Dit betekent dat het systeem in een gesloten lus met de verifieerder werkt, zonder dat er tijdens het proces nog externe aanroepen naar grotere teacher-modellen nodig zijn. Deze methodiek is beschreven in het .
Om de prestaties van het systeem objectief te meten, hebben de auteurs de 'RefineCut-Bench' ontwikkeld. Deze benchmark omvat bijna 8.000 bijschriften bij clips, 499 muziektracks en 3.578 specifieke taken. Uit de data in de blijkt dat de verifieerder-gestuurde distillatie de kwaliteit van de planner significant heeft verhoogd. De Video-Editing Score steeg van 0,620 naar 0,858, waarbij de RefineCut-Evo versie zelfs een score van 0,924 behaalde.
De resultaten tonen aan dat deze verbeteringen ook toepasbaar zijn op andere modellen, zoals GLM-4-9B en Llama-3.1-8B. De onderzoekers, waaronder Haoyu Wang, stellen dat de 8B-planner in de gesloten lus van de verifieerder presteert op een niveau dat gelijk is aan, of zelfs beter is dan, de grotere frontier-modellen die oorspronkelijk als leermeesters fungeerden. De volledige code en de benchmark zijn publiekelijk beschikbaar gesteld via om verdere innovaties in executabele videobewerking te stimuleren.