Het AI-bedrijf Runway heeft de technische details gepubliceerd over de systemen die hun real-time videokarakters mogelijk maken. Door een geavanceerde Video Diffusion Transformer met 57 miljard parameters te optimaliseren, kan het systeem video's genereren die snel genoeg zijn voor natuurlijke, interactieve gesprekken.
De grootste uitdaging bij conversationele video-agents is de noodzaak om beelden te genereren met dezelfde snelheid als ze worden afgespeeld. Voor een vloeiende ervaring bij 24 frames per seconde (fps) moet het systeem elke vier frames in maximaal 166,7 milliseconden verwerken, met minimale buffering. Volgens een technisch rapport op arxiv.org is Runway erin geslaagd dit te realiseren met een autoregressieve video diffusion transformer van ongeveer 57 miljard parameters.
Technische optimalisaties voor snelheid
Om de strenge tijdseisen te halen, maakt Runway gebruik van vier H100 GPU's in combinatie met een voice agent. Het systeem genereert beelden op een resolutie van 704$\times$1088. Een cruciaal onderdeel van de optimalisatie was het aanpakken van de 'attention calls'. Elk blok van vier frames vereist 240 van deze oproepen, waarbij een KV-cache van 5.788 slots wordt gelezen.
De onderzoekers ontdekten dat bijna 30% van de oorspronkelijke rekentijd verloren ging aan herhalend werk met de volledige cache. Om dit op te lossen, heeft Runway verschillende technische ingrepen doorgevoerd:
- De implementatie van een 'ring cache'.
- Het toepassen van RoPE (Rotary Positional Embeddings) en FP8-kwantisering tijdens het schrijfproces.
- Het fuseren van de tensor-parallel all-reduce in de FP8 GEMM met in-switch reductie.
- Het toewijzen van een aparte GPU specifiek voor de decoder die latents omzet in videoframes.
Deze aanpassingen zorgden ervoor dat de tijd voor een diffusiestap daalde van 240,9 naar 159,3 milliseconden, wat neerkomt op een snelheid van 24,5 fps zonder kwaliteitsverlies in de lip-synchronisatie. Met de uiteindelijke 'fused kernel' werd een tijd van 147,4 milliseconden bereikt, wat ongeveer 43% van de FP8-piekprestaties benut.
Prestaties in de praktijk
De effectiviteit van het systeem is getoetst tijdens zeven weken in productie. Uit de data blijkt dat de worker in 99,5% van de sessies die langer dan één seconde duurden, een gemiddelde snelheid van boven de 23,5 fps behield. In een gemiddelde conversationele beurt, die ongeveer 2,1 seconden duurt, neemt de pipeline slechts 0,49 seconden in beslag.
In een benchmarkvergelijking met twee open-source real-time videosystemen presteerde de technologie van Runway aanzienlijk beter. De andere systemen slaagden er niet in om real-time te werken of voegden meer dan een seconde latentie toe, terwijl ze bovendien een lagere resolutie boden (tussen een derde en de helft van die van Runway).
Integratie in het ecosysteem van Runway
Deze technologie vormt de basis voor de "Characters: Real-time Video Agents", die volgens de officiële website van runway.com natuurlijke gesprekken mogelijk maken. Deze functie is onderdeel van een breder aanbod aan creatieve tools, waaronder de Gen-4.5 voor high-end videogeneratie en Aleph 2.0 voor in-context videobewerking.
Voor ontwikkelaars stelt Runway deze mogelijkheden beschikbaar via een API. Via de kunnen gebruikers toegang krijgen tot diverse modellen, waaronder de eigen frontier-modellen en externe modellen zoals Gemini Omni 1.1 Flash van Google en GPT Image 2.5 Sunburst van OpenAI. De real-time agenten zijn specifiek ontworpen om naadloos te integreren in workflows voor interactieve content.
Naast de real-time karakters biedt het platform diverse andere tools voor professionele videoproductie, variërend van virtuele try-ons tot geavanceerde visuele effecten en storyboarding, zoals vermeld op de . De focus ligt hierbij op het combineren van beeld, video, audio en taalmodellen in één creatieve workflow.