Das neue Video-Weltmodell mit dem Namen Mirage revolutioniert die Generierung von Bewegtbildern, indem es den rechenintensiven Umweg über pixelbasierte Speicher umgeht. Dies führt zu einer schnelleren Erstellung von Inhalten und gewährleistet, dass die räumliche Struktur einer Szene auch bei langen Kamerafahrten konstant bleibt. Entwickelt wurde dieses Modell von einem interdisziplinären Team mehrerer Universitäten in Zusammenarbeit mit Microsoft Research.
Video-Weltmodelle sind in der Lage, aus einem Ausgangsbild und einer festgelegten Kameraführung realistische Bewegungen zu erzeugen, die beispielsweise für Simulationen oder als World-Simulatoren verwendet werden. Ohne ein gewisses Gedächtnis neigen selbst die leistungsfähigsten Generatoren dazu, räumlich auseinanderzudriften: Wenn man zu einem zuvor besuchten Bereich eines Raums zurückkehrt, kann dieser plötzlich anders aussehen, Möbel können sich verschieben und Texturen können variieren.
Bisherige Systeme wie Voyager, WonderWorld oder Spatia versuchen, dieses Problem mit einer dreidimensionalen Punktwolke zu lösen, die kontinuierlich mit Farbinformationen aktualisiert wird. Bei jedem neuen Generierungsschritt muss diese Punktwolke gerendert und das Ergebnis erneut in den internen Featureraum des Modells übersetzt werden. Das Paper beschreibt diesen Prozess als doppeltes Nadelöhr, da er rechenintensiv ist und auf dem Weg durch den Pixelraum Informationen verloren gehen. Ein interessanter Ansatz, um diese Herausforderungen zu meistern, ist der Einsatz von Technologien, die in virtuellen Agenten zur Akrobatik führen.
Zusätzlich könnten neue Entwicklungen wie benutzerdefinierte KI-Modelle von Adobe Firefly die Möglichkeiten der Videoerstellung erweitern. Auch der Wettbewerb von OpenAI zur Entwicklung kompakter Sprachmodelle könnte neue Impulse für die Interaktion mit solchen Systemen geben.
„`
Quellen: the-decoder
Bildquelle: KI generiert
🚀