Das KI-Startup Skywork hat Matrix-Game 2.0 veröffentlicht, ein Open-Source-KI-Modell, das in der Lage ist, interaktive Videos in Echtzeit mit verbesserter Konsistenz zu erzeugen. Dieses Modell stellt eine Reaktion auf Googles Deepmind Genie 3 dar und zielt darauf ab, ähnliche Fähigkeiten für die breitere Entwicklergemeinschaft zugänglich zu machen.
Matrix-Game 2.0: Ein offener Ansatz für interaktive Videos
Matrix-Game 2.0, entwickelt vom KI-Startup Skywork, ist ein neues KI-Modell, das darauf ausgelegt ist, interaktive Videos mit bemerkenswerter Konsistenz in Echtzeit zu generieren. Dieses Modell tritt in direkte Konkurrenz zu Googles Deepmind Genie 3, das kürzlich für seine Fähigkeit gelobt wurde, minutenlange, konsistente Videos in hoher Qualität zu produzieren. Skyworks Ansatz ist es, diese fortschrittlichen Fähigkeiten als Open-Source-Lösung anzubieten.
- Erzeugt Videos mit 25 Bildern pro Sekunde (FPS).
- Unterstützt konsistente Interaktionen über mehrere Minuten.
- Ermöglicht direkte Steuerung über Tastatur und Maus.
- Trainiert auf 1.200 Stunden interaktivem Videomaterial aus der Unreal Engine und GTA5.
Technische Details und Funktionalität
Das Modell basiert auf einem autoregressiven Diffusionsansatz und verfügt über 1,8 Milliarden Parameter. Die Vorhersage zukünftiger Frames stützt sich ausschließlich auf visuelle Inhalte und Nutzeraktionen. Ein Kernstück ist das "Mouse/Keyboard-to-frame"-Modul, das Benutzereingaben direkt auf Frame-Ebene verarbeitet, wodurch die KI dynamisch auf Bewegungen und Steuerbefehle reagiert.
Matrix-Game 2.0 kann in verschiedenen Umgebungen eingesetzt werden, darunter Stadtlandschaften, Wildnis-Simulationen und TempleRun-ähnliche Szenarien. Die Konsistenz der generierten Umgebungen, die an Spiele wie GTA5 erinnern, ist ein bemerkenswertes Merkmal. Obwohl die Stabilität noch nicht ganz an die von Genie 3 heranreicht, wie gelegentliche visuelle Anomalien zeigen, ist die Verbesserung gegenüber früheren Demos signifikant.
Potenzielle Anwendungen und Verfügbarkeit
Skywork hebt die Fähigkeit des Modells zur szenenübergreifenden Generalisierung hervor, was bedeutet, dass es mit unterschiedlichen visuellen Stilen und Welten zurechtkommt, ohne spezielle Optimierungen. Die Figuren bewegen sich physikbewusst und reagieren plausibel auf ihre Umgebung. Potenzielle Anwendungsfelder umfassen die Prototypenentwicklung für Spiele, das Training von KI-Agenten und virtuelle Umgebungssimulationen für autonome Fahrsysteme.
Matrix-Game 2.0 ist frei auf Hugging Face und GitHub verfügbar. Skywork beschreibt die Veröffentlichung als "produktionsreife Forschung", die direkt in Entwicklungsprozesse integriert werden kann. Für die lokale Nutzung wird eine vollständige Inferenzpipeline mit Unterstützung für FlashAttention sowie eine Streaming-Variante angeboten.
KI Snack
