Wissenschaftler haben mit dem KI-Modell LPM 1.0 eine innovative Technologie entwickelt, die in der Lage ist, aus einem einzigen Bild ein Echtzeit-Video einer sprechenden, zuhörenden oder singenden Figur zu generieren.
Dieses Modell verarbeitet simultan Text, Audio und Referenzbilder und erzeugt dabei lippensynchrone Sprache, subtile Gesichtsausdrücke wie Zögern oder Blickwechsel sowie emotionale Übergänge. Zudem lässt es sich direkt mit Sprach-Audio-KI-Modellen wie ChatGPT oder Doubao verbinden, was die Schaffung eines visuellen Gesprächspartners in Echtzeit ermöglicht.
LPM 1.0 ist vielseitig einsetzbar und unterstützt verschiedene Bildstile, darunter fotorealistische Gesichter, Anime und 3D-Spielfiguren, ohne dass ein zusätzliches Training erforderlich ist. Der gesamte Prozess der Videoerzeugung erfolgt als Streaming in Echtzeit, anstatt ein komplettes Video auf einmal zu berechnen. Videos mit einer Länge von bis zu 45 Minuten sollen dabei stabil bleiben. OpenAI hat kürzlich einen Wettbewerb zur Entwicklung eines kompakten Sprachmodells gestartet, was die Relevanz solcher Technologien weiter unterstreicht.
„`
Bildquelle: ai-generated-gemini
