Das deutsche Unternehmen Black Forest Labs (BFL) hat mit Flux 3 ein neues multimodales Foundation-Modell vorgestellt, das in der Lage ist, aus Bildern, Videos und Audio gleichzeitig zu lernen. In ersten internen Tests übertrifft es zahlreiche Wettbewerber im Bereich der Videogenerierung.
Nach Angaben des Unternehmens stellt Flux 3 einen bedeutenden Fortschritt in Richtung „Real-World Visual Intelligence“ dar. Dies bezieht sich auf Modelle, die sowohl in physischen als auch in digitalen Umgebungen wahrnehmen, Vorhersagen treffen und entsprechend handeln können. Mit dieser Entwicklung folgt Black Forest Labs einem wachsenden Trend zur Schaffung sogenannter Weltmodelle.
Eine einzelne Modalität allein kann keine umfassende Beschreibung der Realität liefern. Bilder erfassen räumliche Strukturen, während Videos die zeitliche Dimension darstellen und Audio kausale Zusammenhänge zwischen mechanischen Phänomenen und Akustik aufdecken. Wenn ein Modell jedoch aus allen Modalitäten gleichzeitig lernt, schränken sie sich gegenseitig ein und bieten somit mehr Informationen als ein isoliertes Training, so die Einschätzung von BFL. Dies erinnert an das neue Framework, das zeigt, dass KI-Modelle menschliche Unterstützung benötigen, um effektiver zu arbeiten.
Zusätzlich ist es interessant zu beobachten, wie KI-Modelle auch in der medizinischen Bilddiagnostik eingesetzt werden. Der "Mirage-Effekt" verdeutlicht, dass diese Technologien manchmal sogar Krankheiten diagnostizieren, die nicht existieren. Solche Entwicklungen zeigen die Komplexität und die Herausforderungen, die mit multimodalen Ansätzen verbunden sind.
Ein weiteres spannendes Beispiel für den Einsatz von KI in der Kreativbranche ist ElevenLabs Music v2, das KI-Songs generiert, die nahtlos zwischen verschiedenen Musikstilen wechseln können.
„`
Quellen: the-decoder
Bildquelle: KI generiert
🚀