Alibaba hat sein KI-Modell Qwen-Image um leistungsstarke Bildbearbeitungsfunktionen erweitert. Die neue Version, Qwen-Image-Edit, verspricht insbesondere bei der Manipulation von Texten in Bildern eine hohe Präzision und Flexibilität. Das Modell kombiniert zwei Ansätze zur Bildbearbeitung, um sowohl grundlegende als auch komplexe semantische Änderungen zu ermöglichen, und setzt damit neue Maßstäbe in der KI-gestützten Bildmanipulation.
Key Takeaways
- Alibaba erweitert Qwen-Image um Bildbearbeitungsfunktionen, mit einem Fokus auf Textmanipulation.
- Das Modell nutzt eine Kombination aus semantischer Kontrolle und visueller Erscheinungssteuerung.
- Es bietet zwei Bearbeitungsmodi: semantische Bearbeitung für Pixeländerungen im gesamten Bild und Erscheinungsbearbeitung für lokale Anpassungen.
- Anwendungsbeispiele reichen von der Erstellung von Stickern und Avataren bis hin zur Modifikation von Schildern und Texten in Bildern.
- Qwen-Image-Edit ist über Qwen Chat zugänglich und auf Plattformen wie Github und Hugging Face verfügbar.
Zwei Bearbeitungsmodi für vielfältige Anwendungen
Qwen-Image-Edit basiert auf Alibabas 20-Milliarden-Parameter-Modell Qwen-Image und integriert zwei unterschiedliche Methoden zur Bildbearbeitung. Das System verarbeitet Eingabebilder parallel über Qwen2.5-VL für die semantische Steuerung und einen Variational Autoencoder (VAE) für die Kontrolle des visuellen Erscheinungsbilds. Laut Alibaba ermöglicht diese Architektur sowohl grundlegende Bildmanipulationen als auch komplexe semantische Änderungen. Während die Erscheinungsbearbeitung darauf abzielt, andere Bildregionen unverändert zu lassen, erlaubt die semantische Bearbeitung Pixeländerungen im gesamten Bild unter Beibehaltung der semantischen Konsistenz.
Kreative Einsatzmöglichkeiten und Textmanipulation
Für die semantische Bearbeitung demonstriert Alibaba die Erstellung von Inhalten mit dem firmeneigenen Capybara-Maskottchen, wobei die Charakterkonsistenz auch bei signifikanten Pixeländerungen erhalten bleibt. Dies eignet sich beispielsweise für die Erstellung von Stickern in Messenger-Apps. Weitere Einsatzgebiete umfassen die Generierung neuer Perspektiven durch Rotationen von Objekten sowie Stil-Transfer für die Avatar-Erstellung, wie die Umwandlung von Porträts im Stil von Studio Ghibli zeigt.
Das System kann auch Schilder inklusive natürlicher Schatten hinzufügen, feine Haarsträhnen entfernen oder die Farbe einzelner Buchstaben ändern. Hintergrund- und Kleidungsmodifikationen sind ebenfalls möglich.
Ein besonderer Schwerpunkt liegt auf der bilingualen Textbearbeitung in chinesischer und englischer Sprache. Qwen-Image-Edit kann Texte direkt in Bildern hinzufügen, löschen oder modifizieren, wobei Schriftart, Größe und Stil des Originals erhalten bleiben. Nutzer können Begrenzungsrahmen um fehlerhafte Bereiche ziehen, woraufhin das Modell die markierten Regionen korrigiert. Bei komplexen oder obskuren Zeichen ermöglicht eine verkettete Bearbeitung die schrittweise Verbesserung durch Nachbearbeitung spezifischer Teilbereiche.
Fortschritt und Verfügbarkeit
Alibaba gibt an, dass Qwen-Image-Edit State-of-the-Art-Performance in mehreren öffentlichen Benchmarks für Bildbearbeitungsaufgaben erzielt. Das Modell ist über Qwen Chat mit der "Image Editing" Funktion zugänglich und steht auf Plattformen wie Github, Hugging Face und Modelscope zur Verfügung. Die Entwicklung unterstreicht den rasanten Fortschritt bei Bildmodellen, insbesondere bei gezielten Bearbeitungen und der präzisen Textdarstellung in Bildern, was bisher eine große Herausforderung für KI-Systeme darstellte.
KI Snack
