Das MAI-Team von Microsoft steht im Wettbewerb mit hochentwickelten Bildmodellen um die Aufmerksamkeit der Nutzer. Gleichzeitig demonstriert Microsoft Research, wie man auch mit begrenzter Rechenleistung bemerkenswerte Ergebnisse erzielen kann. Der Schlüssel dazu liegt in detaillierten Bildunterschriften und einer durchdachten Architektur.
Lens: Ein neues Text-zu-Bild-Modell
Mit dem Modell Lens präsentiert Microsoft Research eine Lösung, die mit deutlich größeren Mitbewerbern konkurrieren kann. Dabei benötigt es im Training nur einen Bruchteil der Rechenressourcen. Laut einem technischen Bericht kommt Lens mit etwa einem Fünftel des Rechenaufwands aus, den vergleichbare Modelle wie Z-Image für ihr Pre-Training erfordern. In verschiedenen Benchmarks übertrifft es Modelle, die um ein Vielfaches größer sind. So hat Hunyuan-Image-3.0 beispielsweise rund 80 Milliarden Parameter, während Lens lediglich 3,8 Milliarden umfasst. OpenAI startet Wettbewerb zur Entwicklung eines kompakten Sprachmodells zeigt ähnliche Ansätze zur Effizienzsteigerung.
Hohe Effizienz durch detaillierte Bildbeschreibungen
Die Forscher führen den Effizienzgewinn auf ein kompakteres Modell zurück, das pro Trainingsschritt mehr nutzbare Informationen liefert und mit weniger Durchläufen zu guten Ergebnissen gelangt. Zentral für den Erfolg ist der Datensatz Lens-800M, der 800 Millionen Bild-Text-Paare umfasst. Die Bildbeschreibungen wurden von GPT-4.1 generiert und sind im Durchschnitt mit über hundert Wörtern ausführlicher als die Standard-ALT-Texte, die im Internet zu finden sind.
Eine Ablationsstudie zeigt, dass das Training mit langen Beschreibungen deutlich bessere Ergebnisse liefert als mit kurzen oder gemischten Captions.
Adobe Firefly: Neue benutzerdefinierte KI-Modelle und umfassende Integration von Drittanbietern könnte ähnliche Fortschritte in der Bildverarbeitung zeigen.
Training mit variierenden Auflösungen
Zusätzlich integriert das Team in jedem Trainingsbatch unterschiedliche Auflösungen und Seitenverhältnisse, von Hochformat bis Querformat. Obwohl das Modell nur auf einem festen Satz von Bildgrößen trainiert wurde, generalisiert es laut den Forschern auch auf ungesehene Formate und Auflösungen, die bis zu Bildern mit rund zwei Megapixeln reichen. Dies reduziert die Notwendigkeit für kostspielige Trainingsläufe mit hochauflösendem Material. Die Ergebnisse erinnern an die Fortschritte, die in der Studie Vom Face-Plant zu Parkour: Virtuelle Agenten lernen Akrobatik, wenn Forscher immer mehr Netzwerkschichten stapeln erzielt wurden.
„`
Quellen: the-decoder
Bildquelle: KI generiert
