Die Superintelligence Labs von Meta haben ein innovatives Echtzeit-Modell zur Audio-Wahrnehmung vorgestellt. Dieses Modell ist in der Lage, Sprache zu transkribieren, Sprecher zu unterscheiden und Satzenden während eines laufenden Gesprächs zu erkennen.
Das Modell aus der Spark-Familie segmentiert eingehendes Audio in kleine Abschnitte von jeweils 80 Millisekunden. Nach der Analyse eines Abschnitts trifft das Modell eine Entscheidung: Es kann entweder weiterhin zuhören und auf den nächsten Audioabschnitt warten oder das nächste Wort als Text ausgeben. Dadurch steuert das Modell eigenständig, wie viel Kontext es sammelt, bevor es mit der Transkription beginnt.
Hierbei entsteht ein Zielkonflikt: Je länger das Modell wartet, desto präziser wird die Transkription, da es mehr Kontextinformationen erhält. Gleichzeitig erhöht sich jedoch die Verzögerung, bis der Text angezeigt wird. Muse Voice Transcribe passt die Wartezeit laut Meta dynamisch an die Komplexität jedes einzelnen Wortes an. Einfache Wörter werden schneller ausgegeben, während bei schwierigeren Wörtern eine längere Wartezeit in Kauf genommen wird. Dieses Verhalten wurde durch Reinforcement Learning trainiert, wobei das Modell für niedrige Fehlerraten und kurze Verzögerungen belohnt wird. Nach Angaben des Unternehmens erreicht das Modell so ein optimales Verhältnis von Geschwindigkeit und Genauigkeit. Zudem zeigt ein neues Framework, dass KI-Modelle menschliche Unterstützung beim Roboter-Coding benötigen.
Ein weiterer interessanter Aspekt ist die Entwicklung von KI-Agenten durch Microsoft-Wissenschaftler, die einen neuen Trainingsansatz ohne Gewichtsanpassung verfolgen. Diese Fortschritte könnten auch die Audio-Wahrnehmungstechnologien beeinflussen. Schließlich hat ElevenLabs mit Music v2 eine KI entwickelt, die in der Lage ist, Songs zu generieren, die nahtlos zwischen verschiedenen Musikstilen wechseln.
„`
Quellen: the-decoder
Bildquelle: KI generiert
Dieser Text wurde mit Hilfe von künstlicher Intelligenz in Zusammenarbeit mit unserer Redaktion erstellt.
🚀