OpenAI hat seine Realtime-API aus der Beta-Phase entlassen und für den produktiven Einsatz freigegeben. Die Schnittstelle, die sich an Unternehmen und Entwickler richtet, ermöglicht die Integration von Sprachassistenten in diverse Anwendungen. Das neue Modell „gpt-realtime“ verarbeitet Sprache direkt, was zu schnelleren Reaktionen und natürlicheren Klängen führt.
Key Takeaways
- Das neue Modell „gpt-realtime“ verarbeitet Sprache direkt und reagiert schneller.
- Es erkennt nonverbale Signale wie Lachen und kann mitten im Satz die Sprache wechseln.
- Die API unterstützt erweiterte Tool-Integrationen und Bild-Eingaben.
- Die Kosten wurden um 20 % gesenkt.
Verbesserte Sprachverarbeitung und Interaktion
Das Herzstück der neuen API ist das Modell „gpt-realtime“, das Sprache ohne den Umweg über Textmodelle verarbeitet und erzeugt. Dies ermöglicht eine deutlich schnellere Reaktionszeit und eine natürlichere Sprachausgabe. Das Modell ist in der Lage, komplexe Anweisungen besser zu befolgen und erkennt nonverbale Signale wie Lachen. Eine bemerkenswerte Neuerung ist die Fähigkeit, mitten im Satz die Sprache zu wechseln und fein abgestimmte Sprechweisen zu realisieren, wie beispielsweise „freundlich im französischen Akzent“ oder „schnell und professionell“.
Zusätzlich wurden zwei neue Stimmen, Cedar und Marin, eingeführt, und die bestehende Stimmauswahl wurde hörbar verbessert. In Benchmarks wie Big Bench Audio, MultiChallenge und ComplexFuncBench konnte das Modell signifikante Genauigkeitssteigerungen erzielen.
Erweiterte Tool-Unterstützung und Bildeingabe
Die API bietet nun erweiterte Möglichkeiten zur Tool-Integration. Das Modell kann Werkzeuge asynchron aufrufen, was bedeutet, dass es während längerer Funktionen im Gespräch bleibt, ohne die Unterhaltung zu unterbrechen. Tool-Aufrufe sind zuverlässiger geworden, da das Modell passende Tools, Zeitpunkte und Parameter gezielter auswählt. Externe Tools und Dienste können über SIP-Unterstützung und Remote-MCP-Server einfach angebunden werden. Wiederverwendbare Prompts ermöglichen das Speichern von Konfigurationen und Tool-Einstellungen für verschiedene Gesprächsszenarien.
Eine weitere Neuerung ist die Unterstützung von Bild-Eingaben. Nutzer können Screenshots oder Fotos teilen, auf die sich das Modell im Gespräch beziehen kann, beispielsweise um Text aus einem Bild vorzulesen oder Fragen zur Darstellung zu beantworten. Entwickler behalten dabei die Kontrolle darüber, welche Inhalte das Modell sieht.
Kostenoptimierung und Sicherheit
OpenAI hat neue Steuerungsfunktionen eingeführt, die das Setzen von Tokenlimits und das Kürzen mehrerer Gesprächsrunden gleichzeitig ermöglichen. Dies hilft, die Kosten bei langen Sitzungen gezielt zu senken. Die Preise für gpt-realtime sind um 20 % niedriger als bei der Vorgängerversion.
Die API erkennt problematische Inhalte automatisch und kann Gespräche bei Verstößen gegen die Richtlinien beenden. Entwickler können eigene Sicherheitsvorgaben ergänzen. Für Anwendungen in der EU gibt es Optionen zur Datenspeicherung innerhalb der EU und spezielle Datenschutzregelungen.
KI Snack
