OpenAI hat mit gpt-oss-120b und gpt-oss-20b zwei neue Open-Source-Sprachmodelle veröffentlicht. Dies markiert die erste Veröffentlichung von Modellen mit offenen Gewichten seit GPT-2. Die Modelle sind auf komplexe logische Schlussfolgerungen und die Nutzung externer Werkzeuge spezialisiert und erreichen in Benchmarks eine beachtliche Leistung.
Key Takeaways
- OpenAI veröffentlicht gpt-oss-120b und gpt-oss-20b, die ersten Open-Source-Modelle seit GPT-2.
- Die Modelle sind auf Reasoning und die Nutzung externer Tools spezialisiert.
- Sie erreichen eine Leistung, die an proprietäre Modelle wie o4-mini heranreicht.
- Ein neues Sicherheitsprotokoll soll Missbrauch verhindern.
Neue Open-Source-Modelle von OpenAI
OpenAI hat mit gpt-oss-120b und gpt-oss-20b zwei große Sprachmodelle mit offenen Gewichten unter der Apache-2.0-Lizenz veröffentlicht. Diese Modelle basieren auf einer Mixture-of-Experts-Architektur und sind speziell für Aufgaben konzipiert, die komplexe logische Schlussfolgerungen, schrittweises Denken (Chain-of-Thought) und die Integration externer Werkzeuge wie Websuche oder Code-Interpreter erfordern.
Das größere Modell, gpt-oss-120b, kann auf einer einzelnen 80-GB-GPU betrieben werden, während das kleinere gpt-oss-20b für Systeme mit 16 GB Arbeitsspeicher ausgelegt ist. OpenAI-CEO Sam Altman bezeichnete die Veröffentlichung als Beitrag zu einer "demokratischen" KI-Infrastruktur. Beide Modelle sind über Hugging Face zugänglich.
Starke Leistung in Benchmarks
Laut OpenAI erreicht gpt-oss-120b in verschiedenen anspruchsvollen Benchmarks eine Leistung, die mit dem proprietären Modell o4-mini vergleichbar ist und GPT-4o in vielen Anwendungen übertrifft. Besonders hervorzuheben ist die Leistung bei Aufgaben, die lange Denkketten erfordern. Im Mathematik-Wettbewerb AIME 2024 erzielte gpt-oss-120b mit Werkzeugen eine Genauigkeit von 96,6 %, nur knapp hinter o4-mini (98,7 %).
Auch bei Programmieraufgaben zeigt sich eine hohe Leistungsfähigkeit. Im Codeforces-Benchmark erreicht das Modell eine Elo-Wertung von 2622, was sich der von o4-mini (2719) annähert. Im SWE-bench Verified erreichen die Modelle Werte von 60 bzw. 62 Prozent (o4-mini 69 %, o3 68 %). Im Gesundheitsbereich übertrifft gpt-oss-120b auf dem HealthBench-Benchmark viele Modelle deutlich und liegt fast auf dem Niveau von o3.
Es ist wichtig zu beachten, dass es sich um reine Textmodelle handelt, die keine Bilder verarbeiten oder generieren können. Ihr Wissensstand ist auf Juni 2024 datiert. Die Modelle neigen stärker zu Halluzinationen als größere Modelle, was auf ihre geringere Größe und weniger Weltwissen zurückzuführen ist.
Neues Sicherheitsprotokoll für Open-Source-KI
Um potenziellem Missbrauch von Open-Source-Modellen entgegenzuwirken, hat OpenAI ein neues Sicherheitsprotokoll eingeführt. Dieses beinhaltet ein "Worst-Case-Fine-Tuning"-Verfahren, bei dem OpenAI gezielt versuchte, das Modell auf gefährliche Fähigkeiten zu trainieren. Trotz dieser Maßnahmen erreichte das Modell laut OpenAI keine "hohe" Fähigkeitsschwelle in den überwachten Risikokategorien. Die Veröffentlichung verschiebt laut OpenAI die Grenze gefährlicher Fähigkeiten bei Open-Source-Modellen nicht wesentlich, da bereits andere Modelle vergleichbare Leistungen aufweisen.
Die Model Card weist jedoch auf verbleibende Herausforderungen hin, wie eine geringere Einhaltung der Anweisungshierarchie im Vergleich zu o4-mini. Die Denkketten wurden bewusst nicht auf "schlechte Gedanken" hin optimiert, um die Überwachung durch Entwickler zu ermöglichen, was bedeutet, dass sie unmoderierte Inhalte enthalten können.
KI Snack
