OpenAI hat erstmals seine KI-Modelle systematisch an realen Wissensarbeitsaufgaben getestet. Der neue Benchmark namens GDPval umfasst 1320 Aufgaben aus 44 Berufen, die von Branchenexperten bewertet wurden. Erste Ergebnisse zeigen, dass fortschrittliche Modelle wie GPT-5 und Claude Opus 4.1 beeindruckende Leistungen erzielen und sich dem menschlichen Expertenniveau annähern.
Key Takeaways
- OpenAI führt mit GDPval einen neuen Benchmark für reale Wissensarbeit ein.
- 1320 Aufgaben aus 44 Berufen, bewertet von Branchenexperten, bilden die Grundlage.
- Fortschrittliche KI-Modelle wie GPT-5 und Claude Opus 4.1 zeigen starke Leistungen.
- KI-Modelle sind signifikant schneller und kostengünstiger als menschliche Experten.
- Der Benchmark testet derzeit isolierte Aufgaben, nicht vollständige Arbeitsabläufe.
GDPval: Ein neuer Standard für KI-Bewertung
OpenAI hat mit GDPval einen innovativen Benchmark entwickelt, der KI-Modelle an realen Wissensarbeitsaufgaben misst. Die erste Version deckt 44 Berufe in neun Schlüsselindustrien ab, die über 60 Prozent nicht-physische Tätigkeiten aufweisen. Die Aufgaben basieren auf realen Arbeitsergebnissen und wurden von Berufsexperten mit durchschnittlich 14 Jahren Erfahrung erstellt. Im Gegensatz zu herkömmlichen Benchmarks beinhalten GDPval-Aufgaben nicht nur Text-Prompts, sondern auch zusätzliche Materialien und komplexe Ergebnisformate, wie beispielsweise die Erstellung eines 3D-Modells und einer Präsentation für einen Maschinenbauingenieur.
KI-Modelle erreichen Expertenniveau
In ersten Tests zeigten sich Spitzenmodelle wie GPT-5 und Claude Opus 4.1 äußerst leistungsfähig. Bei etwa der Hälfte der 220 Aufgaben im "Gold-Set" bewerteten Experten die KI-Ergebnisse als gleichwertig oder sogar besser als die menschlichen Referenzlösungen. GPT-5 zeigte dabei eine mehr als verdoppelte oder verdreifachte Leistung im Vergleich zu GPT-4o, während Claude Opus 4.1 bei knapp der Hälfte der Aufgaben überzeugte, insbesondere in Bezug auf Ästhetik und Formatierung. GPT-5 punktete vor allem bei Fachkenntnis und Genauigkeit.
Effizienz und Kostenvorteile
OpenAI hebt die erheblichen Effizienzvorteile hervor: Die getesteten Modelle erledigten Aufgaben rund 100-mal schneller und 100-mal günstiger als menschliche Experten, wenn reine Inferenzzeit und API-Kosten betrachtet werden. Das Unternehmen erwartet, dass KI-Modelle zukünftig Zeit und Kosten sparen können, indem sie Aufgaben vorbereiten, bevor Menschen sie final bearbeiten. Dennoch bleiben menschliche Aufsicht, Iteration und Integration unerlässlich.
Einschränkungen und Zukunftsperspektiven
Die aktuelle Version von GDPval konzentriert sich auf isolierte "One-Shot"-Aufgaben, die ohne Rückmeldungen oder Iterationen bearbeitet werden. Komplexe Aspekte wie unklare Anforderungen oder die Zusammenarbeit mit Kollegen werden noch nicht abgebildet. OpenAI plant jedoch, zukünftige Versionen interaktiver und realitätsnäher zu gestalten, um auch Aufgaben mit unklarer Ausgangslage und Feedbackschleifen zu integrieren. Langfristig soll GDPval dazu beitragen, den wirtschaftlichen Nutzen von KI-Modellen systematisch zu erfassen und deren Auswirkungen auf den Arbeitsmarkt besser zu verstehen.
KI Snack
