Neue Leistungsindizes für KI-Modelle veröffentlicht
Die Plattform Artificial Analysis hat kürzlich sechs neue branchenspezifische Leistungsindizes für Künstliche Intelligenz vorgestellt.
„Claude Fable 5 von Anthropic führt in allen Kategorien“,
so die Einschätzung der Analysten. Dennoch gibt es kostengünstigere Alternativen, die ähnliche Aufgaben zu einem Bruchteil der Kosten bewältigen können. OpenAI hebt infrastrukturelle Vorteile gegenüber Anthropic hervor.
Vergleich von KI-Modellen in verschiedenen Sektoren
Die Frage, wie gut moderne KI-Modelle in spezifischen Bereichen wie dem Finanzwesen, der Rechtswissenschaft oder der Medizin abschneiden, steht im Mittelpunkt der neuen Indizes. Die Capability Indices vergleichen KI-Modelle in den Bereichen Finance & Accounting, Legal, Healthcare & Medical, Strategy & Ops, Engineering und Economics. Diese neuen Indizes erweitern die bereits bestehenden Agentic- und Coding-Indizes der Plattform. Ein neues Framework zeigt, dass KI-Modelle menschliche Unterstützung beim Roboter-Coding benötigen.
Methodik und Grundlagen der Indizes
Nach Angaben von Artificial Analysis basiert die Methodik auf den Berufsklassifikationen des US-amerikanischen O*NET-Systems. Aus den dort definierten beruflichen Aufgaben werden spezifische Fähigkeiten abgeleitet, wie etwa Finanzmodellierung, Rechtsrecherche, Vertragsanalyse und klinische Entscheidungsunterstützung. Für jede Kategorie wird die Benchmark-Suite neu erstellt und die Fähigkeiten werden nach ihrer Häufigkeit in der jeweiligen Branche gewichtet. Alle Benchmarks werden laut den Angaben der Plattform unabhängig durchgeführt. Der "Mirage-Effekt" zeigt, dass KI-Modelle Krankheiten auf Bildern diagnostizieren, die nie existierten.
„`
Quellen: the-decoder, Handelsblatt
Bildquelle: KI generiert
🚀