Das KI-Modell Kimi K3 von Moonshots sorgt aktuell für rege Diskussionen in der westlichen KI-Community.
„Wie gut ist das Modell wirklich?“
Diese Frage steht im Raum, nachdem Kimi K3 im Bereich Frontend-Entwicklung mit einem Score von 1.679 den ersten Platz belegt. In diesem Benchmark bewerten menschliche Tester die Ergebnisse der Modelle im Frontend-Bereich. Kimi K3 übertrifft damit deutlich Claude Fable 5 (1.631) und GPT-5.6 Sol (1.618) sowie alle anderen getesteten Modelle. Es ist das erste Mal, dass ein chinesisches Modell in diesem Benchmark die Spitze erreicht.
Allerdings zeigt Kimi K3 bei komplexen mathematischen Aufgaben erhebliche Schwächen. Laut Angaben von Epoch AI erzielt das Modell im FrontierMath-Benchmark (Tier 4, die schwierigsten Experten-Mathematikaufgaben) lediglich eine Genauigkeit von etwa 39 Prozent. Im Vergleich dazu erreichen Modelle von OpenAI oder Anthropic in ähnlichen Tests teils nahezu 90 Prozent. Besonders interessant ist, dass der „Mirage-Effekt“ bei KI-Modellen auch in anderen Bereichen wie der medizinischen Bilddiagnostik auftritt.
In der Mathematik bleibt Kimi K3 somit hinter den führenden westlichen Modellen zurück. Ein neues Framework zeigt zudem, dass KI-Modelle menschliche Unterstützung beim Roboter-Coding benötigen, was die Herausforderungen in der Entwicklung solcher Systeme verdeutlicht.
„`
Quellen: the-decoder
Bildquelle: KI generiert
🚀