Eine aktuelle Analyse von Nous Research beleuchtet die Effizienz von offenen Sprachmodellen im Vergleich zu geschlossenen Systemen. Die Untersuchung zeigt, dass sogenannte "Reasoning-Modelle", die mehr Token zur Lösungsfindung generieren, bei offenen KI-Modellen oft einen deutlich höheren Verbrauch aufweisen. Dies kann trotz geringerer Basiskosten zu höheren Gesamtkosten führen, insbesondere bei einfachen Wissensfragen, wo unnötige "Gedankenschritte" die Effizienz mindern.
Key Takeaways
- Offene KI-Modelle können bei der Lösungsfindung deutlich mehr Token verbrauchen als geschlossene Modelle.
- Hoher Token-Verbrauch kann trotz niedrigerer Tokenpreise zu höheren Gesamtkosten führen.
- Die Effizienz hängt stark vom Aufgabentyp ab.
- Einige Open-Source-Modelle zeigen jedoch, dass auch sie mit kurzen "Denkpfaden" effizient arbeiten können.
Offene Modelle im Vergleich
Die Analyse von Nous Research hebt hervor, dass offene KI-Modelle im Durchschnitt drei- bis viermal mehr Token benötigen als geschlossene Modelle wie Grok-4 oder die Modelle von OpenAI. Dies wird besonders bei der Beantwortung einfacher Wissensfragen deutlich, wo die Modelle scheinbar unnötige Zwischenschritte generieren. Obwohl die Kosten pro Token bei Open-Source-Modellen oft niedriger sind, kann der höhere Gesamtverbrauch die Gesamtkosten in die Höhe treiben.
Effizienz variiert je nach Modell und Aufgabe
Die Studie zeigt jedoch auch, dass nicht alle offenen Modelle gleichermaßen ineffizient sind. OpenAIs gpt-oss-120b-Modell beispielsweise demonstriert, dass auch Open-Source-Lösungen bei bestimmten Aufgaben, wie Mathematikproblemen, mit sehr kurzen "Denkpfaden" effizient arbeiten können. Im Gegensatz dazu fallen Mistrals Magistral-Modelle durch einen tendenziell hohen Tokenverbrauch auf. Dies unterstreicht, dass die Token-Effizienz maßgeblich vom spezifischen Modell und der Art der zu lösenden Aufgabe abhängt.
KI Snack
