Das KI-Startup Thinking Machines Lab hat sich einem der drängendsten Probleme im Bereich der künstlichen Intelligenz angenommen: der Unberechenbarkeit großer Sprachmodelle (LLMs). Selbst bei identischen Anfragen und der Einstellung auf die wahrscheinlichste Antwort (Temperatur 0) liefern LLMs oft unterschiedliche Ergebnisse. Thinking Machines behauptet nun, die Ursache dafür gefunden zu haben und entwickelt Lösungsansätze.
Die Ursache der Unberechenbarkeit
Das Team von Thinking Machines hat festgestellt, dass die Inkonsistenz von LLMs nicht allein auf die Rechengenauigkeit von Grafikkarten zurückzuführen ist. Vielmehr spielt die Serverauslastung eine entscheidende Rolle. Je nach Auslastung des Servers rechnet das Modell unterschiedlich, was zu variierenden Antworten führt.
Lösungsansätze von Thinking Machines
Um dieses Problem zu beheben, hat Thinking Machines eigene Rechenwege entwickelt. Diese sollen sicherstellen, dass die Antworten von LLMs unabhängig von der aktuellen Serverauslastung stets gleichbleiben. Die Entwicklung solcher deterministischen Ausgaben wäre ein bedeutender Fortschritt für die KI-Forschung.
Vorteile deterministischer KI-Ausgaben
Die Möglichkeit, konsistente und reproduzierbare Ergebnisse von KI-Modellen zu erhalten, hätte weitreichende Vorteile:
- Verlässliche KI-Forschung: Forscher könnten Experimente leichter wiederholen und Ergebnisse verifizieren.
- Reproduzierbare Anwendungen in Unternehmen: Unternehmen könnten KI-gestützte Anwendungen zuverlässiger in ihre Prozesse integrieren.
- Vertrauenswürdige wissenschaftliche Auswertungen: Die Glaubwürdigkeit wissenschaftlicher Analysen, die auf KI basieren, würde gestärkt.
Die Arbeit von Thinking Machines zielt darauf ab, die Zuverlässigkeit und Vorhersagbarkeit von KI-Systemen zu erhöhen, was für die weitere Entwicklung und Akzeptanz dieser Technologie von entscheidender Bedeutung ist.
KI Snack
