Viele Nutzer von Anthropic’s KI-Modell Claude hatten in den letzten Wochen über eine spürbare Verschlechterung der Antwortqualität geklagt. Das Unternehmen hat nun bestätigt, dass drei unabhängige Infrastrukturfehler für die Probleme zwischen Anfang August und Anfang September verantwortlich waren. Anthropic räumte ein, dass die internen Prüfungen die Fehler zunächst nicht erfasst hatten und erst die zahlreichen Rückmeldungen aus der Community zur Identifizierung führten.
Wichtige Erkenntnisse
- Drei voneinander unabhängige Infrastrukturfehler beeinträchtigten die Leistung von Claude.
- Die Probleme führten zu falschen Serverweiterleitungen, fehlerhaften Zeichen/Code und qualitativ schlechteren Antworten.
- Anthropic betont, dass die Qualitätseinbußen nicht absichtlich erfolgten.
- Das Unternehmen plant, die Testverfahren und Fehlererkennung zu verbessern.
Details zu den Fehlern
Anthropic hat in einem technischen Bericht die Ursachen für die Leistungseinbußen von Claude offengelegt. Drei spezifische Infrastrukturfehler waren zeitweise dafür verantwortlich, dass die KI schlechtere Antworten lieferte. Der erste Fehler betraf die fehlerhafte Weiterleitung von Anfragen an ungeeignete Server. Ein zweiter Fehler führte dazu, dass die Ausgaben von Claude teilweise unerwartete Zeichen oder beschädigten Code enthielten. Der dritte und letzte identifizierte Fehler hatte zur Folge, dass das Modell Antworten auswählte, die qualitativ unter dem üblichen Standard lagen.
Schwierige Identifizierung und Community-Hilfe
Laut Anthropic war die Eingrenzung der Probleme aufgrund der unterschiedlichen Erscheinungsbilder je nach Plattform und Modell schwierig. Interne Überprüfungen konnten die Fehler zunächst nicht aufdecken. Erst die zahlreichen Rückmeldungen von Nutzern aus der Community, die auf Plattformen wie Reddit, X und YouTube über die schwächeren Ergebnisse berichteten, halfen bei der Identifizierung der Ursachen. Viele Nutzer hatten insbesondere die Code-Qualität bemängelt und von fehlerhaften oder widersprüchlichen Ausgaben gesprochen, was zu Spekulationen über eine absichtliche Drosselung oder Modelländerungen führte.
Zukünftige Maßnahmen
Anthropic hat zugesichert, dass die Qualitätseinbußen nicht auf eine bewusste Entscheidung zurückzuführen sind, wie etwa bei hoher Nachfrage oder Serverlast. Um zukünftige Probleme dieser Art zu vermeiden, plant das Unternehmen die Implementierung sensiblerer Tests, kontinuierliche Überprüfungen im laufenden Betrieb sowie die Entwicklung besserer Werkzeuge zur Fehlererkennung und -behebung. Die Nutzerberichte, die Anthropic nach ersten Anfragen bestätigte, haben sich mit dem nun veröffentlichten Bericht als zutreffend erwiesen.
KI Snack
