„Wir haben eine erhebliche Sicherheitslücke entdeckt, die es ermöglicht, die Denkprozesse von KI-Modellen auszulesen“, erklärte Alexander Panfilov, der Leiter des Forschungsteams.
Schwachstelle in KI-APIs entdeckt
Ein Team von Sicherheitsforschern hat eine kritische Schwachstelle in den APIs führender KI-Anbieter identifiziert, die es ermöglicht, die verschlüsselten Denkprozesse von Reasoning-Modellen zu entschlüsseln. In öffentlich zugänglichen Sessions konnten die Forscher zahlreiche Passwörter und API-Schlüssel ermitteln. Diese Entdeckung könnte die Notwendigkeit unterstreichen, dass OpenAI will mit neuem Trainingsdatensatz Prompt-Injection-Abwehr deutlich verbessern sollte, um solche Sicherheitslücken zu schließen.
Funktionsweise der KI-Modelle
Wenn KI-Modelle wie die o-Serie von OpenAI, Claude von Anthropic oder Googles Gemini komplexe Aufgaben bearbeiten, generieren sie interne Reasoning-Tokens. Diese Denkprozesse werden den Nutzern entweder nur in Form von Zusammenfassungen präsentiert oder bleiben vollständig verborgen. Die Anbieter setzen Verschlüsselung ein, um ihr geistiges Eigentum zu schützen. Dennoch zeigt eine aktuelle Studie, dass ein KI-Agent soll sich in nur einer Stunde in Recruiting-Plattform gehackt haben, was die Verwundbarkeit solcher Systeme verdeutlicht.
Ergebnisse der Forschung
Das Forscherteam um Panfilov hat eine Methode entwickelt, um diese verschlüsselten Denkprozesse über die entdeckte Schwachstelle in den APIs auszulesen. Die Analyse ergab, dass die Anzahl der extrahierten Tokens in den meisten Fällen exakt mit den abgerechneten Thinking-Tokens übereinstimmt, was auf eine ernsthafte Sicherheitslücke hinweist. Dies könnte auch die Diskussion über die Notwendigkeit von menschlicher Unterstützung beim Roboter-Coding anstoßen.
„`
Quellen: the-decoder, tagesschau, BR
Bildquelle: KI generiert
Dieser Text wurde mit Hilfe von künstlicher Intelligenz in Zusammenarbeit mit unserer Redaktion erstellt.
🚀