Das Center for AI Standards and Innovation (CAISI), eine Institution des US-Handelsministeriums, hat kürzlich neue Kooperationen mit Google Deepmind, Microsoft und xAI initiiert. Diese Partnerschaften zielen darauf ab, fortschrittliche KI-Modelle auf potenzielle Sicherheitsrisiken für die nationale Sicherheit zu überprüfen, bevor sie der Öffentlichkeit zugänglich gemacht werden.
Laut Chris Fall, dem Direktor von CAISI, sind unabhängige und rigorose Prüfmethoden erforderlich, um die Fähigkeiten von KI-Systemen umfassend zu verstehen. Bislang hat CAISI mehr als 40 solcher Prüfungen durchgeführt, teilweise an Modellen, die noch nicht veröffentlicht wurden. Die Entwickler stellen dafür auch Modelle mit eingeschränkten Sicherheitsvorkehrungen zur Verfügung. Ein Beispiel für solche Entwicklungen ist, dass OpenAI will mit neuem Trainingsdatensatz Prompt-Injection-Abwehr deutlich verbessern.
Diese neuen Vereinbarungen bauen auf vorherigen Abkommen mit Anthropic und OpenAI auf und ermöglichen Tests in vertraulichen Umgebungen. Bereits bei den ersten Vereinbarungen lag der Fokus darauf, Sicherheitsfähigkeiten und -risiken gemeinsam zu bewerten sowie Strategien zur Minderung dieser Risiken zu entwickeln. Ein weiteres interessantes Thema in diesem Zusammenhang ist, dass neues Framework zeigt: KI-Modelle benötigen menschliche Unterstützung beim Roboter-Coding.
Zusätzlich gibt es Berichte, dass ein KI-Agent sich in nur einer Stunde in Recruiting-Plattform gehackt haben, was die Notwendigkeit solcher Prüfungen unterstreicht.
Quellen: the-decoder
Bildquelle: KI generiert
