Andrea Vallone, eine führende Sicherheitsforscherin bei OpenAI, hat zu Anthropic gewechselt. Dort wird sie im Alignment-Team tätig sein, das sich mit den Risiken von KI-Modellen beschäftigt. Vallone war drei Jahre lang bei OpenAI und gründete dort das „Model Policy“-Forschungsteam. Sie arbeitete an bedeutenden Projekten wie GPT-4, GPT-5 und den Reasoning-Modellen.
Im vergangenen Jahr leitete Vallone bei OpenAI die Forschung zu einer drängenden Frage: Wie sollten KI-Modelle reagieren, wenn Nutzer Anzeichen von emotionaler Abhängigkeit oder psychischen Problemen zeigen? Einige Nutzer, darunter Jugendliche, haben sich nach Gesprächen mit Chatbots das Leben genommen. Infolge dessen haben mehrere Familien Klagen eingereicht, und der US-Senat hat eine Anhörung zu diesem Thema abgehalten.
Bei Anthropic wird Vallone nun unter Jan Leike arbeiten, der ebenfalls ehemaliger Sicherheitsforschungsleiter bei OpenAI war und das Unternehmen im Mai 2024 verließ. Leike hatte damals angemerkt, dass Sicherheitsaspekte bei OpenAI hinter der Entwicklung neuer Produkte zurückstehen.
🚀