Forscher haben eine innovative Methode entwickelt, um die zunehmende Monotonie von KI-Antworten zu bekämpfen. Das Problem liegt darin, dass Sprachmodelle nach dem Training dazu neigen, immer ähnlichere und stereotypere Antworten zu generieren. Dies wird auf menschliche Bewertungsmuster zurückgeführt, die vertraute und typische Texte bevorzugen. Die neue Technik, "Verbalized Sampling" genannt, verspricht Abhilfe, indem sie die KI auffordert, mehrere Antworten mit entsprechenden Wahrscheinlichkeiten zu liefern, anstatt nur einer einzigen.
Key Takeaways
- KI-Modelle neigen nach dem Training zu stereotypen Antworten, da menschliche Bewerter typische Texte bevorzugen.
- "Verbalized Sampling" fordert die KI auf, mehrere Antworten mit Wahrscheinlichkeiten zu generieren.
- Diese Methode steigert die Vielfalt bei kreativen Aufgaben und verbessert die Dialogsimulation.
- Größere KI-Modelle profitieren überproportional von der neuen Technik.
- Die Methode beeinträchtigt weder Sicherheit noch Faktentreue der KI.
Die Ursache der KI-Langeweile
Wissenschaftler verschiedener US-Universitäten haben analysiert, dass die Tendenz zu immer gleichen KI-Antworten auf menschliche Präferenzen bei der Bewertung zurückzuführen ist. Bei der Beurteilung von KI-Ausgaben bevorzugen Menschen oft Antworten, die sie als vertraut und typisch empfinden. Diese Präferenz überträgt sich auf die Trainingsdaten der Modelle und führt so zu einer Verringerung der Antwortvielfalt. Untersuchungen mit dem HELPSTEER-Datensatz bestätigten, dass menschliche Bewerter konsistent Antworten bevorzugten, die von Basismodellen als wahrscheinlicher eingestuft wurden, unabhängig von ihrer faktischen Korrektheit.
Ein einfacher Prompt mit großer Wirkung
Die Lösung ist überraschend einfach: Statt die KI nach einer einzelnen Antwort zu fragen, wird sie angewiesen, mehrere Antworten samt ihrer Wahrscheinlichkeiten zu generieren. Ein Beispiel für einen solchen Prompt lautet:
<instruction>
Generate 5 responses to the user query, each within a separate <response> tag. Each
<response> must include a <text> and a numeric <probability>.
Randomly sample the responses from the full distribution.
</instruction>
Write a 100-word story about a bear.
Das Forschungsteam hat drei Varianten dieser Methode entwickelt: eine Standardversion, eine erweiterte Version mit schrittweisem Reasoning und eine Variante, die über mehrere Gesprächsrunden hinweg arbeitet. Alle Ansätze funktionieren ohne zusätzliches Training der Modelle und benötigen keinen Zugriff auf interne Wahrscheinlichkeiten.
Deutliche Verbesserungen in Tests
Die Tests zeigten signifikante Verbesserungen. Bei kreativen Schreibaufgaben erhöhte "Verbalized Sampling" die Vielfalt um das 1,6- bis 2,1-fache. Während Standard-Prompts bei Witzen über Autos stets denselben Witz lieferten, generierte die neue Methode fünf unterschiedliche Witze. In Dialogsimulationen zeigten die Modelle menschenähnlichere Verhaltensweisen, wie Widerstand gegen Überzeugungsversuche und realistische Meinungsänderungen. Auch bei der Simulation von Spendenbeträgen stimmten die Ergebnisse besser mit menschlichem Verhalten überein. Bei offenen Fragen wie "Nenne einen US-Bundesstaat" stimmte die Antwortverteilung fast perfekt mit den ursprünglichen Trainingsdaten überein, im Gegensatz zu Standard-Prompts, die sich auf wenige häufige Antworten konzentrierten.
Vorteile für größere Modelle und Bildgenerierung
Größere und leistungsfähigere KI-Modelle profitierten überproportional von der Methode, mit Verbesserungen, die 1,5 bis 2 Mal höher waren als bei kleineren Versionen. "Verbalized Sampling" funktionierte unabhängig von Generierungsparametern wie der Temperatureinstellung und konnte sogar mit diesen kombiniert werden, um die Leistung weiter zu steigern. Die Methode zeigte auch Potenzial in der Bildgenerierung. Während Standard-Prompts für "Astronaut auf einem Pferd" durchweg fotorealistische Wüstenszenen erzeugten, lieferte "Verbalized Sampling" vielfältigere Beschreibungen, die zu unterschiedlichen Stilen wie Retro-Futurismus oder Aquarell führten. Wichtig ist, dass die Sicherheit und Faktentreue der KI durch die neue Methode nicht beeinträchtigt wurden, mit Ablehnungsraten von über 97 Prozent.
Die Forscher haben den Code und Anleitungen veröffentlicht, was breite Anwendungsmöglichkeiten in Bereichen wie kreativem Schreiben, sozialer Simulation und Ideengenerierung eröffnet.
KI Snack
