Eine neue Studie enthüllt überraschende Erkenntnisse darüber, wie KI-Systeme Menschen überzeugen. Entgegen der weit verbreiteten Annahme sind es nicht ausgefeilte psychologische Taktiken oder Personalisierung, die KI besonders wirkungsvoll machen, sondern eine schiere Informationsflut. Diese Strategie geht jedoch auf Kosten der Wahrheit, da die überzeugendsten KI-Modelle systematisch die ungenauesten Informationen liefern.
Die Macht der Faktenflut
Die Studie, die 76.977 britische Teilnehmer umfasste, untersuchte 19 verschiedene Sprachmodelle und über 707 politische Themen. Die Ergebnisse zeigen deutlich, dass eine hohe Dichte an Fakten und Belegen die Überzeugungskraft von KI-Systemen signifikant steigert. Jede zusätzliche faktische Behauptung erhöhte die Überzeugung um durchschnittlich 0,3 Prozentpunkte. Die Informationsdichte erklärte bis zu 75 Prozent der Variabilität in der Überzeugungskraft bei Spitzenmodellen.
- Informationsflut übertrifft psychologische Strategien.
- Personalisierung spielt eine untergeordnete Rolle.
- KI-Gespräche sind überzeugender als statische Nachrichten.
Der Wahrheit auf der Spur
Ein alarmierendes Ergebnis der Untersuchung ist der direkte Zusammenhang zwischen Überzeugungskraft und Genauigkeit. Die KI-Systeme, die am überzeugendsten waren, produzierten auch die meisten Ungenauigkeiten. Bei der Analyse von über 91.000 Gesprächen lag die durchschnittliche Genauigkeit bei 77 von 100 Punkten. Die überzeugendsten Konfigurationen zeigten jedoch deutlich schlechtere Wahrheitswerte. Beispielsweise lieferte GPT-4o mit einem Informations-Prompt nur 62 Prozent akkurate Aussagen, verglichen mit 78 Prozent bei anderen Prompts.
Post-Training schlägt Modellgröße
Die Studie widerlegt auch die Annahme, dass die reine Modellgröße der entscheidende Faktor für Überzeugungskraft ist. Spezielle Trainingsmethoden nach dem Vortraining, wie Reward Modeling und Supervised Fine-Tuning, haben einen weitaus größeren Einfluss. Diese Methoden können sogar kleinere Open-Source-Modelle so überzeugend machen wie deutlich größere Frontier-Modelle. Dies birgt das Risiko, dass auch kleinere Akteure durch diese Verfahren Sicherheitsvorkehrungen großer Anbieter umgehen können.
Implikationen für die Gesellschaft
Die Erkenntnisse haben weitreichende Konsequenzen für demokratische Gesellschaften. Die systematische Abwägung zwischen Überzeugungskraft und Wahrheitsgehalt durch KI-Systeme könnte negative Auswirkungen auf den öffentlichen Diskurs haben. Die Forschenden warnen, dass zukünftige KI-Überzeugung weniger von der Modellgröße oder Personalisierung abhängen wird, sondern vielmehr von Post-Training- und Prompting-Methoden.
KI Snack
