KI-Industrie hat „ihren Weg verloren“: Turing-Preisträger Sutton kritisiert Sprachmodell-Fokus

KI-Industrie auf Abwegen: Turing-Preisträger Sutton kritisiert Fokus auf Sprachmodelle

Turing-Preisträger Richard Sutton, ein Pionier des Reinforcement Learning, äußert scharfe Kritik an der aktuellen Ausrichtung der KI-Industrie. Er bemängelt, dass sich die Branche zu stark auf die Skalierung von Sprachmodellen konzentriert und dabei grundlegende Prinzipien echter Intelligenz vernachlässigt. Sutton fordert eine Rückbesinnung auf lernende Agenten, Weltmodelle und abstraktes Wissen.

Suttons Kritik an der aktuellen KI-Entwicklung

Sutton, der auch für Google Deepmind tätig ist, argumentiert, dass wahre Intelligenz aus kontinuierlicher Erfahrung und Interaktion mit einer unbekannten Welt entstehen muss. Aktuelle Modelle würden ihr Wissen jedoch zur Entwicklungszeit fest einprogrammieren, anstatt es zur Laufzeit zu entdecken. Dies widerspricht seiner berühmten "Bitter Lesson", die besagt, dass allgemeine, skalierbare Methoden langfristig erfolgreicher sind als menschlich vordefiniertes Wissen.

Ein zentraler Kritikpunkt Suttons ist das Fehlen kontinuierlichen Lernens in heutigen KI-Systemen. Diese Modelle leiden oft unter "katastrophalem Vergessen", bei dem neues Wissen altes überschreibt, und verlieren mit der Zeit ihre Lernfähigkeit (Plastizität).

Der Weg zur Superintelligenz: Suttons Oak-Architektur

Suttons Vision für die Entwicklung von Superintelligenz (ASI) liegt in seiner Oak-Architektur (Options and Knowledge). Dieses Rahmenkonzept basiert auf drei Kernprinzipien:

• Allgemeinheit: Der Agent startet ohne spezifisches Weltwissen.
• Erfahrungsorientierung: Lernen erfolgt ausschließlich durch direkte Interaktion mit der Umgebung (Beobachtungen, Aktionen, Belohnungen).
• Reward Hypothesis: Jedes Ziel kann auf die Maximierung einer einfachen numerischen Belohnung reduziert werden.

Das Herzstück der Oak-Architektur ist ein sich selbst verstärkender Kreislauf, der den Agenten zu immer höheren Abstraktionsebenen führt. Nützliche Merkmale für Planung und Problemlösung bilden die Grundlage für neue, abstraktere Konzepte. Dieser offene Prozess, der nur durch Rechenleistung begrenzt ist, soll schrittweise den Weg zur Superintelligenz ebnen.

Eine entscheidende Voraussetzung für die Realisierbarkeit von Suttons Vision ist jedoch die Entwicklung von Algorithmen für zuverlässiges, kontinuierliches Deep Learning, die ohne Verlust von Gelerntem stabil dazulernen können.