Ilya Sutskever sieht die KI-Entwicklung an einem entscheidenden Punkt. Er betont, dass anstelle immer größerer Modelle nun fundamentale Forschung erforderlich sei. Modelle müssten effizienter lernen, ähnlich wie Menschen. Ideen für diesen Ansatz hat er, jedoch sei der offene Austausch darüber eingeschränkt.
In einem Interview mit Dwarkesh Patel beschreibt Sutskever, Mitgründer von Safe Superintelligence Inc. (SSI), einen grundlegenden Wandel in der KI-Entwicklung. Die Jahre 2020 bis 2025 seien das „Zeitalter der Skalierung“ gewesen, in dem Fortschritte hauptsächlich durch erhöhte Rechenleistung und Daten erzielt wurden. Nun kehre die Branche in eine „Ära der Forschung“ zurück.
„Skalierung hat die ganze Luft aus dem Raum gesogen“, erklärt Sutskever. Da das Prinzip – mehr Daten und Rechenleistung in ein neuronales Netz zu integrieren – so zuverlässig funktionierte, hätten viele Unternehmen diesen Ansatz verfolgt. Allerdings seien Pre-Training-Daten endlich. Zwar werde weiterhin skaliert, insbesondere im Bereich Reinforcement Learning (RL), doch die bloße Vergrößerung der Ressourcen garantiere keine qualitativen Fortschritte mehr.
Sutskever sieht uns an einem Punkt, der der Zeit vor 2020 ähnelt: Es bedarf neuer Ideen und Paradigmen, nicht nur größerer Cluster.
Ein zentrales Problem aktueller Modelle sei laut Sutskever ihre Uneinheitlichkeit. Modelle würden zwar in anspruchsvollen Benchmarks gut abschneiden, scheiterten jedoch oft an grundlegenden Aufgaben. Als Beispiel nennt er das „Vibe Coding“: Ein Modell erkenne einen Fehler, mache beim Beheben jedoch einen neuen und stelle beim nächsten Korrekturversuch den alten Fehler wieder her.
Sutskever vermutet, dass das Training mit Reinforcement Learning die Modelle „zu engstirnig“ mache. Im Gegensatz zum Pre-Training, bei dem alle Daten verwendet wurden, müsse man beim RL selektieren. Dies führe dazu, dass Forscher die Modelle oft unabsichtlich auf bestimmte Benchmarks optimieren, was die Generalisierungsfähigkeit in der realen Welt beeinträchtige.
Um die nächste Stufe der Intelligenz zu erreichen, müssten KI-Systeme lernen, so effizient zu generalisieren wie Menschen. Ein Teenager benötige nur etwa 10 Stunden, um Autofahren zu lernen, was einen Bruchteil der Datenmenge darstellt, die eine KI benötigt.
Sutskever theoretisiert, dass menschliche Emotionen hierbei eine entscheidende Rolle spielen, indem sie als eine Art robuste Bewertungsfunktion dienen. Diese biologisch verankerten Bewertungen würden Menschen helfen, Entscheidungen zu treffen und aus Erfahrungen zu lernen, lange bevor ein externes Ergebnis vorliegt.
Er stellt zudem den etablierten Begriff der AGI infrage. Durch den Erfolg des Pre-Trainings sei die falsche Erwartung entstanden, dass eine KI sofort alles können müsse. Dies sei jedoch nicht zielführend: „Ein Mensch ist keine AGI“, so Sutskever. Menschen fehle es an enormem Vorwissen, sie verlassen sich jedoch auf kontinuierliches Lernen.
Seine Vision einer Superintelligenz ähnelt daher einem extrem begabten Studenten, der fähig ist, jeden Beruf zu erlernen. Die eigentliche Kompetenz entstehe erst nach der Veröffentlichung: Das Modell müsse durch eine Phase von „Trial-and-Error“ im echten Einsatz gehen, um seine Fähigkeiten voll zu entfalten.
Auf die Frage, wie man das Training konzeptionell ändern müsse, um diese menschliche Lerneffizienz zu erreichen, gibt sich Sutskever jedoch zurückhaltend. Er habe dazu zwar „eine Menge Meinungen“, doch die Zeiten des offenen Austauschs seien vorbei.
Sutskever betont, dass die bloße Existenz des Menschen der Beweis sei, dass es einen Weg geben müsse. Er weist jedoch darauf hin, dass es ein potenzielles Hindernis geben könnte: Es bestehe die Möglichkeit, dass menschliche Neuronen mehr Rechenleistung erbringen, als man denkt. Sollte dies eine wichtige Rolle spielen, könnte die Umsetzung schwieriger werden.
Ungeachtet dessen deutet Sutskever an, dass dies auf die Existenz eines bestimmten Machine-Learning-Prinzips hinweise, zu dem er Theorien habe. Doch die Umstände erschwerten eine detaillierte Diskussion.
Mit seinem neuen Unternehmen SSI verfolgt Sutskever einen Ansatz, der sich bewusst vom aktuellen Marktgeschehen abgrenzen soll. Das Unternehmen, das 3 Milliarden US-Dollar eingesammelt hat, plant keinen schnellen Produkt-Release. Sutskever argumentiert, dass SSI zwar über weniger Rechenleistung verfügt als die großen Tech-Giganten, diese jedoch effizienter für reine Forschung nutzen könne, da keine Ressourcen für den Betrieb kommerzieller Produkte oder große Inference-Cluster gebunden seien.
Der Plan sei ein „Straight Shot“ zur Superintelligenz. Man wolle sich nicht in den „Rat Race“ begeben, Produkte auf den Markt zu bringen, sondern im Verborgenen forschen, bis das System sicher und ausgereift sei. Allerdings räumt er ein, dass eine schrittweise Veröffentlichung notwendig sein könnte, um der Gesellschaft die Macht der KI zu demonstrieren und so Regulierungsprozesse anzustoßen.
In Bezug auf die Sicherheit einer zukünftigen Superintelligenz schlägt Sutskever ein neues Ziel vor: Die KI solle so ausgerichtet werden, dass sie sich um empfindungsfähiges Leben kümmert. Da die KI selbst empfindungsfähig sein werde, sei es naheliegender, Empathie für andere fühlende Wesen zu verankern, als abstrakte menschliche Werte zu programmieren.
Sutskever prognostiziert zudem, dass sich die Sicherheitsstrategien der großen KI-Labore annähern werden, sobald die KI-Systeme spürbar mächtiger werden. Die derzeitige Konkurrenz werde einer pragmatischen Zusammenarbeit weichen, da die Risiken greifbarer würden. Ein erstes Anzeichen hierfür sei die beginnende Kooperation zwischen Konkurrenten wie OpenAI und Anthropic.
KI Snack
