Ein Forschungsteam der King Abdullah University of Science and Technology (KAUST) hat die Huxley-Gödel Machine (HGM) vorgestellt, einen KI-Agenten, der sich durch die Optimierung seines eigenen Codes selbstständig weiterentwickelt. Dieses innovative System versucht, das Konzept einer "Gödel Machine" zu operationalisieren, bei der eine KI nur dann Codeänderungen akzeptiert, wenn diese nachweislich ihren langfristigen Nutzen erhöhen.
Ein neues Maß für evolutionäre Produktivität
Bisherige Ansätze zur Selbstverbesserung von KI-Agenten konzentrierten sich oft auf kurzfristige Leistungssteigerungen in Benchmarks. Die KAUST-Forscher kritisieren dies als "Metaproductivity–Performance Mismatch", da kurzfristige Erfolge nicht zwangsläufig zu einer langfristig produktiveren "Nachkommenschaft" führen. Um dieses Problem zu lösen, hat das Team die "Clade-Metaproductivity" (CMP) eingeführt. Dieses Kriterium bewertet die Leistung aller Nachkommen eines Agenten und somit die Produktivität einer gesamten Abstammungslinie.
Die Huxley-Gödel Machine nutzt diese CMP-Werte zur Entscheidungsfindung bei der Selbstmodifikation. Durch eine Kombination aus Baum-Suche, bayessischem Sampling und adaptivem Scheduling entscheidet das System, wann neue Agenten erzeugt und wann bestehende weiter getestet werden. Der Fokus liegt dabei auf der Optimierung der Steuerlogik, des Werkzeugzugriffs und der Fehleranalyse – also der Art und Weise, wie das Modell programmiert ist, nicht auf seinem Wissen.
Beeindruckende Ergebnisse in Benchmarks
Auf dem SWE-Bench Verified-Benchmark, einer Sammlung von 500 realen Programmieraufgaben, erreichte ein mit GPT-5 mini optimierter HGM-Agent eine Erfolgsquote von 61,4 Prozent. Dies übertraf den besten menschlich entworfenen GPT-5 mini-Agenten und platzierte sich unter den zehn besten Systemen insgesamt, trotz der Nutzung deutlich größerer Modelle durch einige Konkurrenten.
Bei der Generalisierungsprüfung auf SWE-Bench Lite zeigte sich, dass der Agent mit dem größeren Modell GPT-5 besser abschnitt. Mit GPT-5 erreichte die Erfolgsquote 48 Prozent bei neuen Aufgaben und 57 Prozent bei der Gesamtaufgabe, was laut dem Team praktisch gleichauf mit den besten menschlich entwickelten Systemen liegt.
Auch im Polyglot-Benchmark, der Aufgaben in verschiedenen Programmiersprachen umfasst, demonstrierte HGM klare Vorteile. Bemerkenswert ist zudem, dass der Ansatz deutlich weniger Rechenzeit benötigte als Vergleichssysteme.
Ein Schritt in Richtung selbstverbessernder Maschinen
Die Forscher betonen, dass dieser Fortschritt nicht auf leistungsfähigere Sprachmodelle, sondern auf die eigenständige Verbesserung der Agentenarchitektur zurückzuführen ist. Die Huxley-Gödel Machine zeigt das Potenzial für adaptive, ressourceneffiziente KI-Systeme, die mit minimalem menschlichen Eingriff kontinuierlich bessere Versionen ihrer selbst entwickeln könnten. Eine echte "Gödel Machine" ist es jedoch noch nicht.
KI Snack
