Google Research hat MLE-STAR vorgestellt, einen neuen KI-Agenten, der darauf abzielt, die Erstellung und Optimierung von Machine-Learning-Pipelines weitgehend zu automatisieren. Dieses System verspricht, die Leistung bestehender Ansätze deutlich zu übertreffen und komplexe ML-Aufgaben mit minimalem menschlichen Eingriff zu lösen, indem es ausführbare Python-Skripte generiert.
Schlüssel-Erkenntnisse
- MLE-STAR automatisiert komplexe ML-Pipelines durch Websuche, gezieltes Code-Refinement und neue Ensemble-Strategien.
- Das System erzielt signifikante Leistungsgewinne bei minimalem menschlichen Input, wie Kaggle-Wettbewerbe zeigen.
- Es übertrifft frühere MLE-Agenten durch flexiblere Modell- und Pipeline-Erkundung und gezielte Optimierung.
- Zusätzliche Schutzmechanismen wie Debugging und Datenleck-Prüfung erhöhen die Zuverlässigkeit.
Websuche statt Trial-and-Error
Im Gegensatz zu früheren MLE-Agenten, die oft auf bekannte Methoden wie scikit-learn zurückgreifen und wenig Flexibilität bei der Erkundung alternativer Modelle oder Pipeline-Komponenten zeigen, verfolgt MLE-STAR einen innovativen Ansatz. Anstatt die gesamte Codebasis auf einmal zu ändern, was eine gezielte Optimierung einzelner Schritte erschwert, nutzt MLE-STAR ein mehrstufiges Verfahren. Zuerst identifiziert der Agent mithilfe einer Websuche geeignete, aktuelle Modellansätze und generiert auf dieser Basis einen initialen Lösungsvorschlag. Anschließend analysiert er, welcher Codeblock – sei es Feature Engineering, Modellwahl oder Ensemble-Bildung – den größten Einfluss auf die Modellleistung hat. Dieser spezifische Block wird dann iterativ verfeinert, basierend auf Feedback aus vorherigen Experimenten, wobei jedes verbesserte Skript die Grundlage für die nächste Iteration bildet.
Neue Ensemble-Strategie und zusätzliche Schutzmechanismen
MLE-STAR entwickelt eine eigene Ensemble-Strategie, anstatt sich nur auf Durchschnittswerte zu verlassen, und erstellt mehrere Varianten einer Lösung, um die Vorhersagekraft des finalen Modells zu maximieren. Zur Absicherung der generierten Lösungen sind drei zusätzliche Module integriert: Ein Debugging-Agent behebt Laufzeitfehler, ein Datenleck-Prüfer verhindert unzulässigen Zugriff auf Testdaten während des Trainings, und ein Datenverwendungs-Checker stellt sicher, dass alle bereitgestellten Datenquellen berücksichtigt werden.
Beeindruckende Erfolge bei Kaggle-Wettbewerben
Die Leistungsfähigkeit von MLE-STAR wurde anhand der MLE-Bench-Lite, einer Benchmark-Suite basierend auf realen Kaggle-Wettbewerben, getestet. Der Agent erreichte in 63,6 Prozent der Fälle eine Medaille, ein deutlicher Anstieg gegenüber der bisherigen Bestmarke von 25,8 Prozent. 36 Prozent dieser Erfolge waren Goldmedaillen. Laut Google war für diese autonomen Erfolge lediglich ein kurzer Initialprompt erforderlich. Die Leistungssteigerung wird unter anderem auf den Einsatz moderner Modelle wie EfficientNet oder ViT zurückgeführt, im Gegensatz zu älteren Architekturen, die von Konkurrenzsystemen bevorzugt werden. Manuelle Eingriffe sind ebenfalls möglich, wie die erfolgreiche Integration des Modells RealMLP durch händische Ergänzung seiner Beschreibung zeigt.
Die Entwickler stellten fest, dass die getesteten Sprachmodelle wie Gemini 2.5 Flash und Pro manchmal fehlerhafte Codebestandteile erzeugten. Der Datenleck-Prüfer und der Datenverwendungs-Checker greifen in solchen Fällen korrigierend ein. Google stellt den Code von MLE-STAR als Open Source zur Verfügung, basierend auf dem Agent Development Kit. Nutzer müssen jedoch die Lizenzierung der verwendeten Modelle und Inhalte selbst prüfen. MLE-STAR ist derzeit primär für Forschungszwecke vorgesehen.
KI Snack
