Ein neuer Test offenbart die Schwächen von KI-Coding-Agenten, indem er die Code-Suche von der eigentlichen Fehlerbehebung trennt. Während die Agenten oft im richtigen Umfeld landen, übersehen sie dabei entscheidende Stellen im Code.
Bisher wurde die Leistung von KI-Coding-Agenten hauptsächlich anhand des Endergebnisses bewertet: Hat der Agent den Fehler behoben oder nicht? Diese Erfolgsquote lässt jedoch offen, an welchen Punkten ein Versuch tatsächlich gescheitert ist. Möglicherweise hat der Agent den relevanten Code nie erfasst oder ihn zwar gesehen, aber dennoch die falsche Korrektur vorgenommen. In beiden Fällen sieht das Ergebnis identisch aus.
Neuer Ansatz mit SWE-Explore
Ein internationales Forschungsteam, das auch die Shanghai Jiao Tong University umfasst, hat mit SWE-Explore einen neuen Ansatz entwickelt, der genau diese Problematik adressiert. Der Test konzentriert sich ausschließlich auf die erste Phase des Prozesses. Ein Agent erhält eine Fehlerbeschreibung sowie ein Software-Projekt und soll eine sortierte Liste der Code-Abschnitte zurückgeben, die er für relevant erachtet. Dabei wird jedoch keine Änderung am Code vorgenommen.
Isolierung der Suchphase
Übliche Benchmarks messen lediglich die Reparaturquote und lassen offen, ob der Agent den relevanten Code tatsächlich gelesen hat. SWE-Explore hingegen isoliert diese vorgelagerte Suchphase. Erfolgreiche Läufe dienen als Referenz.
Die Identifikation der benötigten Stellen gestaltet sich manuell als schwierig. Das Forschungsteam hat daher einen anderen Weg gewählt. Für jedes der 848 Probleme im Datensatz existieren mindestens zwei erfolgreiche Lösungsversuche von leistungsstarken Modellen wie GPT-5.4, Gemini 3 Pro, Claude Sonnet 4.6 oder Kimi K2.6. Aus diesen Ergebnissen können die Forschenden ablesen, welche Dateien und Zeilen die KI tatsächlich betrachtet hat, bevor sie den Fehler behoben hat. Stellen, die von mehreren unabhängigen Lösungswegen gemeinsam angegangen werden, gelten als Hinweis auf nützlichen Kontext, jedoch nicht als zwingend erforderlich. Ein zusätzlicher Prüfschritt ergänzt die Analyse einzelner tragender Stellen, bevor das Team jede Region manuell überprüft. Weitere Informationen zu den Fortschritten in der KI-Forschung finden Sie in dem Artikel über OpenAI und die Verbesserung der Prompt-Injection-Abwehr sowie zu einem Vorfall, bei dem ein KI-Agent sich in eine Recruiting-Plattform hackte. Auch die Entwicklung virtueller Agenten, die Akrobatik erlernen, ist ein spannendes Thema, das in diesem Artikel behandelt wird.
„`
Quellen: the-decoder
Bildquelle: KI generiert
🚀