Forschung zu Kontext-Dateien und Coding-Agenten
Eine neue Untersuchung von Wissenschaftlern der ETH Zürich beleuchtet die Effektivität von Kontext-Dateien, wie beispielsweise AGENTS.md, zur Steigerung der Produktivität von Coding-Agenten. Die Ergebnisse zeigen, dass diese Praxis unter bestimmten Bedingungen problematisch sein kann. Insbesondere automatisch generierte Kontext-Dateien scheinen die Erfolgsquote der Agenten zu mindern und erhöhen zudem die Inferenzkosten um mehr als 20 Prozent.
Methodik der Studie
Für ihre Analyse entwickelten die Forscher einen speziellen Benchmark, der 138 Aufgaben aus 12 Open-Source-Repositories umfasst, die alle von Entwicklern verfasste Kontext-Dateien enthalten. Zusätzlich wurde der gängige SWEbench-Lite in die Untersuchung einbezogen. In den Tests kamen vier populäre Coding-Agenten zum Einsatz: Claude Code, Wie kann Claude Code in einer Stunde Ergebnisse liefern, die Google ein Jahr kosteten?, Codex und Qwen Code. Diese wurden in drei unterschiedlichen Szenarien evaluiert: ohne Kontext-Datei, mit einer von einem LLM generierten Kontext-Datei und mit einer von Entwicklern erstellten Variante.
Ergebnisse der Tests
Die Ergebnisse der Tests zeigen, dass LLM-generierte Kontext-Dateien in fünf von acht Testkonfigurationen zu einer schlechteren Leistung führten. Im Vergleich dazu schnitten die von Entwicklern verfassten Kontext-Dateien zwar besser ab, konnten die Erfolgsquote jedoch nur um etwa 4 Prozentpunkte im Vergleich zum Szenario ohne Kontext-Datei steigern. Diese Erkenntnisse stehen im Einklang mit einer Studie zeigt: KI-gestützte Programmierer stellen weniger Fragen und lernen oberflächlicher, die zeigt, dass KI-gestützte Programmierer weniger Fragen stellen und oberflächlicher lernen.
Darüber hinaus hat ein Forschungsteam präsentiert neues KI-Gedächtnis zur Minimierung von Informationsverlust, das darauf abzielt, Informationsverluste zu minimieren.
„`
Bildquelle: ai-generated
