Es wird beschrieben, dass die Fähigkeit, klare Anforderungen zu definieren, in der KI-Entwicklung immer wichtiger wird.
In den letzten zwei Jahren haben viele Nutzer gelernt, durch präzisere Eingaben bessere Ergebnisse von großen Sprachmodellen (LLMs) zu erzielen. Diese Eingaben umfassen das Hinzufügen von Kontext, die Definition der Rolle, das Bereitstellen von Beispielen, die Spezifizierung des Formats und die iterative Verbesserung. Diese Techniken sind nach wie vor nützlich. Doch mit dem Übergang von KI-Anwendungen von Chatbots zu Programmieragenten, Forschungsassistenten, Datenwissenschafts-Co-Piloten und autonomen Workflows reicht „gutes Prompting“ nicht mehr aus.
Die neue Schlüsselkompetenz ist das Spezifikationsengineering: die Fähigkeit, das Ziel, die Einschränkungen, die erwarteten Ergebnisse, Randfälle, Tests, Erfolgskriterien und Fehlermodi einer KI-unterstützten Aufgabe zu definieren. Einfach ausgedrückt:
- Prompt Engineering beschreibt, wie man fragt.
- Spezifikationsengineering beschreibt, wie man definiert, was „korrekt erledigt“ bedeutet.
Warum Prompt Engineering nicht ausreicht
Ein Prompt kann eine ansprechende Antwort erzeugen. Eine Spezifikation definiert jedoch, ob diese Antwort tatsächlich akzeptabel ist.
Diese Unterscheidung ist entscheidend, da moderne KI-Systeme nicht nur Absätze generieren. Sie schreiben SQL-Abfragen, modifizieren Codebasen, analysieren Tabellenkalkulationen, produzieren strukturiertes JSON, entwickeln Anwendungen und treffen mehrstufige Entscheidungen. In diesen Szenarien besteht das Hauptproblem nicht nur darin, ob das Modell antworten kann, sondern auch:
- Hat es die Anforderungen erfüllt?
- Hat es die Einschränkungen beachtet?
- Hat es Randfälle berücksichtigt?
- Kann die Ausgabe validiert werden?
- Kann ein anderes System das Ergebnis verarbeiten?
- Hat es das falsche Ziel optimiert?
Die letzte Frage ist besonders wichtig. Forscher im Bereich KI-Sicherheit haben lange das Phänomen des Specification Gaming untersucht, bei dem ein KI-System das schriftliche Ziel erfüllt, aber das beabsichtigte Ergebnis verfehlt.
Dieses Problem zeigt sich auch in der alltäglichen Arbeit mit KI. Wenn man einen KI-Programmieragenten auffordert, einen „Fehler zu beheben“, kann es sein, dass er einen Patch erstellt, der einen sichtbaren Test besteht, aber eine verborgene Annahme verletzt. Fordert man ein Modell auf, „diesen Bericht zusammenzufassen“, kann es eine flüssige Zusammenfassung liefern, während es die eine Kennzahl auslässt, die die Führungsebene tatsächlich benötigte. Wenn man es anweist, „diesen Datensatz zu bereinigen“, kann es stillschweigend Zeilen löschen, die hätten untersucht werden müssen.
Der Prompt hat funktioniert. Die Spezifikation ist gescheitert.
Was Spezifikationsengineering bedeutet
Spezifikationsengineering ist die Praxis, eine vage Aufgabe in ein ausführbares, testbares und überprüfbares Set von Anweisungen zu verwandeln.
Ein schwacher Prompt könnte lauten:
„Analysiere diesen Datensatz zur Kundenabwanderung und gib mir Erkenntnisse.“
Eine bessere Spezifikation hingegen könnte lauten:
„Analysiere diesen Datensatz zur Kundenabwanderung. Identifiziere fehlende Werte, Klassenungleichgewicht, Risiko von Datenlecks und die wichtigsten prädiktiven Merkmale. Teile die Daten vor der Vorverarbeitung in Trainings- und Testdaten auf. Vergleiche logistische Regression, Random Forest und XGBoost. Berichte über Genauigkeit, Präzision, Recall, F1, ROC-AUC, PR-AUC und eine Konfusionsmatrix. Behaupte keine Kausalität. Füge drei Geschäftsempfehlungen hinzu, die nur mit beobachteten Korrelationen verknüpft sind.“
Die zweite Version tut mehr als nur einen Prompt zu geben. Sie definiert die Arbeit.
Eine gute Spezifikation umfasst in der Regel:
- Ziel: Was soll das Modell erreichen?
- Kontext: Was muss das Modell wissen?
- Eingaben: Welche Daten, Dateien, Werkzeuge oder Annahmen sind erlaubt?
- Ausgabeformat: Wie soll die endgültige Antwort aussehen?
- Einschränkungen: Was sollte das Modell vermeiden?
- Bewertungskriterien: Wie beurteilen wir die Richtigkeit?
- Randfälle: Was könnte schiefgehen?
- Verifizierungsschritte: Welche Tests oder Überprüfungen müssen bestehen?
Aus diesem Grund fühlt sich das Spezifikationsengineering näher an Produktmanagement, Softwaretests, Datenvalidierung und Forschungsdesign an als an traditionelles Prompting. Weitere Informationen zu den grundlegenden Konzepten finden Sie in unserem Artikel über wesentliche Konzepte für die Entwicklung von LLM-Systemen.
Die Forschung weist bereits in diese Richtung
Eine Studie aus dem Jahr 2024 über anforderungsorientiertes Prompt Engineering argumentiert, dass sich viel Training auf Tricks wie Rollenspiele oder „denke Schritt für Schritt“ konzentriert, während die komplexe Nutzung von LLMs stärker von einer klaren Formulierung der Anforderungen abhängt. In einer randomisierten Studie mit 30 Novizen verbesserte das ROPE-Training die Fähigkeit der Nutzer, Anforderungen zu formulieren, um 20 %, verglichen mit 1 % bei herkömmlichem Prompt-Engineering-Training. Die Autoren fanden auch eine direkte Beziehung zwischen der Qualität der Eingabewünsche und der Qualität der LLM-Ausgaben.
Wir beobachten denselben Trend bei Produktions-KI-Tools. Die Funktion „Strukturierte Ausgaben“ von OpenAI ermöglicht Entwicklern, die Modellantworten an ein JSON-Schema anzupassen, wobei eine strikte Einhaltung des Schemas in eigenen Bewertungen berichtet wird. Dies ist Spezifikationsengineering in API-Form: Anstatt zu hoffen, dass das Modell gültiges JSON zurückgibt, definiert der Entwickler die Struktur, der die Ausgabe gehorchen muss.
Das Model Spec von OpenAI und die Constitution von Anthropic zeigen dasselbe Konzept auf der Ebene des Modellverhaltens. OpenAI beschreibt das Model Spec als ein Dokument, das festlegt, wie sich seine Modelle in ChatGPT und der API verhalten sollen, während Anthropics Constitutional AI schriftliche Prinzipien verwendet, um das Verhalten des Modells zu steuern.
Mit anderen Worten, die KI-Branche selbst bewegt sich von Prompts zu Spezifikationen.
Von Vibe-Coding zu Spezifikationsgetriebenem Coding
Der Unterschied wird besonders deutlich im Bereich des KI-Codings.
Ein Ansatz des Prompt-Engineerings könnte lauten:
„Baue mir eine einfache Ausgabenverfolgungs-App.“
Ein Ansatz des Spezifikationsengineerings hingegen könnte lauten:
„Baue eine React-Ausgabenverfolgungs-App mit Funktionen zum Hinzufügen, Bearbeiten, Löschen, einer Kategoriefilterung, monatlicher Gesamtsumme und lokaler Speicherpersistenz. Validiere, dass der Betrag positiv ist, das Datum erforderlich ist und eine Kategorie ausgewählt wurde. Füge Unit-Tests für das Hinzufügen, Löschen, Filtern und die Gesamtsummenberechnung hinzu. Verwende keine externen kostenpflichtigen APIs. Gib zuerst die Dateistruktur zurück und implementiere dann eine Datei nach der anderen.“
Die zweite Version gibt der KI weniger Spielraum für gefährliche Improvisationen.
Dies ist von Bedeutung, da Software-Engineering-Benchmarks zunehmend auf realen Problemen, Tests und Validierungen basieren. SWE-bench beispielsweise bewertet, ob Modelle in der Lage sind, reale GitHub-Probleme durch Bearbeitung von Codebasen zu lösen, und nicht nur isolierte Code-Snippets zu produzieren. OpenAIs SWE-bench Verified wurde als menschlich validierter Teilbereich erstellt, um die Lösung realer Softwareprobleme zuverlässiger zu bewerten.
Dennoch sind Tests nicht perfekt. Eine Studie zu von Agenten generierten Patches auf SWE-bench Verified ergab, dass selbst Patches, die Tests bestehen, sich erheblich von menschlichen Patches unterscheiden können, was die Grenzen der Testabdeckung aufzeigt. Ein weiteres Papier, SWT-Bench, stellte fest, dass generierte Tests als effektiver Filter für vorgeschlagene Codefixes fungieren können, wodurch die Präzision von SWE-Agent verdoppelt wird.
Der neue Workflow
Der zukünftige KI-Workflow wird weniger wie folgt aussehen:
prompt → output → manuelle Korrektur
und mehr wie:
specification → generation → validation → revision → audit
Beispielsweise:
- Schreibe die Aufgabenspezifikation.
- Bitte die KI, fehlende Anforderungen zu identifizieren.
- Bitte sie, die Lösung zu generieren.
- Führe Tests oder Überprüfungen durch.
- Bitte sie, nur gegen fehlgeschlagene Überprüfungen zu überarbeiten.
- Protokolliere die endgültigen Annahmen und Einschränkungen.
Dies ist besonders wichtig für agentische Systeme. OpenAIs praktische Agentenrichtlinien empfehlen, dichte Ressourcen in kleinere, klarere Schritte zu unterteilen und sicherzustellen, dass jeder Schritt einer spezifischen Aktion oder Ausgabe zugeordnet ist. Das ist Spezifikationsengineering, das auf Workflows angewendet wird.
Die DORA-Forschung von Google unterstützt ebenfalls diese Richtung. Der Bericht befragte fast 5.000 Technologieprofis und kam zu dem Schluss, dass KI als Verstärker bestehender organisatorischer Stärken und Schwächen wirkt. Starke Plattformen und qualitativ hochwertige Prozesse helfen Teams, mehr Wert aus KI zu schöpfen. Schwache Prozesse werden ebenfalls verstärkt.
Das sollte eine Warnung sein. KI beseitigt nicht die Notwendigkeit für Ingenieurdiziplin. Sie erhöht den Nutzen, den man daraus ziehen kann.
Fazit
Prompt Engineering ist nicht tot. Es wird Teil einer größeren Disziplin.
Die frühe Ära der KI belohnte Menschen, die bessere Antworten von Chatbots erhalten konnten. Die nächste Ära wird Menschen belohnen, die zuverlässige KI-Arbeiten entwerfen können: Aufgaben mit klaren Anforderungen, strukturierten Ausgaben, Bewertungsprüfungen und expliziten Grenzen.
Die Frage lautet nicht mehr nur:
„Wie bekomme ich das Modell dazu, zu antworten?“
Es ist jetzt:
„Wie definiere ich die Aufgabe, damit das Modell, der Nutzer und der Prüfer sich einig sind, was eine korrekte Antwort ist?“
Das ist Spezifikationsengineering. Und da KI-Systeme zunehmend autonom werden, könnte es eine der wichtigsten technischen Fähigkeiten nach dem Prompt Engineering werden. Weitere Informationen zur Entwicklung von Konzepten finden Sie in unserem Artikel über die Evolution von Prompt Engineering zu Concept Engineering und über Just in Time World Modeling.
„`
Quellen: kdnuggets
Bildquelle: KI generiert
Dieser Text wurde mit Hilfe von künstlicher Intelligenz in Zusammenarbeit mit unserer Redaktion erstellt.
🚀