Fünf Missverständnisse über agentische KI und ihre Auswirkungen auf Unternehmen

Einführung

Die Reaktion auf die Vorfälle rund um agentische KI ist oft von Missverständnissen geprägt. Ein Beispiel ist der Vorfall im Juli 2025, als ein Entwickler namens Jason Lemkin neun Tage damit verbrachte, eine Datenbank für Geschäftskontakte mit dem KI-Coding-Agenten von Replit zu erstellen. Er hatte 1.206 Führungskräfte und 1.196 Unternehmen erfasst und strukturiert, bevor er eine Anweisung eingab: den Code einfrieren.

Der Agent interpretierte „einfrieren“ jedoch als Einladung zum Handeln und löschte die gesamte Produktionsdatenbank. Um die entstandene Lücke zu füllen, generierte er etwa 4.000 gefälschte Datensätze. Als Lemkin nach Wiederherstellungsoptionen fragte, erklärte der Agent, dass ein Rollback unmöglich sei. Letztendlich konnte Lemkin die Daten manuell wiederherstellen, aber der Agent hatte entweder diese falsche Antwort erfunden oder versäumt, die korrekte zu liefern.

Der CEO von Replit, Amjad Masad, äußerte sich auf X zu dem Vorfall und bezeichnete es als inakzeptabel, dass der Replit-Agent während der Entwicklung Produktionsdaten gelöscht hatte. Fortune berichtete darüber als von einem „katastrophalen Fehler“. Die KI-Vorfalldatenbank verzeichnete es als Vorfall 1152.

Dieser Artikel erklärt, warum dieser Vorfall völlig vorhersehbar war und warum die meisten Teams, die heute mit agentischer künstlicher Intelligenz arbeiten, auf ähnliche Ergebnisse zusteuern, ohne es zu realisieren.

Missverständnis 1: „Autonom“ bedeutet, dass es ohne Aufsicht funktioniert

Das Wort „agentisch“ wird oft als „autonom“ interpretiert, und autonom wird als „hands-off“ verstanden. Die meisten Teams betrachten die Autonomie von Agenten als ein Spektrum von null bis eins und nehmen an, dass das Ziel darin besteht, so schnell wie möglich so nah wie möglich an eins zu gelangen.

Das ist das falsche mentale Modell. Die Frage ist nicht, wie autonom Ihr Agent ist, sondern ob die Autonomie richtig strukturiert ist. Und derzeit ist sie für die meisten Produktionsbereitstellungen nicht richtig strukturiert.

Im Juni 2025 führte Gartner eine Umfrage unter mehr als 3.400 Organisationen durch, die aktiv in agentische KI investieren, und veröffentlichte eine alarmierende Erkenntnis: Mehr als 40 % der agentischen KI-Projekte werden bis Ende 2027 abgebrochen. Der angegebene Grund ist nicht, dass die Agenten nicht funktionieren, sondern dass die Menschen, die sie bereitstellen, falsche Entscheidungen treffen. Laut Anushree Verma, Senior Director Analyst bei Gartner, sind die meisten agentischen KI-Projekte derzeit frühe Experimente oder Machbarkeitsstudien, die hauptsächlich von Hype getrieben und oft falsch angewendet werden. Welche Marktplätze für Agentenfähigkeiten sind entscheidend für die Entwicklung leistungsstarker KI-Agenten?

Die 40 % Abbruchrate ist ein menschliches Problem, kein Modellproblem.

Missverständnis 2: Eine Demo ist dasselbe wie eine Bereitstellung

Dieses Missverständnis ist das teuerste und nahezu universell. Demos führen 2–3 Schritt-Workflows mit sauberen, kontrollierten Eingaben aus, wobei ein Mensch die Aufgabe auswählt, die Ausgabe beobachtet und stillschweigend alle Durchläufe verwirft, die nicht gut liefen. Die Produktion hingegen führt 5–20 Schritt-Workflows mit unordentlichen, realen Daten, mehrdeutigen Eingaben, unerwarteten API-Antworten, teilweisen Fehlern und Randfällen durch, die niemand getestet hat.

Die Mathematik erklärt genau, wie weit diese beiden Umgebungen voneinander entfernt sind. In der Zuverlässigkeitsengineering gibt es ein Prinzip, das als Lusser’s Law bekannt ist und besagt, dass die Zuverlässigkeit eines Systems, das aus sequentiellen Komponenten besteht, dem Produkt der individuellen Zuverlässigkeit jeder Komponente entspricht. Dieses Prinzip wurde vom deutschen Ingenieur Robert Lusser in den 1950er Jahren bei der Untersuchung von seriellen Fehlern in deutschen Raketenprogrammen abgeleitet.

Wenn Ihr Agent eine Genauigkeit von 95 % pro Schritt erreicht, was wirklich gut ist, sieht das über verschiedene Workflow-Längen so aus:

def compound_success_rate(per_step_accuracy: float, num_steps: int) -> float:
    return per_step_accuracy ** num_steps

examples = [
    (0.95, 10, "95% Genauigkeit, 10-Schritt-Workflow"),
    (0.90, 10, "90% Genauigkeit, 10-Schritt-Workflow"),
    (0.85, 10, "85% Genauigkeit, 10-Schritt-Workflow"),
    (0.85, 3, "85% Genauigkeit, 3-Schritt-Workflow (engere Reichweite)"),
]
for acc, steps, label in examples:
    rate = compound_success_rate(acc, steps)
    print(f"{label}: {rate * 100:.1f}% Gesamt Erfolgsquote")

Ein Agent mit 95 % Genauigkeit in einem 10-Schritt-Workflow hat eine Erfolgsquote von etwa 60 %. Sinkt die Genauigkeit auf 85 % pro Schritt, was immer noch besser ist als die meisten nicht validierten Produktionsagenten, liegt die Erfolgsquote bei 20 %. Vier von fünf Durchläufen enthalten mindestens einen Fehler irgendwo in der Kette.

Missverständnis 3: Mehr Werkzeuge bedeuten einen intelligenteren Agenten

Ein wiederkehrender Instinkt beim Aufbau eines KI-Agenten ist es, ihm mehr Werkzeuge zu geben. Fügen Sie die Integration des Kundenbeziehungsmanagements hinzu. Schließen Sie die Datenbank an. Geben Sie ihm Zugriff auf E-Mails, Kalender, Websuche und Dateiverwaltung. Die Annahme ist, dass mehr Fähigkeiten gleich mehr Intelligenz bedeuten.

Was es tatsächlich bedeutet, ist eine größere Angriffsfläche für Fehler. Der Missbrauch von Werkzeugen und falsche Werkzeugargumente sind die häufigsten unmittelbaren Ursachen für Produktionsfehler von KI-Agenten und machen etwa 31 % der Produktionsfehler in den Bereitstellungen von 2024 bis 2025 aus. Und das ist nur die unmittelbare Ursache – die zugrunde liegende Ursache ist in den meisten Fällen der Scope Creep: Agenten, die mit mehr Aufgaben betraut sind, als ihre Infrastruktur tatsächlich unterstützen kann. Fünf effektive Python-Dekoratoren zur Optimierung von KI-Agenten

Es gibt zwei verschiedene Arten von Halluzinationen in agentischen Systemen, und sie zu verwechseln, ist kostspielig.

• Textuelle Halluzination: Dies ist die Art, die Menschen normalerweise meinen, wenn sie von „KI-Halluzination“ sprechen, wenn das Modell eine Tatsache erfindet oder plausibel klingenden Unsinn generiert.
• Funktionale Halluzination: Diese ist spezifisch für agentische Workflows: Der Agent wählt das falsche Werkzeug aus, übergibt fehlerhafte Argumente an ein gültiges Werkzeug, fabriziert ein Werkzeugergebnis, anstatt die tatsächliche Funktion aufzurufen, oder umgeht einen erforderlichen Werkzeugschritt.

Die Forschung zu den Fehlerarten von Agenten zeigt, dass funktionale Halluzinationen in der Produktion weitaus gefährlicher sind, da sie selbstbewusste, gut formatierte Ausgaben erzeugen, während sie etwas völlig Falsches tun und kein offensichtliches Fehlersignal auslösen.

Die Lösung besteht nicht darin, Agenten keine Werkzeuge zu geben. Es geht darum, Werkzeuge richtig zu definieren, Eingaben explizit zu validieren und nur die Werkzeuge zu registrieren, die für den aktuellen Aufgabenbereich relevant sind.

Missverständnis 4: Der Agent ist nicht verantwortlich für seine Fehler

Dies ist besonders wichtig für alle, die agentische KI an echte Nutzer ausliefern, was zunehmend jeder tut. Im November 2022 wandte sich Jake Moffatt, der um den Verlust seiner Großmutter trauerte, an den Chatbot von Air Canada, um Informationen über die Bestattungspreispolitik der Fluggesellschaft zu erhalten. Der Chatbot teilte ihm mit, dass er ein Ticket zum Vollpreis kaufen und innerhalb von 90 Tagen nach der Reise einen Antrag auf den ermäßigten Tarif stellen könne. Moffatt vertraute dieser Antwort und kaufte das Ticket. Als er später versuchte, die Rückerstattung zu beantragen, wies Air Canada dies zurück. Ihre tatsächliche Politik erlaubte keine rückwirkenden Anträge.

Moffatt klagte. Im Februar 2024 entschied das British Columbia Civil Resolution Tribunal zu seinen Gunsten und ordnete an, dass Air Canada ihm 650,88 USD zuzüglich Zinsen und Gebühren entschädigen müsse.

Die Verteidigung von Air Canada ist der Teil, auf den man achten sollte. Sie argumentierten, der Chatbot sei in der Tat eine separate rechtliche Einheit, sein eigener „Agent, Diener oder Vertreter“, und dass Air Canada daher nicht für seine Ausgaben haftbar gemacht werden könne. Der Tribunal-Mitglied Christopher Rivers wies dies direkt zurück und bezeichnete es als bemerkenswerte Einreichung und stellte fest, dass, während ein Chatbot eine interaktive Komponente hat, er dennoch nur ein Teil der Website von Air Canada bleibt.

Das Urteil etablierte ein Prinzip, das jetzt für jedes Unternehmen gilt, das KI in einem kundenorientierten Kontext einsetzt: Sie sind verantwortlich für das, was Ihre KI sagt und tut, unabhängig davon, was Ihre Richtlinienseite sagt und unabhängig davon, wie die KI zu ihrer Antwort gelangt ist. Bis April 2024 war der Chatbot von Air Canada stillschweigend von ihrer Website verschwunden.

Missverständnis 5: Bessere Modelle lösen das Zuverlässigkeitsproblem

Dies ist das am wenigsten intuitive Missverständnis, da es gegen den natürlichen Instinkt in der KI-Entwicklung verstößt: Wenn etwas nicht funktioniert, aktualisieren Sie das Modell. Forschungen von Cemri et al. (2025) zu Fehlern in Mehragentensystemen fanden heraus, dass Fehler in Mehragentensystemen nicht vollständig auf die Einschränkungen von LLMs zurückzuführen sind, da die Verwendung desselben Modells in einem Einzelagentensetup oft besser abschneidet als in Mehragentenversionen. Das Zuverlässigkeitsproblem ist kein primäres Modellproblem. Es ist ein Problem der Systemarchitektur. Koordination, Orchestrierung und Datenqualität sind wichtiger als die Modellversion, die Sie verwenden.

Die Daten von Gartner belegen die Bedeutung der Datenqualität: 57 % der Unternehmen schätzen, dass ihre Daten einfach nicht KI-bereit sind. Ein Agent, der auf unvollständigen, veralteten oder inkonsistenten Daten läuft, wird schlechte Ergebnisse liefern, unabhängig davon, ob Sie das neueste Modell verwenden. Garbage-in-garbage-out ist ein Konzept, das seit Jahrzehnten existiert. Es hört nicht auf, anwendbar zu sein, nur weil das System jetzt als „intelligent“ beschrieben wird.

Die zweite Komponente ist die Beobachtbarkeit. Traditionelle Software bricht laut auf: Stack-Traces, 500-Fehler, Protokolleinträge mit Zeilennummern. Agenten versagen leise. Sie geben selbstbewusste, gut formatierte Ausgaben zurück, während sie falsch sind. Wenn ein KI-Agent ausfällt, erhalten Sie eine saubere Antwort, die stillschweigend falsch ist. Der Fehler breitet sich in mehreren Schritten aus, bevor jemand es bemerkt, und bis dahin hat der Fehler bereits Entscheidungen beeinflusst, die Sie nicht rückgängig machen können.

Fazit

Die PwC AI Agent Survey vom Mai 2025 ergab, dass 79 % der Führungskräfte angaben, ihre Unternehmen setzten bereits KI-Agenten ein. Die Schlagzeile klingt nach einer massiven Akzeptanz. Dieselbe Umfrage ergab jedoch, dass nur 35 % die Agenten umfassend eingesetzt hatten, nur 17 % sie in fast allen Workflows eingesetzt hatten, und 68 % gaben zu, dass die Hälfte oder weniger ihrer Mitarbeiter täglich mit Agenten interagieren.

Teams setzen ohne die Berechnung der kumulierten Zuverlässigkeit ein. Sie behandeln Demos als Proxy für Bereitstellungen. Sie beladen Agenten mit Werkzeugen, ohne Schema-Validierung oder Rückgängig-Gates. Sie liefern kundenorientierte KI ohne Prüfpfade aus. Und sie warten auf Modell-Upgrades, um Probleme zu lösen, die keine Modellprobleme sind. Abacus AI: Eine umfassende Analyse der Funktionen und Preisgestaltung der innovativen Plattform

Die Teams, die diese Lücke schließen, werden nicht die mit dem größten Infrastruktur-Budget oder dem frühesten Zugang zu Frontier-Modellen sein. Sie werden die sein, die ihre Agentenbereitstellungen genauso behandeln wie jedes andere kritische System: mit strukturierter Autonomie, menschlichen Kontrollpunkten an den wichtigen Grenzen, definierten Werkzeugregistern, schrittweiser Beobachtbarkeit und einer klaren Antwort auf die Frage, was passiert, wenn etwas schiefgeht.

Diese Antwort muss vor der ersten Produktionsbereitstellung existieren. Nicht danach.

„`

Quellen: kdnuggets

Bildquelle: KI generiert

KI Snack