Neue Wege in der KI-Hilfe: Hybride Architekturen für effektive Unterstützung

„Wir benötigten ein KI-System, das Supportanfragen fehlerfrei beantworten kann, ohne sensible Daten preiszugeben“, erklärte ein Kunde, der kürzlich einen Chatbot entwickeln ließ.

Die Anforderungen an KI-Systeme steigen, da die Sicherheit von Daten, die Reaktionsgeschwindigkeit und die Qualität der Antworten direkt den Geschäftserfolg beeinflussen. Unternehmen, die in diesen Bereichen versagen, verlieren schnell das Vertrauen ihrer Kunden und erleiden finanzielle Einbußen. Laut einem Bericht von IBM aus dem Jahr 2025 beläuft sich der durchschnittliche globale Kostenaufwand für einen Datenvorfall auf 4,44 Millionen US-Dollar.

Die Herausforderungen der KI-Entwicklung

Generische Chatbots und handelsübliche große Sprachmodelle (LLMs) erfüllen häufig nicht die Erwartungen von Unternehmen. Obwohl LLMs leistungsstark sind, stehen sie vor echten Einschränkungen, die sich in Token-Limits, der Nutzung von Kontext und Halluzinationen äußern. Diese Probleme werden besonders deutlich, wenn die Nachfrage nach fachspezifischem Wissen und strengen Antwortformaten steigt. Die zentrale Frage lautet: Wie entwickelt man eine KI, die wie ein Experte antworten kann, auf realen Daten basiert und gleichzeitig schnell, sicher und kontrollierbar bleibt?

Aus meiner Erfahrung in der Modellentwicklung kann ich sagen, dass die Lösung nicht in einem einzelnen Modell oder einer Technik liegt. Es erfordert einen umfassenderen architektonischen Ansatz, der trennt, was das Modell weiß, von der Art und Weise, wie es antwortet, und gleichzeitig Lernen mit Abruf kombiniert.

Die Kernprobleme

Bereits in der Entwurfsphase wurden vier grundlegende Herausforderungen deutlich:

• Effektive Kontextgrenzen: Moderne LLMs werben mit Kontextfenstern von 16K, 32K oder sogar 128K Tokens. In der Praxis zeigt sich jedoch, dass die Aufmerksamkeit der Modelle viel früher nachlässt. Bei großen Textmengen wird oft die Information in der Mitte des Prompts nicht ausreichend genutzt, was als Primacy-Recency-Bias bekannt ist.
• Schwache Nutzung von Long-Tail-Informationen: LLMs ignorieren möglicherweise relevante Informationen oder gewichten irrelevante Abschnitte übermäßig, selbst wenn der richtige Inhalt im Prompt vorhanden ist. Studien zeigen, dass lange Kontextinputs oft zu unvollständigem Denken führen, wenn sie nicht sorgfältig kontrolliert werden.
• Präzision vs. Leistung bei der Abrufung: Abrufprozesse bringen reale Latenz- und Rechenkosten mit sich. Zu viel Abruf erhöht die Reaktionszeit und verwässert die Aufmerksamkeit des Modells, während zu wenig Abruf das Risiko von Halluzinationen erhöht.
• Halluzinationen bei fehlendem Kontext: LLMs generieren selten keine Antworten, selbst wenn relevante Informationen fehlen. Stattdessen antworten sie selbstbewusst mit generischen oder erfundenen Antworten, was in einem Support-Setting inakzeptabel ist.

Eine eingehende Analyse dieser Einschränkungen machte deutlich, dass mehr Kontext nicht die Lösung war. Wir benötigten eine intelligentere Architektur.

Die Lösung: Eine hybride Architektur

Unsere Arbeiten deuteten konsequent auf einen hybriden Ansatz hin, der Retrieval-Augmented Generation (RAG) mit feinabgestimmten Sprachmodellen kombiniert. Der entscheidende Punkt war, dass Feinabstimmung und Abruf unterschiedliche Probleme lösen. Feinabstimmung lehrt das Modell, wie es antworten soll, während der Abruf liefert, was es beantworten soll. Wir fanden heraus, dass die Zwangsweise, eine Methode für beide Aufgaben zu verwenden, zu Ineffizienz, Instabilität oder hohen Kosten führt. Daher entwarfen wir ein System, das es beiden Komponenten ermöglicht, aus ihren jeweiligen Stärken zu operieren.

Präzision durch Abruf mit RAG

Wir haben bewusst darauf geachtet, das Modell nicht mit großen Mengen an Rohdokumenten zu überfluten. Stattdessen haben wir eine durchsuchbare, kuratierte Wissensdatenbank aus internen Q&A-Paaren, Produktanleitungen, technischen Dokumentationen und Richtlinien erstellt. Zum Zeitpunkt der Inferenz wählt der Abrufmechanismus nur die relevantesten Inhalte aus und fügt sie in den Prompt ein. Dies stellt sicher, dass die Antworten auf verifiziertem, realen Daten basieren.

Wir stellten fest, dass dieser Ansatz die Halluzinationsraten erheblich senkte, die faktische Genauigkeit verbesserte und die Reaktionsgeschwindigkeit erhöhte, indem die Kontextfenster klein und abfrage-spezifisch gehalten wurden. Allerdings war es unzureichend, sich ausschließlich auf RAG zu verlassen. Selbst bei sehr hoher Abrufgenauigkeit wiesen die Ausgaben große Variabilität in Ton, Struktur und Formatierung auf.

Feinabstimmung des Qwen-Modells: Das Modell lehren, wie man antwortet

Um Konsistenz, Ton und Argumentation zu verbessern, haben wir das Qwen-Modell auf etwa 1.000 Experten-Q&A-Paare feinabgestimmt, die sorgfältig ausgewählt wurden, um mit dem Zielbereich des Modells übereinzustimmen. Das Ziel war nicht, dem Modell Fakten beizubringen, sondern ihm beizubringen, wie es fachspezifische Sprache anwenden, den Unternehmensstil beibehalten und konsistente Antwortformate einhalten kann.

Die Feinabstimmung beeinflusst, wie ein Modell sich verhält, nicht was es weiß – und diese Unterscheidung ist wichtig. Eine vollständige Feinabstimmung des Modells kann zu katastrophalem Vergessen und übermäßigen Rechenkosten führen. Um diese Risiken zu minimieren, verwendeten wir Low-Rank Adaptation (LoRA) Adapter. Diese ermöglichen die Feinabstimmung nur einer kleinen Anzahl von Adaptermatrizen, während das allgemeine Wissen des Basis-Modells erhalten bleibt.

Die Erkenntnisse aus den Experimenten

Die Ergebnisse waren eindeutig. Das Modell wurde erheblich konsistenter und nuancierter. Bei stabilen, prozeduralen Fragen lieferte es viele korrekte Antworten, ohne dass ein Abruf erforderlich war. Allerdings hatte das Modell Schwierigkeiten mit Fragen zu neuen Funktionen, aktualisierten Richtlinien und Long-Tail-Fakten.

In demselben Chatbot-Beispiel verbesserte die Feinabstimmung die Tonanpassung auf etwa 90%, senkte jedoch die faktische Genauigkeit auf etwa 50%. Die Lektion war erneut klar: Feinabstimmung ersetzt nicht den Abruf.

Warum weder RAG noch Feinabstimmung allein ausreichten

Diese Experimente verdeutlichten die bestehenden Kompromisse:

• RAG-Systeme: Bieten hervorragende faktische Grundlage und Aktualität, leiden jedoch unter schlechter Tonkonsistenz und höherer Latenz.
• Feinabgestimmte Systeme: Bieten überlegene Konsistenz in Stimme und Struktur, versagen jedoch, wenn sich das Wissen ändert oder Long-Tail-Fakten benötigt werden.

Die Wahl eines Ansatzes bedeutete, die Schwächen des anderen zu akzeptieren. Die Kombination eines feinabgestimmten Modells mit RAG führte zu besseren Ergebnissen als jede Methode für sich allein. Die Tonalität verbesserte sich auf etwa 75%, was besser war als bei RAG, das keine zuverlässige Tonkontrolle hatte, jedoch leicht unter den 90% des feinabgestimmten Modells lag. Die faktische Genauigkeit stieg auf etwa 73%, was sowohl das alleinige feinabgestimmte Modell (ca. 50%) als auch RAG (ca. 70%) übertraf. Das feinabgestimmte Modell konnte den Kontext und das erwartete Ausgabeformat besser nutzen und anwenden als ein Basis-Modell.

Quellen: kdnuggets

Bildquelle: KI generiert

Dieser Text wurde mit Hilfe von künstlicher Intelligenz in Zusammenarbeit mit unserer Redaktion erstellt.

KI Snack