Tipps zur Optimierung des Tokenverbrauchs mit Multi-Agenten-KI

Die Optimierung der Token-Nutzung ist entscheidend für Entwickler und Praktiker im Bereich der Künstlichen Intelligenz.

Die Implementierung einer Multi-Agenten-Architektur kann kostspielig erscheinen, doch es gibt effektive Strategien, um die Token-Nutzung zu optimieren und gleichzeitig die Kosten zu senken. In diesem Artikel werden vier bewährte Methoden vorgestellt, die dabei helfen, die Effizienz von Multi-Agenten-KI-Systemen zu steigern.

Vier zentrale Strategien zur Einsparung von Token

Die folgenden vier Strategien sind gängige Best Practices, um Multi-Agenten-KI-Lösungen zu optimieren und die Token-Nutzung zu minimieren:

• 1. Verwendung von statischem Instruktions-Caching (Prefix-Match Caching)

Diese Methode basiert auf dem Prinzip „nicht wiederholen“. Große Sprachmodelle (LLMs) benötigen viel Rechenleistung, um dieselben Systemaufforderungen in aufeinanderfolgenden Durchläufen erneut zu lesen. Durch das Speichern von Schlüssel-Wert-Paaren in einem Cache können statische, lange Anweisungen als Referenz bereitgestellt werden. Anstatt das gesamte Handbuch für die Agentenanweisungen bei jeder Anfrage erneut zu lesen, speichert das Modell einen zusammengefassten Zustand und greift bei späteren Anfragen direkt darauf zu. Dies reduziert die Latenz und die damit verbundenen Token-Kosten erheblich.

• 2. Verwendung von semantischem Caching: Absichtsgestützte Rückrufe

Wenn ein KI-Agent ein spezifisches Problem bereits gelöst hat, warum sollte er dann eine neue Antwort von Grund auf generieren? Diese Strategie nutzt Einbettungen – numerische, vektorbasierte Darstellungen von Text, die semantische Eigenschaften „behalten“ – um ähnliche frühere Absichten schnell zu identifizieren. Beispielsweise würden die Anfragen „Wie kann ich meinen Router zurücksetzen?“ und „Was sind die Schritte zum Neustarten meines WLAN-Routers?“ als dieselbe Absicht erkannt werden. In einigen Fällen kann dies sogar dazu führen, dass das LLM vollständig umgangen wird, während dennoch die richtige Antwort gegeben wird.

• 3. Verwendung von Just-in-Time-Tooling

Diese Technik, auch als Lazy Loading bekannt, zielt darauf ab, ein häufiges Problem beim Aufbau von KI-Agenten zu vermeiden: das Vorladen von Kontextfenstern mit umfangreichen „Referenzhandbüchern“ für jede API, jedes Tool und jedes Datenbankschema. Stattdessen sollte dem Agenten ein schlanker Überblick über seine Fähigkeiten gegeben werden. Nur wenn der Agent eine spezifische Aufgabe identifiziert, werden die detaillierten Anweisungen und Parameter für das jeweilige Tool abgerufen.

• 4. Verwendung von Aufgabeneskalation: Kostenbewusste Modellweiterleitung

Nicht alle Benutzeranfragen erfordern ein leistungsstarkes Modell. Effektive Multi-Agenten-KI-Architekturen fungieren als Triage-Zentren, die jede eingehende Aufgabe nach ihrer Natur und Komplexität analysieren. Einfachere Aufgaben wie Datenformatierung, Textzusammenfassungen oder Intent-Klassifizierung werden an leichtere, oft kostenlose Modelle weitergeleitet, während rechenintensive Modelle für komplexe Aufgaben reserviert sind, die tiefes Denken oder die Orchestrierung mehrerer Schritte erfordern. Ein Beispiel für solche Architekturen findet sich in den Top 7 AI Agent Orchestration Frameworks.

Implementierungsbeispiel im Überblick

Nachdem die vier praktischen Strategien zur Optimierung der Token-Nutzung in Multi-Agenten-KI-Anwendungen vorgestellt wurden, wird nun ein Beispiel gegeben, das zeigt, wie einige dieser Strategien in der Praxis umgesetzt werden können.

Der folgende Code veranschaulicht die Kombination von semantischem Caching und Modellweiterleitung. Der Code verwendet ein tatsächliches Modell – einen Satztransformator – um Text in die für das semantische Caching benötigten Einbettungen umzuwandeln. Die Aufrufe an LLMs sind simuliert, können jedoch leicht durch ein tatsächliches, kostenloses Modell ersetzt werden.

import numpy as np
from sentence_transformers import SentenceTransformer
# Laden eines kostenlosen, lokalen Modells zur Umwandlung von Text in Einbettungen
embedder = SentenceTransformer('all-MiniLM-L6-v2')
# In-Memory semantischer Cache und Ähnlichkeitsschwelle (0.90 = 90% ähnlich)
semantic_cache = {}
SIMILARITY_THRESHOLD = 0.90
def cosine_similarity(vec1, vec2):
    """Berechnet, wie eng zwei Anfragen miteinander verwandt sind."""
    return np.dot(vec1, vec2) / (np.linalg.norm(vec1) * np.linalg.norm(vec2))
def route_and_respond(user_query):
    # 1. Umwandlung der aktuellen Anfrage in einen Einbettungsvektor
    query_vector = embedder.encode(user_query)
    # 2. Semantisches Caching: Überprüfen, ob ein ähnliches Problem kürzlich gelöst wurde
    for cached_vector, past_response in semantic_cache.values():
        if cosine_similarity(query_vector, cached_vector) >= SIMILARITY_THRESHOLD:
            return f"[Aus Cache bedient] {past_response}"
    # 3. Modellweiterleitung: Triage der Aufgabe basierend auf der Komplexität
    # Einfache Aufgaben werden an ein kostenloses, lokal gehostetes Modell weitergeleitet
    if "zusammenfassen" in user_query.lower() or len(user_query) < 50:
        return call_free_local_agent(user_query)
    else:
        return call_heavy_reasoning_agent(user_query)

def call_free_local_agent(prompt):
    return "Aktion wurde von lokalem, kostenlosem Modell abgeschlossen."
def call_heavy_reasoning_agent(prompt):
    return "Aktion wurde von komplexem Orchestrierungsagenten abgeschlossen."

Fazit

In diesem Artikel wurden vier zentrale Strategien zur Optimierung der Token-Nutzung in Multi-Agenten-KI-Anwendungen vorgestellt. Durch ein praktisches Beispiel wurde verdeutlicht, wie semantisches Caching und Modellweiterleitung in Kombination angewendet werden können, um Kosten und Latenz zu reduzieren. Diese Ansätze sind entscheidend für die effiziente Nutzung von Ressourcen in der Künstlichen Intelligenz. Zudem wird in einem aktuellen Artikel erläutert, wie Microsoft-Wissenschaftler KI-Agenten mit neuem Trainingsansatz entwickeln.

```

Quellen: kdnuggets

Bildquelle: KI generiert

KI Snack