Die Optimierung der engen Automatisierung ist ein zentrales Thema in der Anwendung von KI, das oft übersehen wird.
Die Notwendigkeit, die Effizienz in der Automatisierung zu steigern, ist entscheidend für die Industrie, wie in der Ausgangsquelle beschrieben wird.
In diesem Artikel wird eine der effektivsten Techniken vorgestellt: die Einschränkung des Ausgabeformats anstelle der Analyse generierter Texte.
Einführung in die enge Automatisierung
In der Welt der angewandten KI liegt der Fokus häufig auf groß angelegten Modellen und deren komplexen Anwendungen. Doch ein erheblicher Teil der tatsächlichen Arbeitslast in der Industrie besteht aus weniger glamourösen, aber ebenso wichtigen Aufgaben. Dazu gehören das korrekte Routing von Supportanfragen, das Extrahieren von Informationen aus Formularen, das Taggen von Dokumenten und das Markieren von Datensätzen zur menschlichen Überprüfung. Diese Aufgaben zeichnen sich durch folgende Merkmale aus:
- eingeschränkte Eingaben
- ein festes Ausgabeformat
- hohe Anrufvolumina
Genau diese Aufgaben sind ideal für kleine Sprachmodelle (SLMs) geeignet. Ein Modell, das auf einer einzelnen GPU oder sogar CPU-basiert betrieben werden kann und in Millisekunden Antworten liefert, ist oft die bessere Wahl im Vergleich zu einem API-Aufruf eines großen Sprachmodells (LLM), dessen Kosten pro Anfrage um ein Vielfaches höher sein können. Um die Vorteile von LLMs besser zu verstehen, ist es hilfreich, wesentliche Konzepte für die Entwicklung von LLM-Systemen zu verstehen.
Herausforderungen bei der Nutzung kleiner Modelle
Ein häufiges Problem ist, dass Teams dazu tendieren, die Gewohnheiten von großen Modellen auf kleine Modelle zu übertragen. Sie formulieren lange, konversationelle Eingaben und lassen das Modell freien Text generieren, um anschließend mit regulären Ausdrücken nach erkennbaren Inhalten zu suchen. Diese Vorgehensweise führt zu Ineffizienzen, insbesondere wenn eine einzelne Vorwärtsausführung bereits zehn Millisekunden in Anspruch nimmt. Alles, was um diesen Prozess herum aufgebaut wird, wird zum Engpass, und eine lockere Handhabung der Ausgaben führt direkt zu messbaren Fehlerquoten.
Warum das Ausgabeformat einschränken?
Bei einer Klassifizierungsaufgabe gibt es eine feste Menge an möglichen Antworten. Wenn Supportanfragen in die Kategorien Abrechnung, Technik oder Konto geleitet werden, gibt es genau drei gültige Ausgaben. Dennoch ist es gängig, das Modell zu bitten, die Antwort zu formulieren, einige Token zu generieren und dann die resultierende Zeichenkette nach etwas Erkennbarem zu durchsuchen. Diese Methode hat zwei wesentliche Nachteile:
- Sie ist langsam: Der Aufruf von
generate()erfordert eine sequenzielle Vorwärtsausführung pro Ausgabe-Token, was bedeutet, dass die Anfrage nach acht Tokens etwa achtmal so viel Rechenleistung kostet wie die direkte Anfrage nach der Antwort. - Sie ist unzuverlässig: Ein kleines Modell könnte beispielsweise mit „Sicher! Das sieht nach einem Abrechnungsproblem aus.“ oder „Abrechnung/Konto“ antworten, oder eine Kategorie nennen, die nie definiert wurde. Jede dieser Antworten erfordert entweder eine Rückfallregel oder einen erneuten Versuch, was wiederum Fehlerquellen schafft.
Die Lösung besteht darin, das Generieren zu stoppen und stattdessen eine Bewertung vorzunehmen. Durch die Durchführung einer einzigen Vorwärtsausführung und das Auslesen der Verteilung der nächsten Token des Modells kann die Entscheidung auf die Token-IDs der Kandidatenlabels eingeschränkt werden. Dies macht es strukturell unmöglich, die Antwort falsch zu erhalten, und liefert gleichzeitig einen kalibrierten Vertrauensscore als Nebenprodukt.
Implementierung der Einschränkung des Ausgabeformats
Um eine faire Vergleichsbasis zu schaffen, verwenden alle Benchmarks im Folgenden das Modell Qwen2.5-0.5B-Instruct in float16 über Hugging Face Transformers, das auf einem M2 Macbook Air mit 24 GB RAM und einem 16-Kern-Neural-Engine läuft.
Die erste Implementierung zeigt, wie man mit freiem Text arbeitet und diesen nachträglich analysiert. Der folgende Python-Code demonstriert dies:
import os
import time
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
MODEL_ID = "Qwen/Qwen2.5-0.5B-Instruct"
torch.set_num_threads(os.cpu_count() or 1)
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)
if tokenizer.pad_token is None:
tokenizer.pad_token = tokenizer.eos_token
model = AutoModelForCausalLM.from_pretrained(MODEL_ID, dtype=torch.float32)
model.eval()
# unsere Testdaten zur Klassifizierung (600 Datensätze)
LABELS = ["billing", "technical", "account"]
tickets = [
"Meine Karte wurde zweimal für dieselbe Rechnung belastet.",
"Die mobile App stürzt ab, sobald ich die Einstellungsseite öffne.",
"Ich muss die E-Mail-Adresse in meinem Profil ändern.",
] * 200
In dieser ersten Version wird der Text generiert und anschließend analysiert. Dies führt zu einer langen Ausführungszeit und einer hohen Anzahl unparsebarer Ausgaben.
Die optimierte Version: Einschränkung des Ausgabeformats
Die zweite Version zeigt, wie man das Ausgabeformat einschränkt, indem man die Label-Sets direkt aus einer einzigen Vorwärtsausführung bewertet:
import os
import time
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
MODEL_ID = "Qwen/Qwen2.5-0.5B-Instruct"
torch.set_num_threads(os.cpu_count() or 1)
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)
model = AutoModelForCausalLM.from_pretrained(MODEL_ID, torch_dtype=torch.float32)
model.eval();
# unsere Testdaten zur Klassifizierung (600 Datensätze)
LABELS = ["billing", "technical", "account"]
tickets = [
"Meine Karte wurde zweimal für dieselbe Rechnung belastet.",
"Die mobile App stürzt ab, sobald ich die Einstellungsseite öffne.",
"Ich muss die E-Mail-Adresse in meinem Profil ändern.",
] * 200
Diese Methode reduziert die Ausführungszeit um etwa 30 % und eliminiert die Möglichkeit von Fehlern, da die Entscheidung vollständig in den Logits der nächsten Token enthalten ist. Die Verwendung von Softmax über die eingeschränkten Logits ermöglicht zudem eine nützliche Vertrauensprüfung.
Fazit
In diesem ersten Versuch, SLMs für die enge Automatisierung zu optimieren, wurde die Technik der eingeschränkten Bewertung vorgestellt. Diese Technik ersetzt die freie Textgenerierung und die anschließende Analyse durch eine einzige Vorwärtsausführung, die auf das gültige Label-Set beschränkt ist. Durch die Implementierung dieser Methode wird es strukturell unmöglich, fehlerhafte Ausgaben zu erzeugen, während gleichzeitig ein Vertrauensscore für die Weiterleitung von Grenzfällen an menschliche Prüfer bereitgestellt wird.
Ein kleines Sprachmodell, wie das heute verwendete mit 0,5 Milliarden Parametern, wird zu einer praktischen Wahl für die enge Automatisierung, sobald der umgebende Code aufhört, es wie einen generischen Chatbot zu behandeln. Mit einem durchgesetzten Ausgabeformat wird das kleine Modell nicht mehr als Kompromiss angesehen, sondern als die offensichtliche Lösung.
„`
Quellen: kdnuggets
Bildquelle: KI generiert
Dieser Text wurde mit Hilfe von künstlicher Intelligenz in Zusammenarbeit mit unserer Redaktion erstellt.
🚀