Einsatzmöglichkeiten kleiner Sprachmodelle: Chancen und Grenzen

Die Nutzung kleiner Sprachmodelle (SLM) wird häufig mit der Einschränkung verbunden, dass sie nicht über ausreichendes Wissen verfügen. Diese Sichtweise ist jedoch nicht ganz zutreffend. Tatsächlich ist kein Modell auf dem Markt eine verlässliche Wissensquelle, und die allgemeinen Leistungsbenchmarks korrelieren nicht mit der Zuverlässigkeit des Wissens. Ein kleineres Modell hat zwar weniger Wissen als ein größeres, doch ist diese Differenz nicht unbedingt ein nützliches Maß.

Wenn die Leistungsfähigkeit nicht der Hauptgrund für den Einsatz eines Modells auf eigener Hardware ist, gibt es andere Faktoren, die eine Rolle spielen: Daten, die das Unternehmen nicht verlassen dürfen; bereits bezahlte Volumina; und die Latenz, die das gesamte Produkt beeinflusst.

Jeder dieser Punkte erfordert eine spezifische Art von Arbeit, die ein kompetentes, handelsübliches Modell mit acht Milliarden Parametern oder weniger gut bewältigen kann, ohne dass eine Feinabstimmung notwendig ist. Im Folgenden wird erläutert, was genau mit einem kleinen Modell praktisch erreicht werden kann.

Grenzen kleiner Modelle

Es gibt drei wesentliche Einschränkungen, die für SLMs von Bedeutung sind:

• Erweiterte Schlussfolgerungen: Der Unterschied zwischen kleinen und fortschrittlichen Modellen ist besonders groß bei komplexen mathematischen Berechnungen und der Generierung von komplexem Code. Ein Modell, das den Faden bei Schritt sieben eines zwölfstufigen Plans verliert, wird durch einen besseren Prompt nicht gerettet.
• Erinnerung: Das parametrisierte Wissen, das das Modell während des Trainings erlernt hat, ist zum Zeitpunkt des Cutoffs eingefroren und kann nicht selektiv aktualisiert werden. Ein kleines Modell hat einfach weniger Wissen zur Verfügung, was dazu führt, dass es bei spezifischen Fragen, insbesondere in Nischenbereichen, eher halluziniert.
• Effektiver Kontext: Diese Einschränkung kann die größten Probleme verursachen, da sie oft unsichtbar ist. Der effektive Kontext liegt in der Regel weit unter der Anzahl, die auf dem Modellblatt angegeben ist, und Modelle können unzuverlässig werden, wenn sie vierzig Prozent dieses beworbenen Fensters erreichen.

Material, das sich in der Mitte eines langen Inputs befindet, ist besonders betroffen. Die Abrufgenauigkeit sinkt für Inhalte, die sich etwa zwischen dreißig und siebzig Prozent des Weges durch den Input befinden. Dies ist eine Auswirkung des „verloren in der Mitte“-Problems.

Arbeiten, die nicht das Unternehmen verlassen dürfen

Es ist nicht überraschend, dass einige Daten nicht an Dritte weitergegeben werden dürfen. Dies kann Betriebsgeheimnisse oder geschäftskritische Informationen betreffen. Auch klinische Notizen, HR-Akten unter Untersuchung oder Dokumente von Kunden, die durch Privilegien oder Vorschriften geschützt sind, fallen in diese Kategorie. In solchen Fällen spielt die Leistungsfähigkeit des Modells keine Rolle, da das bessere Modell zu keinem Preis verfügbar ist. Die Wahl besteht nicht zwischen einem kleinen und einem großen Modell, sondern zwischen einem kleinen Modell und gar keinem.

Die Aufgabe, die am besten unterstützt wird, ist die Dokumentenstrukturierung – das Umwandeln eines Haufens unstrukturierter Texte in abfragbare Datensätze (z. B. Tabellen, Tabellenkalkulationen, Datenbankzeilen). Ein Bericht wird gelesen, und es werden Felder ausgegeben. Das Ergebnis ist eine Zeile, kein Aufsatz. Was diese Arbeit auf bescheidener Hardware ermöglicht, ist, dass der schwierige Teil aus dem Modell herausgenommen wurde. Schema-basiertes Decoding erledigt die strukturelle Arbeit: Bei jedem Schritt wird jedes Token, das das bereitgestellte Schema verletzen würde, maskiert, sodass das Modell nur Ausgaben erzeugen kann, die korrekt sind.

Backlogs, die über Nacht laufen

Die zweite Einschränkung betrifft die Kosten. Die Kosten für ein fortschrittliches Modell pro Element sind irrelevant, wenn Sie vierzig Dokumente verarbeiten, können jedoch prohibitiv sein, wenn Sie vierhunderttausend verarbeiten. Es ist nicht abwegig zu denken, dass Sie auf Klassifizierungsaufgaben stoßen könnten, die letzterem ähneln. Die Aufgabe besteht darin, eine große Menge an Dokumenten zu kennzeichnen. Das Taggen eines Support-Queues nach Themen, das Sortieren eines Dokumentenarchivs nach Typ oder das Routing eingehender Post an das richtige Team sind Beispiele dafür. Jede einzelne Entscheidung ist einfach: Wählen Sie ein Label aus einer kurzen Liste. Der Grund, warum diese Aufgaben oft unerledigt bleiben, ist selten die Schwierigkeit; es ist die Herausforderung, die Kosten für die Durchführung in großem Maßstab zu rechtfertigen. Lokale Inferenz ändert diese Berechnung.

Die tatsächliche Einschränkung? Ein kleines Modell ist ein guter Sortierer einfacher Fälle, aber ein schlechter Richter schwieriger Fälle. Die richtige Struktur ist zweistufig: Das lokale Modell übernimmt den Großteil der Warteschlange, und alles, was es unsicher ist, wird an ein größeres Modell (sofern zulässig) oder an eine Person weitergeleitet. Dieser Eskalationspfad ist kein Zugeständnis, sondern Teil des Designs. Ein System, das den Großteil des Volumens kostengünstig routiert und bei Bedarf eskaliert, erfüllt seine Aufgabe. Der Fehler wäre, die gesamte Warteschlange dem kleinen Modell zu übergeben und dessen Ausgaben bedingungslos zu vertrauen, was ein anderes Projekt mit erheblich höheren Risiken darstellt.

Das Modell, das immer läuft

Die dritte Einschränkung betrifft die Latenz. Ein Modell, das in wenigen hundert Millisekunden aus dem lokalen Speicher antwortet, ist nicht einfach eine schnellere Version eines Modells, das in zwei Sekunden über ein Netzwerk antwortet. Es handelt sich um eine andere Kategorie von Werkzeugen, und der Unterschied zeigt sich in den Aufgaben, für die Sie es überhaupt verwenden möchten. Diese Aufgaben sind idealerweise trivial, werden dutzende Male pro Stunde aufgerufen. Jede Aufgabe ist so klein, dass die zusätzliche Fähigkeit eines größeren Modells für Sie nichts bewirken würde, was Sie tatsächlich bemerken würden.

Es ist wichtig zu beachten, dass wir das Modell nicht nach Wissen fragen. Der Input ist kurz, er liegt bereits vor Ihnen, und Sie lesen die Ausgabe, sobald sie erscheint, was bedeutet, dass Fehler sofort sichtbar werden, anstatt sich nach unten zu propagieren. Es gibt keine Abhängigkeit von Erinnerungen; kurzer Input, ein Mensch liest jedes generierte Ergebnis. Diese Kombination beschreibt fast genau die Bedingungen, unter denen ein kleines Modell am besten funktioniert. Daher ist die Rundreisezeit hier so wichtig und woanders so wenig. Bei dieser Aufgabenart ist das Warten der größte Kostenfaktor.

Fehler treten auf, wenn Sie versuchen, eine gesamte Datei an das Modell zu übergeben, anstatt eine Auswahl (ein Feld, eine Zeile, einen Absatz). Dann kehren Sie zu dem zuvor genannten Kontextproblem zurück, und die Fehler sind wieder leise. Eine Zusammenfassung, die stillschweigend die Mitte eines Dokuments ignoriert, liest sich genau wie eine Zusammenfassung, die nichts ausgelassen hat, und ist der Grund, warum sie unbemerkt bleibt. Aufgaben, bei denen die Ausgabe direkt auf dem Bildschirm sichtbar ist, sind gut für SLMs geeignet.

Fazit

Die drei Aufgaben scheinen zunächst nicht miteinander verbunden zu sein. Eine ist ein Compliance-Problem, eine ist ein Kostenproblem und eine ist ein Latenzproblem. Was sie gemeinsam haben, ist das Merkmal, das sie funktionieren lässt: In jedem Fall lebt das Wissen außerhalb des Modells. Ein Schema liefert die Struktur. Ein Set von Labels bietet die Optionen. Der Bildschirm liefert den Text. Und jede dieser Komponenten kann mit der Antwort überprüft werden. Das Modell wird nie gefragt, was es weiß, sondern nur, eine Aufgabe mit dem Material zu erfüllen, das ihm übergeben wurde.

Diese Auswahlregel gilt über diese drei Beispiele hinaus. Wenn eine Aufgabe das Modell dazu zwingt, Fakten aus seinen eigenen Gewichten bereitzustellen, ist ein kleines lokales Modell das falsche Werkzeug. Das große entfernte Modell ist eine bessere Wahl, wenn auch nicht unbedingt eine sichere. Wenn die Aufgabe eigenes Material mitbringt, kann das kleine Modell auf Ihrer Hardware durchaus erfolgreich sein. OpenAI startet Wettbewerb zur Entwicklung eines kompakten Sprachmodells und Wesentliche Konzepte für die Entwicklung von LLM-Systemen verstehen.

„`

Quellen: kdnuggets

Dieser Text wurde mit Hilfe von künstlicher Intelligenz in Zusammenarbeit mit unserer Redaktion erstellt.

KI Snack