Die Einführung von Markdown-Ausgaben durch SerpApi hat das Potenzial, die Token-Nutzung bei Suchanfragen erheblich zu senken.
„Die Verwendung von Markdown kann die Token-Nutzung um bis zu 74 % reduzieren und somit die Kosten für KI-Agenten und den Kontext-Overhead verringern“,
so die Verantwortlichen von SerpApi.
Tokenverbrauch bei Suchanfragen
Es ist allgemein bekannt, dass KI-Agenten bei der Verarbeitung von Suchergebnissen und Dateirückgaben eine große Menge an Tokens verbrauchen. Bei einer einfachen Anfrage wie „Cafés suchen“ kann die Antwort in eine Vielzahl von verschachtelten Objekten, Tracking-Links und Metadaten aufgeteilt werden. Diese Daten werden oft nicht vom Modell verwendet, dennoch wird für jedes Token gezahlt.
Markdown als Lösung
SerpApi hat eine Lösung entwickelt, die die Token-Nutzung drastisch reduziert. Bei einer herkömmlichen JSON-Anfrage nach „Café“ wurden 24.723 Tokens benötigt. Im Vergleich dazu benötigte die gleiche Anfrage in Markdown nur 6.435 Tokens, was einer Reduzierung um 74 Prozent entspricht. Durch weitere Filterung kann die Token-Nutzung sogar auf 1.298 Tokens gesenkt werden.
Unterschiede zwischen JSON und Markdown
Die Funktionsweise von Markdown besteht darin, dass es die informativen Inhalte beibehält, jedoch die Teile entfernt oder umgestaltet, die die Tokenanzahl unnötig erhöhen. Laut SerpApi-Dokumentation werden typischerweise folgende Elemente entfernt oder transformiert:
- Tracking-Links und interne SerpApi-URLs: JSON-Antworten enthalten oft Links, die für die Verfeinerung von Anfragen genutzt werden, während Markdown diese internen Links entfernt.
- Icons und Thumbnails: Diese Elemente sind für Benutzeroberflächen nützlich, tragen jedoch zur Tokenanzahl bei, ohne das Verständnis eines LLM zu unterstützen.
- Verschachtelte Metadaten und doppelte Felder: JSON bewahrt die vollständige Struktur der Daten, während Markdown diese in Tabellen und strukturierte Formate umwandelt.
- Trennung von Titel und Link: In JSON sind Titel und Link separate Schlüssel, während Markdown diese in einer lesbaren Zeile zusammenführt.
Wann ist Markdown nicht geeignet?
Obwohl Markdown für LLMs und KI-Agenten optimiert ist, ist es möglicherweise nicht die beste Wahl für Anwendungen, die präzise Datentypen benötigen. Wenn Ihre Pipeline auf exakten numerischen Preisen, Koordinaten oder strukturierten Arrays basiert, bleibt JSON die bessere Wahl.
SerpApi’s Ansatz zur Token-Reduzierung
SerpApi ermöglicht die Anforderung von Markdown-Ausgaben durch einfache Anpassungen in der Abfrage. Nutzer können:
- output=md zu ihrer bestehenden Suchanfrage hinzufügen,
- den Endpunkt /search.md anstelle von /search aufrufen oder
- den Accept: text/markdown-Header setzen.
Diese Funktion ist für alle über 100 SerpApi-APIs ohne zusätzliche Kosten verfügbar und bietet YAML-Frontmatter, strukturierte Tabellen und native Inline-Links, während interne Tracking-Geräusche und doppelte Felder automatisch entfernt werden.
Prüfen Sie es mit Ihren eigenen Daten
Um die Effizienz von Markdown selbst zu testen, können Nutzer eine bereits laufende Abfrage durchführen, output=md hinzufügen und die Tokenanzahl vor und nach der Anfrage vergleichen. Ein weiterer Test mit einem eingeschränkten Feldset über json_restrictor kann ebenfalls durchgeführt werden, um die tatsächlichen Einsparungen zu ermitteln.
Fazit: Ist es Zeit für Markdown?
Markdown ist zwar keine universelle Lösung, aber es ist wichtig, die Form Ihrer Daten und deren Token-Kosten zu berücksichtigen. In agentischen Systemen können kleine Aufblähungen pro Anfrage schnell summiert werden. Die Messung und Umgestaltung von Payloads ist eine der besten Maßnahmen, die getroffen werden können. Wer die Vorteile von Markdown im Vergleich zu JSON sehen möchte, sollte sich die neue Funktion von SerpApi näher ansehen.
Quellen: kdnuggets
Bildquelle: KI generiert
Dieser Text wurde mit Hilfe von künstlicher Intelligenz in Zusammenarbeit mit unserer Redaktion erstellt.
🚀