Das Forscherteam vom MIT-IBM Watson AI Lab und der University of Washington sorgt für Aufsehen in der KI-Community: Mit TOUCAN veröffentlichen sie den bisher größten offenen Datensatz für KI-Agenten. Das Projekt liefert 1,5 Millionen reale Tool-Interaktionen, die das Training und die Weiterentwicklung offener Sprachmodelle nachhaltig verbessern sollen.
Wichtigste Erkenntnisse
- TOUCAN umfasst 1,5 Millionen reale Tool-Interaktionen aus echten Umgebungen
- 495 MCP-Server und über 2.000 verschiedene Werkzeuge abgedeckt
- Starke Leistungssteigerung bei offenen Modellen im Vergleich zu bisherigen Benchmarks
- Offener Zugang zu Datensatz und Code über GitHub und Hugging Face
- Strenge Datenschutzmaßnahmen und Qualitätskontrolle
Was macht TOUCAN einzigartig?
Bisherige offene Datensätze wie ToolLLM nutzten meist simulierte Daten, während TOUCAN auf tatsächliche API-Ausführungen in realen Model-Context-Protocol-(MCP)-Umgebungen setzt. Damit werden realistische Fehler, Verzögerungen und komplexe Kontextabhängigkeiten abgebildet. Dies verbessert die Robustheit von KI-Agenten im Umgang mit externen Tools deutlich.
Aufbau und Vielfalt des Datensatzes
TOUCAN wurde in einer mehrstufigen Pipeline erzeugt:
- Sammlung und Prüfung von MCP-Servern (u.a. von Smithery.ai)
- Erstellung von Trainingsaufgaben durch fünf verschiedene Sprachmodelle (wie Mistral oder Kimi-K2)
- Filterung nach Qualität und Realismus
- Generierung konkreter Interaktionen über weitere KI-Modelle
- Zusätzliche Aufbereitung mit unlösbaren Aufgaben, Varianten und komplexen Dialogen
Dadurch entstand eine Datensammlung, die unterschiedlichste Anwendungsszenarien wie Websuche, Entwicklungstools, Finanzen, Wetter oder KI-Services abdeckt.
Leistungszuwachs durch TOUCAN
In unabhängigen Tests mit verschiedenen offenen Qwen-2.5-Modellen konnte durch Feinanpassung mit TOUCAN deutliche Leistungsverbesserung festgestellt werden. Bei Benchmarks wie BFCL V3 übertraf das feingestimmte Modell sogar das kommerzielle GPT-4.5-Preview in mehreren Bereichen. Auch im MCP-Universe-Test konnten größere Modelle wie Llama-3.3 und GLM-4.5 übertroffen werden, was insbesondere die Effizienzsteigerung kleinerer KI-Modelle verdeutlicht.
Bedeutung für die Open-Source-KI-Community
TOUCAN schließt eine wichtige Lücke. Bisher dominierten proprietäre Systeme die Tool-Nutzung: Offene Sprachmodelle konnten selten mit den Spitzenmodellen wie GPT-5 oder Claude 4.5 mithalten. Dank TOUCAN ist es nun möglich, auch Open-Source-Lösungen effektiv im Umgang mit echten Werkzeugen zu trainieren und ihre Leistungsgrenzen zu verschieben.
Verfügbarkeit und Ausblick
Der Datensatz steht unter einer permissiven Lizenz öffentlich auf GitHub und Hugging Face bereit. Persönliche Daten wurden entfernt, und die Datengrundlage stammt aus öffentlich zugänglichen Quellen. Die Forschenden planen bereits Erweiterungen, darunter ein Expertenmodell für Toolsimulation und neue Benchmarks zur Websuche.
Mit TOUCAN können nun Entwickler und Forscher weltweit auf ein starkes Fundament bauen – ein Meilenstein für transparente und leistungsfähige KI-Agenten.
KI Snack
