Dein Einstieg in das Hugging Face ML Praktikum: Erstelle deinen ersten ML-Agenten

„Ich habe eine Modellidee, aber der Weg von ‚Ich habe das Papier gelesen‘ zu ‚Ich habe einen trainierten Checkpoint auf dem Hub‘ frisst oft ein ganzes Wochenende“, sagt ein Nutzer über die Herausforderungen im maschinellen Lernen.

Hugging Face hat mit dem ML Intern ein Werkzeug entwickelt, das diese Lücke schließen soll. Es handelt sich um eine Open-Source-Befehlszeilenoberfläche (CLI), die es Nutzern ermöglicht, maschinelle Lernaufgaben in einfacher Sprache zu beschreiben.

Was ist ML Intern?

ML Intern ist ein Agent, der die Aufgaben eines Junior-Maschinenlern-Ingenieurs übernimmt. Anstatt alles manuell zusammenzustellen, können Nutzer den Agenten bitten, ein Modell zu verfeinern, ein Forschungspapier zu erkunden oder einen Trainingslauf zu starten. Der Agent übernimmt Aufgaben wie das Lesen von Dokumentationen, das Suchen auf GitHub, das Schreiben von Skripten, das Starten von Jobs, das Überprüfen von Ergebnissen und das Iterieren.

Der Agent ist vollständig in den Hugging Face-Stack integriert. Er kann auf Forschungsarbeiten im Hub und auf arXiv zugreifen, mit Datensätzen arbeiten, GPU-Trainingsjobs über HF Jobs starten, Experimente mit Trackio protokollieren und trainierte Modelle zurück auf den Hub veröffentlichen, wenn alles abgeschlossen ist. Im Hintergrund nutzt er das smolagents-Framework und leitet Modellaufrufe über die Hugging Face Inference Providers oder lokale Endpunkte, falls Nutzer keine API-Credits verbrauchen möchten.

Warum ML Intern hilfreich ist

Die Realität der maschinellen Lernforschung ist nicht linear. Man liest etwas, verfolgt eine Zitation, findet einen Datensatz, der fast passt, schreibt den Datenlader zweimal um, trainiert, stellt fest, dass die Bewertung falsch war, korrigiert sie und trainiert erneut. ML Intern wurde entwickelt, um einen Großteil dieser sich wiederholenden Arbeiten zu automatisieren, sodass Nutzer sich auf Forschungsentscheidungen konzentrieren können, anstatt ständig Setup-Code zu schreiben. Weitere Informationen zu nützlichen Python-Bibliotheken finden Sie in unserem Artikel über Python-Bibliotheken für LLM-Ingenieure.

Im Gegensatz zu herkömmlichen Chatbots stoppt ML Intern nicht nach der Generierung einer Antwort. Stattdessen folgt er einem iterativen Arbeitsablauf.

Die Voraussetzungen prüfen

Um ML Intern zu nutzen, benötigen Sie ein Hugging Face-Konto, Python, uv und einige Tokens:

• HF_TOKEN: Zugriff auf den Hugging Face Hub, Inference Providers, GPU-Sandboxen und Trainingsjobs. (Schreibzugriff empfohlen)
• GITHUB_TOKEN: Sucht öffentliche GitHub-Repositories, wenn der Agent nach Referenzimplementierungen sucht. (Feingranularer Token mit nur Lesezugriff auf öffentliche Repositories)

Wenn Sie das HF_TOKEN überspringen, wird die CLI beim ersten Start danach fragen, es sei denn, Sie führen ein vollständig lokales Modell aus.

Installation von ML Intern

Führen Sie die folgenden Befehle aus:

git clone git@github.com:huggingface/ml-intern.git
cd ml-intern
uv sync
uv tool install -e .

Nach der Installation funktioniert ml-intern von jedem Verzeichnis aus. Überprüfen Sie die Installation mit:

ml-intern --help

Interaktive und headless Modi vergleichen

Bevor Sie Ihren ersten Lauf starten, sollten Sie die beiden Modi verstehen, die der Agent unterstützt.

Interaktiver Modus

Führen Sie den folgenden Befehl aus, um Ihren maschinellen Lernagenten zu starten:

ml-intern

Dies öffnet eine Chatsitzung, in der Sie beschreiben können, was Sie möchten. Der Agent plant die Schritte, fragt vor riskanten Operationen um Genehmigung und hält Sie während der Arbeit auf dem Laufenden.

Headless Modus

Im headless Modus können Sie einen einzelnen Befehl eingeben, und der Agent führt die Aufgaben automatisch aus:

ml-intern "fine-tune llama on my dataset"

Dieser Modus genehmigt alle Aktionen automatisch und läuft bis zum Abschluss oder bis das Iterationslimit erreicht ist.

Erster Lauf

Um die Unterschiede zwischen den Modi zu sehen, verwenden Sie denselben Befehl in beiden Modi. Ziel ist es, einen Datensatz auf dem Hugging Face Hub zu finden und ein Ladeskript zu schreiben.

Find the rotten_tomatoes dataset on the Hub and write a short Python script that loads it with datasets and prints the first example. Save it to load_dataset.py. Do not run training.

Stellen Sie sicher, dass Ihre .env-Datei sowohl HF_TOKEN als auch GITHUB_TOKEN enthält, bevor Sie beginnen.

ML Intern mit lokalen Modellen verwenden

Wenn Sie keine Hugging Face Inference Providers verwenden oder für API-Nutzung bezahlen möchten, kann ML Intern auch mit lokal gehosteten Modellen arbeiten. Der Agent verbindet sich mit einem OpenAI-kompatiblen Server, der bereits auf Ihrem Computer läuft.

Wie ML Intern funktioniert

Es ist nicht notwendig, die Architektur auswendig zu lernen, aber es ist hilfreich zu wissen, warum der Agent manchmal pausiert und um Genehmigung bittet. Der Agent führt eine iterative Schleife von bis zu 300 Durchläufen standardmäßig aus.

Vermeidung häufiger Fehler

Seien Sie spezifisch mit Ihren Eingabeaufforderungen. Achten Sie auf Genehmigungen, da Trainingsjobs und Sandboxen kostenpflichtig sind. Setzen Sie –max-iterations, wenn Sie experimentieren.

Nächste Schritte

ML Intern wird Ihr Urteil nicht ersetzen. Sie müssen weiterhin die Trainingsprotokolle lesen und die Bewertung überprüfen. Aber wenn Sie jemals vor einem leeren train.py gestanden haben und nicht wussten, wo Sie anfangen sollen, ist es hilfreich, einen Agenten zu haben, der bereits mit dem Hub vertraut ist. Wenn Sie mehr über die Verwendung von Tiny AI-Modellen erfahren möchten, lesen Sie unseren Leitfaden zu Tiny AI-Modellen.

Probieren Sie ml-intern aus, geben Sie ihm eine kleine Aufgabe und sehen Sie, was er tut. Das ist der erste Schritt.

Für eine tiefere Einarbeitung in generative KI empfehlen wir unseren Intensivkurs zur Generativen KI.

„`

Quellen: kdnuggets, FAZ

Bildquelle: KI generiert

KI Snack