„Ich bin begeistert von diesem kleinen lokalen Codierungsmodell. Es ist schnell, ausreichend genau für alltägliche Programmieraufgaben und benötigt nicht viel VRAM, um nützlich zu sein“, sagte ein Nutzer.
Einführung
Das Qwythos-9B-Claude-Mythos-5-1M ist ein 9B-Modell für logisches Denken und Programmierung, das auf Qwen3.5 basiert. Es wurde speziell für lokale Codierungs-Workflows, agentenbasierte Entwicklung und Aufgaben mit langen Kontexten konzipiert. Besonders bemerkenswert ist, dass es klein genug ist, um auf handelsüblicher Hardware betrieben zu werden, während es gleichzeitig in der Lage ist, praktische Programmieraufgaben zu unterstützen.
In diesem Leitfaden wird erläutert, wie das Mythos-verbesserte Qwythos-Modell lokal mit llama.cpp ausgeführt und mit Pi verbunden wird, um es als lokalen Codierungsagenten zu nutzen. Für die Demonstration wird eine RTX 4070 Ti Super mit 16 GB VRAM verwendet, die das bequeme Ausführen der Q6_K MTP-Quantisierung ermöglicht. Bei einer 8-GB-GPU wird empfohlen, mit der Q4_K_M-Variante zu beginnen, da sie ein besseres Gleichgewicht zwischen Qualität, Geschwindigkeit und Speicherverbrauch bietet.
Installation von llama.cpp
Zu Beginn muss die offizielle Kommandozeilenoberfläche (CLI) von llama.cpp installiert werden. Dies ermöglicht den Zugriff auf den Befehl llama, einschließlich llama serve, den wir verwenden werden, um das Modell lokal auszuführen.
curl -LsSf https://llama.app/install.sh | sh
Im Anschluss sollte das Installationsverzeichnis zum Shell-Pfad hinzugefügt werden, damit das Terminal den llama-Befehl finden kann:
echo 'export PATH="$HOME/.local/bin:$PATH"' >> ~/.bashrcsource ~/.bashrc
Um zu bestätigen, dass die Installation erfolgreich war, führen Sie den folgenden Befehl aus:
llama help
Wenn alles korrekt installiert ist, sollten die verfügbaren llama.cpp-Befehle und -Optionen angezeigt werden.
Festlegen eines Hugging Face Cache-Verzeichnisses
Setzen Sie das Hugging Face-Cache-Verzeichnis an einem Ort mit ausreichend freiem Speicherplatz. Dies ist besonders nützlich auf Cloud-Maschinen, wo das Standard-Heimverzeichnis oft nur begrenzten Speicherplatz bietet.
export HF_HOME="/workspace/huggingface"mkdir -p "$HF_HOME"
Um dies über neue Terminal-Sitzungen hinweg beizubehalten, fügen Sie es Ihrer Shell-Konfiguration hinzu:
echo 'export HF_HOME="/workspace/huggingface"' >> ~/.bashrcsource ~/.bashrc
Starten des Qwythos MTP-Modells
Führen Sie das Q6_K MTP GGUF-Modell mit allen verfügbaren GPU-Schichten aus:
llama serve \\
-hf "empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF:MTP-Q6_K" \\
--alias "qwythos-9b-mtp" \\
--host 0.0.0.0 \\
--port 8910 \\
--n-gpu-layers all \\
--ctx-size 100000 \\
--parallel 1 \\
--batch-size 1024 \\
--ubatch-size 512 \\
--flash-attn on \\
--cache-type-k q8_0 \\
--cache-type-v q8_0 \\
--spec-type draft-mtp \\
--spec-draft-n-max 6 \\
--threads 12 \\
--threads-batch 24 \\
--temp 0.6 \\
--top-p 0.95 \\
--top-k 20 \\
--repeat-penalty 1.05 \\
--jinja \\
--perf
Beim ersten Ausführen dieses Befehls wird llama.cpp die Modell-Dateien von Hugging Face herunterladen.
Danach wird das Modell in den GPU-Speicher geladen und ein lokaler Server gestartet.
Sobald das Modell läuft, öffnen Sie die lokale Schnittstelle in Ihrem Browser:
http://localhost:8910
Dies bietet auch einen OpenAI-kompatiblen lokalen API-Endpunkt unter:
http://localhost:8910/v1
Die Q6_K-Variante liefert eine bessere Ausgabequalität, benötigt jedoch auch mehr Speicher. Bei Problemen mit VRAM oder RAM sollte zunächst die Option --ctx-size reduziert werden. Wenn das nicht ausreicht, kann die Q4_K_M-Variante ausprobiert werden.
Wichtige Befehlsoptionen
- –n-gpu-layers all: Überträgt alle unterstützten Schichten auf die GPU.
- –ctx-size 100000: Reserviert ein Kontextfenster von 100.000 Token. Reduzieren Sie dies, wenn der VRAM oder RAM nicht ausreicht.
- –flash-attn on: Aktiviert Flash Attention, wo unterstützt.
- –cache-type-k q8_0 und –cache-type-v q8_0: Reduziert den Speicherverbrauch des KV-Caches bei guter Qualität.
- –spec-type draft-mtp: Aktiviert die MTP-spekulative Dekodierung.
- –spec-draft-n-max 6: Erlaubt bis zu sechs spekulative Token pro Schritt.
- –jinja: Verwendet die eingebettete Chat-Vorlage des Modells.
- –perf: Gibt Leistungsstatistiken wie die Token-Durchsatzrate aus.
Auf meiner RTX 4070 Ti Super erreichte ich etwa 81,74 Token pro Sekunde. In meinem Test konnte das Modell auch die Aufgabe durchdenken, die erforderlichen Werkzeuge aufrufen und den aktuellen Goldpreis zurückgeben, als es im lokalen Agenten-Workflow verwendet wurde.
Installation von Pi und der Integration mit llama.cpp
Pi kann sich mit dem lokalen llama.cpp-Server verbinden und das Modell als Codierungsagenten nutzen. Das pi-llama-Plugin ist dafür konzipiert, Pi mit einem laufenden lokalen llama.cpp-Server zu verbinden, ohne dass ein externer API-Schlüssel erforderlich ist.
Installieren Sie Pi:
curl -fsSL https://pi.dev/install.sh | sh
Installieren Sie das llama.cpp-Plugin für Pi:
pi install git:github.com/huggingface/pi-llama
Erstellen Sie ein kleines Testprojekt:
mkdir new-project
cd new-project
Standardmäßig sucht das Plugin nach llama.cpp auf Port 8080. In diesem Leitfaden läuft unser lokaler Server jedoch auf Port 8910, daher müssen wir die korrekte lokale API-Adresse festlegen, bevor wir Pi starten:
export LLAMA_BASE_URL="http://127.0.0.1:8910/v1"
Starten Sie nun Pi:
pi
Geben Sie in Pi ein:
/model
Wählen Sie den lokalen Modellalias:
qwythos-9b-mtp
Das Modell sollte in Pi aufgelistet sein, und nach der Auswahl können Sie es als lokalen Codierungsagenten verwenden.
Testen des Mythos-verbesserten Codierungsmodells mit Pi
Nun ist es an der Zeit, das lokale Modell bei realen Programmieraufgaben innerhalb von Pi zu testen. Ich habe zwei einfache, aber praktische Aufgaben verwendet: ein Browser-Spiel und ein kleines Python-CLI-Tool.
Erstellung eines einfachen Browser-Spiels
Beginnen Sie mit einem Prompt, der Pi auffordert, ein kleines Browser-Spiel namens „Beat the AI“ zu erstellen.
Erstellen Sie ein einfaches Browser-Spiel namens „Beat the AI“. Der Spieler hat 30 Sekunden Zeit, um kurze Fragen zur Mustererkennung zu beantworten. Jede richtige Antwort erhöht den Punktestand um eins. Zeigen Sie einen Countdown-Timer, eine Punktanzeige, eine Fortschrittsanzeige und einen abschließenden Ergebnisbildschirm an.
Anforderungen:
- Verwenden Sie nur HTML, CSS und Vanilla JavaScript.
- Generieren Sie mindestens drei Arten von Fragen, wie Zahlenmuster, schnelle Mathematik und Wortlogik.
- Fügen Sie nach dem Spielende eine Neustart-Schaltfläche hinzu.
- Gestalten Sie die Benutzeroberfläche spielerisch und ansprechend.
- Halten Sie den gesamten Code leicht verständlich und vermeiden Sie unnötige Dateien.
Testen Sie das Spiel im Browser, bevor Sie es abschließen.
In meinem Test hat Pi das gesamte Spiel in einer einzigen HTML-Datei mit eingebettetem CSS und JavaScript erstellt, was das Projekt einfach und leicht nachvollziehbar macht.
Pi fasste dann zusammen, was es erstellt hatte, einschließlich des 30-Sekunden-Countdowns, der Punktverfolgung, der Fortschrittsanzeige, der Fragetypen und der Neustart-Schaltfläche.
Anschließend öffnete ich das Spiel im Browser, um zu überprüfen, ob es korrekt funktionierte.
Das Ergebnis war ein ansprechendes kleines Spiel mit:
- einem Countdown-Timer
- einer Punktanzeige
- einer Fortschrittsanzeige
- mehreren Fragetypen
- einem Neustart-Flow nach Spielende
Dies ist ein gutes Beispiel dafür, wie das Modell eine vollständige Front-End-Aufgabe lokal bewältigen kann, ohne auf eine externe API angewiesen zu sein.
Erstellung eines CSV-zu-Excel Python-CLI
Für den zweiten Test forderte ich Pi auf, ein kleines Python-CLI zu erstellen, das eine CSV-Datei in eine Excel .xlsx-Datei konvertiert.
Erstellen Sie ein einfaches Python-CLI, das eine CSV-Datei in eine Excel .xlsx-Datei konvertiert, Eingabe- und Ausgabedateipfade als Argumente akzeptiert, die Spaltenüberschriften beibehält, fehlende Dateien validiert und klare Erfolgs- oder Fehlermeldungen ausgibt. Erstellen Sie vor dem Abschluss eine kleine Dummy-CSV-Datei mit Beispieldaten, verwenden Sie diese, um das CLI zu testen, und überprüfen Sie, ob die Excel-Datei korrekt erstellt wurde, und fassen Sie dann das Testergebnis zusammen.
Pi erstellte ein Python-Skript mit dem Namen csv2excel.py, generierte eine Beispiel-CSV-Datei, führte den Testbefehl aus und fasste dann die Ergebnisse zusammen.
python csv2excel.py sample_data.csv output.xlsx
In meinem Test zeigte die Zusammenfassung, dass das Skript:
- die Eingabe- und Ausgabedateipfade akzeptierte.
- die Spaltenüberschriften beibehielt.
- die Beispieldaten korrekt konvertierte.
- fehlende Dateien mit klaren Fehlermeldungen behandelte.
- fehlende Ausgabepfade ordnungsgemäß behandelte.
Ich öffnete auch die generierte Excel-Datei, um zu bestätigen, dass die Ausgabe korrekt war.
Die Beispielausgabe bewahrte die Zeilen und Überschriften korrekt, was bestätigte, dass das CLI wie erwartet funktionierte.
Fazit
Das kleine lokale Codierungsmodell hat mich wirklich überzeugt. Es ist schnell, ausreichend genau für alltägliche Programmieraufgaben und benötigt nicht viel VRAM, um nützlich zu sein. Es kann mit Pi, Claude Code, OpenCode oder jeder Codierungsumgebung verwendet werden, die lokale OpenAI-kompatible oder Anthropic-kompatible Endpunkte unterstützt.
Für grundlegende Front-End-Apps, Python-Skripte, CLI-Tools und schnelle Prototypen funktioniert es überraschend gut. Nützliche Projekte können lokal erstellt werden, ohne auf externe APIs angewiesen zu sein oder für jede Anfrage zu zahlen.
Um noch bessere Ergebnisse zu erzielen, wird dringend empfohlen, Web-Suchfähigkeiten, Context7 und andere nützliche Pi-Integrationen hinzuzufügen. Eine vollständige Anleitung zur Optimierung Ihres Pi-Codierungsagenten-Setups finden Sie hier: Wie man Kimi K2.7 Code mit Pi einrichtet: Die ultimative AI-Codierungsumgebung.
„`
Quellen: kdnuggets
Bildquelle: KI generiert
🚀