Die Nutzung lokaler Modelle hat sich als effizienter erwiesen, da sie die meisten Anwendungsfälle abdecken, ohne zusätzliche Kosten pro Token zu verursachen.
Die Programmierung mit Claude Code kann kostspielig sein. Eine einzige Sitzung, in der Dateien gelesen, Code geschrieben und Tests durchgeführt werden, kann 10 bis 50 Mal mehr Tokens verbrauchen als ein einfaches Gespräch. Dies summiert sich schnell, insbesondere wenn man die Möglichkeit von Rate-Limits in Betracht zieht, die einen langen Workflow unterbrechen können. Die Abhängigkeit von einer Drittanbieter-API, die ihre Preise ändern oder striktere Richtlinien durchsetzen kann, verstärkt die Notwendigkeit für lokale Inferenzlösungen.
Einführung in lokale Modelle
Im Jahr 2026 sind lokale Modelle ausreichend leistungsfähig. Für die täglichen Aufgaben von Claude Code, wie Code-Vervollständigung, Refactoring, Debugging und Erklärungen von Codebasen, kann ein gut ausgewähltes quantisiertes Modell, das lokal läuft, die meisten realen Anwendungsfälle abdecken, ohne Kosten pro Token und ohne Rate-Limits. Dieser Artikel behandelt drei Inferenz-Backends (Ollama, LM Studio und llama.cpp), die erforderlichen Umgebungsvariablen und Konfigurationsdateien, um jedes Backend mit Claude Code zu verbinden, sowie eine kuratierte Tabelle von Modellen, die es wert sind, verwendet zu werden. Weitere Informationen finden Sie in unserem Artikel über lokale Modelle.
Verbindung von Claude Code zu lokalen Modellen
Die Mechanik ist einfacher, als viele Anleitungen vermuten lassen. Claude Code sendet Anfragen im Format der Anthropic Messages API. Standardmäßig gehen diese Anfragen an die Server von Anthropic. Durch das Setzen von ANTHROPIC_BASE_URL können diese Anfragen jedoch an jeden Server umgeleitet werden, der dasselbe Format spricht, was jetzt auch Ollama, LM Studio und llama.cpp umfasst. Neueste Entwicklungen in diesem Bereich sind unter anderem die Möglichkeit, interaktive Diagramme zu erstellen, wie in unserem Artikel über Anthropics Claude beschrieben.
Wichtige Umgebungsvariablen
- ANTHROPIC_BASE_URL: Leitet alle API-Anfragen von den Servern von Anthropic an die von Ihnen festgelegte URL um.
- ANTHROPIC_API_KEY: Der API-Schlüssel, der im Anfrage-Header gesendet wird. Lokale Server ignorieren in der Regel die Authentifizierung, daher wird dieser häufig auf einen Platzhalter wie „local“ oder „ollama“ gesetzt.
- ANTHROPIC_AUTH_TOKEN: Ein alternatives Auth-Header. Einige lokale Server prüfen dies anstelle des API-Schlüssels.
- ANTHROPIC_DEFAULT_SONNET_MODEL, ANTHROPIC_DEFAULT_HAIKU_MODEL, ANTHROPIC_DEFAULT_OPUS_MODEL: Diese Variablen ordnen die internen Anfragen von Claude Code an die Namen Ihrer lokalen Modelle zu.
Backend 1: Ollama
Ollama ist der ideale Ausgangspunkt. Es verwaltet die gesamte Komplexität des Modellmanagements — das Herunterladen von Gewichten, Quantisierung, GPU- und CPU-Zuweisung sowie das Bereitstellen — hinter einer einfachen Befehlszeilenschnittstelle (CLI). Ein Befehl zur Installation, ein Befehl zum Herunterladen eines Modells und einige Umgebungsvariablen zur Konfiguration sind erforderlich. Nach der Installation läuft es als Hintergrunddienst, sodass kein manueller Serverstart erforderlich ist.
Voraussetzungen
- macOS, Linux oder Windows (WSL2 empfohlen auf Windows)
- Mindestens 16 GB RAM für praktische Nutzung (32 GB empfohlen)
- GPU mit 8+ GB VRAM für GPU-Inferenz oder CPU-only mit ausreichend RAM
- Ollama v0.14.0 oder höher erforderlich für die Unterstützung der Anthropic Messages API
Installation von Ollama
Für macOS und Linux kann Ollama mit folgendem Befehl installiert werden:
curl -fsSL https://ollama.com/install.sh | shÜberprüfen Sie die Version, um sicherzustellen, dass sie 0.14.0 oder höher ist:
ollama versionFür Windows kann der Installer von ollama.com heruntergeladen werden.
Modell herunterladen
Ein empfohlenes Startmodell ist GLM-4.7-Flash, das auf 8 GB VRAM passt und eine starke Werkzeugaufrufunterstützung bietet:
ollama pull glm-4.7-flash:latestFür die spezifische Nutzung in agentischen Programmier-Workflows kann das Modell Devstral-Small verwendet werden:
ollama pull devstral-small-2:24bBackend 2: LM Studio
LM Studio ist die richtige Wahl, wenn Sie eine grafische Benutzeroberfläche für das Durchsuchen und Verwalten von Modellen bevorzugen. Seit Version 0.4.1 enthält es einen nativen, Anthropic-kompatiblen /v1/messages-Endpunkt, sodass keine Übersetzungsschicht oder Proxy erforderlich ist.
Installation und Konfiguration von LM Studio
Für die Installation auf einem Server oder VM ohne GUI kann der CLI-Installer verwendet werden:
curl -fsSL https://releases.lmstudio.ai/cli/install.sh | bashAlternativ kann die Desktop-App von lmstudio.ai heruntergeladen werden.
Backend 3: llama.cpp
llama.cpp ist die richtige Wahl, wenn Sie direkte Kontrolle über Inferenzparameter benötigen oder wenn Sie auf einem Server mit minimalem Overhead arbeiten möchten. Es unterstützt nativ die Anthropic Messages API, sodass keine Proxy- oder Übersetzungsschicht erforderlich ist.
Installation von llama.cpp
Für die Installation auf macOS kann Homebrew verwendet werden:
brew install llama.cppFür Linux mit CUDA sollte aus dem Quellcode gebaut werden, um die beste GPU-Leistung zu erzielen.
Schlussfolgerung
Was früher fragile Adapter und Hacks erforderte, ist jetzt ein einfacher Prozess. Die Installation des Inferenz-Backends, das Herunterladen eines Modells und das Setzen von drei Umgebungsvariablen ermöglichen es Claude Code, auf Ihre lokale Maschine anstelle der Anthropic-API zuzugreifen. Die Konfiguration dauert weniger als fünf Minuten, sobald das Modell heruntergeladen ist.
Das praktische Ergebnis ist ein Programmierassistent, der nach der Einrichtung kostenlos betrieben werden kann, keine Rate-Limits hat und Ihren Code vollständig auf Ihrer Maschine hält. Beginnen Sie mit Ollama und glm-4.7-flash, da es die niedrigsten Hardwareanforderungen hat und den schnellsten Weg zu einer funktionierenden Einrichtung bietet. Ein weiteres vielversprechendes Tool, das in naher Zukunft für Aufsehen sorgen könnte, ist OpenClaw.
„`
Quellen: kdnuggets
Bildquelle: KI generiert
