Lokale KI-Entwicklung: OpenCode, Ollama und Qwen3-Coder im Einsatz

In einer spannenden Zeit leben wir, in der es möglich ist, einen leistungsstarken KI-Coding-Assistenten direkt auf dem eigenen Computer auszuführen, und das ganz offline, ohne monatliche Abonnementgebühren. Dieser Artikel zeigt Ihnen, wie Sie eine kostenlose, lokale KI-Coding-Umgebung aufbauen können, indem Sie drei leistungsstarke Werkzeuge kombinieren: OpenCode, Ollama und Qwen3-Coder.

Am Ende dieses Tutorials werden Sie ein umfassendes Verständnis dafür haben, wie Sie Qwen3-Coder lokal mit Ollama ausführen und in Ihren Arbeitsablauf mithilfe von OpenCode integrieren können. Stellen Sie sich vor, Sie bauen Ihren eigenen privaten, offline KI-Programmierpartner.

Die Komponenten der lokalen Einrichtung

Um die Funktionsweise unseres lokalen Setups zu verstehen, betrachten wir die Rolle jedes einzelnen Werkzeugs:

• OpenCode: Dies ist Ihre Benutzeroberfläche. Es handelt sich um einen Open-Source-KI-Coding-Assistenten, der in Ihrem Terminal, Ihrer integrierten Entwicklungsumgebung (IDE) oder als Desktop-App lebt. Man kann es als das „Frontend“ betrachten, mit dem Sie kommunizieren. Es versteht die Struktur Ihres Projekts, kann Dateien lesen und schreiben, Befehle ausführen und mit Git interagieren, alles über eine einfache textbasierte Schnittstelle. Das Beste daran? OpenCode kann kostenlos heruntergeladen werden.
• Ollama: Dies ist Ihr Modell-Manager. Es handelt sich um ein Werkzeug, mit dem Sie große Sprachmodelle (LLMs) lokal mit nur einem einzigen Befehl herunterladen, ausführen und verwalten können. Man kann es als einen leichten Motor betrachten, der das KI-Gehirn antreibt. Ollama kann von der offiziellen Website heruntergeladen werden.
• Qwen3-Coder: Dies ist Ihr KI-Gehirn. Es handelt sich um ein leistungsstarkes Codierungsmodell von Alibaba Cloud, das speziell für die Codegenerierung, -vervollständigung und -reparatur entwickelt wurde. Das Qwen3-Coder-Modell verfügt über ein beeindruckendes Kontextfenster von 256.000 Tokens, was bedeutet, dass es sehr große Code-Dateien oder ganze kleine Projekte gleichzeitig verstehen und bearbeiten kann.

Durch die Kombination dieser drei Werkzeuge erhalten Sie einen voll funktionsfähigen, lokalen KI-Code-Assistenten, der vollständige Privatsphäre, null Latenz und unbegrenzte Nutzung bietet.

Warum einen lokalen KI-Coding-Assistenten wählen?

Sie fragen sich vielleicht, warum Sie sich die Mühe eines lokalen Setups machen sollten, wenn cloudbasierte KI-Assistenten wie GitHub Copilot verfügbar sind. Hier sind einige Gründe, warum ein lokales Setup oft die bessere Wahl ist:

• Vollständige Privatsphäre und Sicherheit: Ihr Code verlässt niemals Ihren Computer. Für Unternehmen, die mit sensiblen oder proprietären Codes arbeiten, ist dies ein entscheidender Vorteil. Sie senden Ihr geistiges Eigentum nicht an einen Drittanbieter-Server.
• Keine Kosten, unbegrenzte Nutzung: Sobald Sie die Werkzeuge eingerichtet haben, können Sie sie so oft verwenden, wie Sie möchten. Es gibt keine API-Gebühren, keine Nutzungslimits und keine Überraschungen auf der monatlichen Rechnung.
• Kein Internet erforderlich: Sie können im Flugzeug, in einer abgelegenen Hütte oder überall mit einem Laptop programmieren. Ihr KI-Assistent funktioniert vollständig offline.
• Vollständige Kontrolle: Sie wählen das Modell, das auf Ihrem Computer läuft. Sie können zwischen Modellen wechseln, diese feinabstimmen oder sogar eigene benutzerdefinierte Modelle erstellen. Sie sind nicht an das Ökosystem eines Anbieters gebunden.

Für viele Entwickler sind die Vorteile in Bezug auf Privatsphäre und Kosten allein schon Grund genug, auf einen lokalen KI-Coding-Assistenten wie den, den wir heute aufbauen, umzusteigen.

Die Voraussetzungen schaffen

Bevor wir mit der Installation beginnen, stellen wir sicher, dass Ihr Computer bereit ist. Die Anforderungen sind bescheiden, aber das Erfüllen dieser Anforderungen sorgt für ein reibungsloses Erlebnis:

• Ein moderner Computer: Die meisten Laptops und Desktops der letzten 5-6 Jahre sollten gut funktionieren. Sie benötigen mindestens 8 GB RAM, aber 16 GB werden dringend empfohlen, um ein reibungsloses Erlebnis mit dem 7B-Modell zu gewährleisten, das wir verwenden werden.
• Ausreichend Speicherplatz: KI-Modelle sind groß. Das qwen2.5-coder:7b-Modell, das wir verwenden, hat eine Größe von etwa 4-5 GB. Stellen Sie sicher, dass Sie mindestens 10-15 GB freien Speicherplatz haben, um bequem arbeiten zu können.
• Betriebssystem: Ollama und OpenCode funktionieren unter Windows, macOS (sowohl Intel als auch Apple Silicon) und Linux.
• Grundkenntnisse im Terminal: Sie müssen Befehle in Ihrem Terminal oder der Eingabeaufforderung ausführen. Keine Sorge, wenn Sie kein Experte sind – wir erklären jeden Befehl Schritt für Schritt.

Schritt-für-Schritt-Anleitung zur Einrichtung

Jetzt werden wir alles einrichten.

Ollama installieren

Ollama ist unser Modell-Manager. Die Installation ist unkompliziert.

• Gehen Sie zur offiziellen Ollama-Download-Seite.
• Laden Sie den Installer für Ihr Betriebssystem (Windows, macOS oder Linux) herunter.
• Führen Sie den Installer aus. Unter macOS und Linux können Sie oft einen Terminal-Befehl verwenden:

curl -fsSL https://ollama.com/install.sh | sh

• Für Windows laden Sie eine .exe-Datei herunter und führen diese aus.
• Nach der Installation überprüfen Sie, ob alles funktioniert, indem Sie ein neues Terminal öffnen und eingeben:

ollama -v

Dies sollte die Versionsnummer von Ollama ausgeben und bestätigen, dass es korrekt installiert wurde.

OpenCode installieren

OpenCode ist unsere Benutzeroberfläche für den KI-Coding-Assistenten. Es gibt mehrere Möglichkeiten, es zu installieren. Wir werden die einfachste Methode mit npm, einem Standardwerkzeug für JavaScript-Entwickler, abdecken.

• Stellen Sie zunächst sicher, dass Node.js auf Ihrem System installiert ist. Node.js enthält npm, das wir benötigen.
• Öffnen Sie Ihr Terminal und führen Sie den folgenden Befehl aus. Wenn Sie npm nicht verwenden möchten, können Sie einen Ein-Befehl-Installer für Linux/macOS verwenden:

curl -fsSL https://opencode.ai/install | bash

• Oder, wenn Sie macOS verwenden und Homebrew installiert haben, können Sie Folgendes ausführen:

brew install sst/tap/opencode

Diese Methoden installieren auch OpenCode für Sie.

Nach der Installation überprüfen Sie, ob es funktioniert, indem Sie Folgendes ausführen:

opencode --version

Das Qwen3-Coder-Modell herunterladen

Jetzt kommt der spannende Teil: Sie müssen das KI-Modell herunterladen, das Ihren Assistenten antreibt. Wir verwenden das qwen2.5-coder:7b-Modell. Es handelt sich um ein Modell mit 7 Milliarden Parametern, das ein hervorragendes Gleichgewicht zwischen Codierungsfähigkeit, Geschwindigkeit und Hardwareanforderungen bietet. Es ist ein perfekter Ausgangspunkt für die meisten Entwickler.

Zuerst müssen wir den Ollama-Dienst starten. Führen Sie in Ihrem Terminal den folgenden Befehl aus:

ollama serve

Dies startet den Ollama-Server im Hintergrund. Halten Sie dieses Terminalfenster geöffnet oder führen Sie es als Hintergrunddienst aus. In vielen Systemen startet Ollama automatisch nach der Installation.

Öffnen Sie ein neues Terminalfenster für den nächsten Befehl. Jetzt ziehen Sie das Modell:

ollama pull qwen2.5-coder:7b

Dieser Befehl lädt das Modell aus der Ollama-Bibliothek herunter. Die Downloadgröße beträgt etwa 4,2 GB, sodass es einige Minuten dauern kann, abhängig von Ihrer Internetgeschwindigkeit. Sie sehen eine Fortschrittsanzeige, die den Downloadstatus anzeigt.

Sobald der Download abgeschlossen ist, können Sie das Modell testen, indem Sie eine kurze interaktive Sitzung starten:

ollama run qwen2.5-coder:7b

Geben Sie eine einfache Programmieranfrage ein, wie zum Beispiel:

Schreibe eine Python-Funktion, die 'Hallo, Welt!' ausgibt.

Sie sollten sehen, dass das Modell eine Antwort generiert. Geben Sie /bye ein, um die Sitzung zu beenden. Dies bestätigt, dass Ihr Modell einwandfrei funktioniert. Hinweis: Wenn Sie einen leistungsstarken Computer mit viel RAM (32 GB oder mehr) und einer guten Grafikkarte (GPU) haben, können Sie die größeren 14B- oder 32B-Versionen des Qwen2.5-Coder-Modells ausprobieren, um noch bessere Codierungsunterstützung zu erhalten. Ersetzen Sie einfach 7b durch 14b oder 32b im ollama pull-Befehl.

OpenCode konfigurieren, um Ollama und Qwen3-Coder zu verwenden

Jetzt haben wir das Modell bereit, aber OpenCode weiß noch nichts davon. Wir müssen OpenCode mitteilen, dass es unser lokales Ollama-Modell verwenden soll. Hier ist die zuverlässigste Methode, dies zu konfigurieren:

Zuerst müssen wir das Kontextfenster für unser Modell erhöhen. Das Qwen3-Coder-Modell kann bis zu 256.000 Tokens Kontext verarbeiten, aber Ollama hat eine Standardeinstellung von nur 4096 Tokens. Dies wird die Möglichkeiten des Modells erheblich einschränken. Um dies zu beheben, erstellen wir ein neues Modell mit einem größeren Kontextfenster.

Führen Sie in Ihrem Terminal Folgendes aus:

ollama run qwen2.5-coder:7b

Dies startet eine interaktive Sitzung mit dem Modell. Innerhalb der Sitzung setzen Sie das Kontextfenster auf 16384 Tokens (16k ist ein guter Ausgangspunkt):

>> /set parameter num_ctx 16384

Sie sollten eine Bestätigungsnachricht sehen. Jetzt speichern Sie dieses modifizierte Modell unter einem neuen Namen:

>> /save qwen2.5-coder:7b-16k

Dies erstellt einen neuen Modelleintrag namens qwen2.5-coder:7b-16k in Ihrer Ollama-Bibliothek. Geben Sie /bye ein, um die interaktive Sitzung zu beenden.

Jetzt müssen wir OpenCode mitteilen, dass es dieses Modell verwenden soll. Wir erstellen eine Konfigurationsdatei. OpenCode sucht nach einer config.json-Datei in ~/.config/opencode/ (unter Linux/macOS) oder %APPDATA%\\opencode\\config.json (unter Windows). Verwenden Sie einen Texteditor (wie VS Code, Notepad++ oder sogar nano im Terminal), um die config.json-Datei zu erstellen oder zu bearbeiten und fügen Sie den folgenden Inhalt hinzu:

{\n \"$schema\": \"https://opencode.ai/config.json\",\n \"provider\": {\n \"ollama\": {\n \"npm\": \"@ai-sdk/openai-compatible\",\n \"options\": {\n \"baseURL\": \"http://localhost:11434/v1\"\n },\n \"models\": {\n \"qwen2.5-coder:7b-16k\": {\n \"tools\": true\n }\n }\n }\n }\n }\n}

Diese Konfiguration hat einige wichtige Funktionen. Sie teilt OpenCode mit, dass es die OpenAI-kompatible API-Schnittstelle von Ollama verwenden soll (die unter http://localhost:11434/v1 läuft). Sie registriert auch speziell unser qwen2.5-coder:7b-16k-Modell und, sehr wichtig, aktiviert die Nutzung von Werkzeugen. Werkzeuge ermöglichen es der KI, Dateien zu lesen und zu schreiben, Befehle auszuführen und mit Ihrem Projekt zu interagieren. Die Einstellung „tools“: true ist entscheidend, um OpenCode zu einem wirklich nützlichen Assistenten zu machen.

OpenCode mit Ihrer lokalen KI verwenden

Ihr lokaler KI-Assistent ist nun bereit für den Einsatz. Lassen Sie uns sehen, wie Sie ihn effektiv nutzen können. Navigieren Sie zu einem Projektverzeichnis, in dem Sie experimentieren möchten. Zum Beispiel können Sie einen neuen Ordner namens my-ai-project erstellen:

mkdir my-ai-project\ncd my-ai-project

Jetzt starten Sie OpenCode:

opencode

Sie werden von der interaktiven Terminaloberfläche von OpenCode begrüßt. Um ihm etwas zu sagen, geben Sie einfach Ihre Anfrage ein und drücken Sie die Eingabetaste. Zum Beispiel:

• Eine neue Datei generieren: Versuchen Sie, eine einfache HTML-Seite mit einer Überschrift und einem Absatz zu erstellen. OpenCode wird einen Moment nachdenken und Ihnen dann den Code zeigen, den es schreiben möchte. Es wird um Ihre Bestätigung bitten, bevor es die Datei tatsächlich auf Ihrer Festplatte erstellt. Dies ist eine Sicherheitsfunktion.
• Code lesen und analysieren: Sobald Sie einige Dateien in Ihrem Projekt haben, können Sie Fragen stellen wie „Erkläre, was die Hauptfunktion macht“ oder „Finde mögliche Fehler im Code“.
• Befehle ausführen: Sie können es bitten, Terminalbefehle auszuführen: „Installiere das express-Paket mit npm“.
• Git verwenden: Es kann Ihnen bei der Versionskontrolle helfen. „Zeige mir den Git-Status“ oder „Committe die aktuellen Änderungen mit der Nachricht ‚Erster Commit'“.

OpenCode arbeitet mit einem gewissen Maß an Autonomie. Es wird Aktionen vorschlagen, Ihnen die Änderungen zeigen, die es vornehmen möchte, und auf Ihre Genehmigung warten. Dies gibt Ihnen die volle Kontrolle über Ihren Code.

Die Integration von OpenCode und Ollama verstehen

Die Kombination von OpenCode und Ollama ist außergewöhnlich leistungsstark, da sie sich hervorragend ergänzen. OpenCode bietet die Intelligenz und das Werkzeugesystem, während Ollama die schwere Arbeit übernimmt, das Modell effizient auf Ihrer lokalen Hardware auszuführen.

Dieses Tutorial zur Verwendung von Ollama mit OpenCode wäre unvollständig, ohne diese Synergie hervorzuheben. Die Entwickler von OpenCode haben erhebliche Anstrengungen unternommen, um sicherzustellen, dass die Integration von OpenCode und Ollama nahtlos funktioniert. Die oben vorgenommene Konfiguration ist das Ergebnis dieser Arbeit. Sie ermöglicht es OpenCode, Ollama als einen weiteren KI-Anbieter zu behandeln und Ihnen den Zugriff auf alle Funktionen von OpenCode zu gewähren, während alles lokal bleibt.

Praktische Anwendungsfälle und Beispiele

Lassen Sie uns einige reale Szenarien erkunden, in denen Ihr neuer lokaler KI-Assistent Ihnen Stunden an Arbeit sparen kann.

• Verstehen eines fremden Codebases: Stellen Sie sich vor, Sie haben gerade ein neues Projekt übernommen oder müssen zu einer Open-Source-Bibliothek beitragen, die Sie noch nie gesehen haben. Das Verständnis eines großen, unbekannten Codebases kann überwältigend sein. Mit OpenCode können Sie einfach fragen. Navigieren Sie zum Stammverzeichnis des Projekts und führen Sie opencode aus. Geben Sie dann ein:

Erkläre den Zweck des Haupteinstiegspunktes dieser Anwendung.

OpenCode wird die relevanten Dateien durchsuchen und eine klare Erklärung dessen liefern, was der Code tut und wie er in die größere Anwendung passt.

• Boilerplate-Code generieren: Boilerplate-Code ist der sich wiederholende, standardisierte Code, den Sie für jede neue Funktion schreiben müssen – er ist ein perfekter Job für eine KI. Anstatt ihn selbst zu schreiben, können Sie OpenCode bitten, dies zu tun. Wenn Sie beispielsweise eine REST-API mit Node.js und Express erstellen, könnten Sie eingeben:

Erstelle einen REST-API-Endpunkt für die Benutzerregistrierung. Er sollte einen Benutzernamen und ein Passwort akzeptieren, das Passwort mit bcrypt hashen und den Benutzer in einer MongoDB-Datenbank speichern.

OpenCode wird dann alle erforderlichen Dateien generieren: den Routenhandler, die Controller-Logik, das Datenbankmodell und sogar die Installationsbefehle für die erforderlichen Pakete.

• Fehlerbehebung und Behebung von Fehlern: Wir haben alle Stunden damit verbracht, auf eine kryptische Fehlermeldung zu starren. OpenCode kann Ihnen helfen, schneller zu debuggen.

Bildquelle: ai-generated-gemini