In dieser Anleitung erfahren Sie, wie Sie bitnet.cpp installieren, das BitNet b1.58 Modell herunterladen und einen vollständig lokalen KI-Chat- und Inferenzserver auf Ihrem Rechner betreiben können.
Von Abid Ali Awan, Redakteur bei KDnuggets, am 10. März 2026.
Einführung
Das BitNet b1.58 Modell, entwickelt von Forschern bei Microsoft, ist ein natives Low-Bit-Sprachmodell. Es wurde von Grund auf mit ternären Gewichten trainiert, die die Werte \(-1\), \(0\) und \(+1\) annehmen. Im Gegensatz zu großen vortrainierten Modellen wurde BitNet von Anfang an so konzipiert, dass es effizient bei sehr niedriger Präzision arbeitet. Dies reduziert den Speicherbedarf und die Rechenanforderungen, während die Leistung dennoch stark bleibt.
Ein wichtiger Punkt ist, dass Sie BitNet nicht über die Standard-Transformers-Bibliothek laden sollten, da Sie sonst nicht automatisch von den Geschwindigkeits- und Effizienzvorteilen profitieren. Um die Vorteile des Designs vollständig auszuschöpfen, müssen Sie die spezielle C++-Implementierung bitnet.cpp verwenden, die speziell für diese Modelle optimiert ist.
In diesem Tutorial lernen Sie, wie Sie BitNet lokal ausführen. Wir beginnen mit der Installation der erforderlichen Linux-Pakete. Anschließend klonen und bauen wir bitnet.cpp aus dem Quellcode. Danach laden wir das 2B-Parameter-BitNet-Modell herunter, führen BitNet als interaktiven Chat aus, starten den Inferenzserver und verbinden ihn mit dem OpenAI Python SDK.
Schritt 1: Installation der erforderlichen Werkzeuge unter Linux
Bevor wir BitNet aus dem Quellcode erstellen, müssen wir die grundlegenden Entwicklungstools installieren, die zum Kompilieren von C++-Projekten erforderlich sind.
- Clang ist der C++-Compiler, den wir verwenden werden.
- CMake ist das Build-System, das das Projekt konfiguriert und kompiliert.
- Git ermöglicht es uns, das BitNet-Repository von GitHub zu klonen.
Installieren Sie zunächst LLVM (das Clang enthält):
bash -c "$(wget -O - https://apt.llvm.org/llvm.sh)"Aktualisieren Sie dann Ihre Paketliste und installieren Sie die erforderlichen Werkzeuge:
sudo apt update
sudo apt install clang cmake gitSobald dieser Schritt abgeschlossen ist, ist Ihr System bereit, bitnet.cpp aus dem Quellcode zu erstellen.
Schritt 2: Klonen und Erstellen von BitNet aus dem Quellcode
Jetzt, da die erforderlichen Werkzeuge installiert sind, werden wir das BitNet-Repository klonen und es lokal erstellen.
Klone zunächst das offizielle Repository und wechsle in den Projektordner:
git clone --recursive https://github.com/microsoft/BitNet.git
cd BitNetErstellen Sie als Nächstes eine Python-virtuelle Umgebung. Dies hält die Abhängigkeiten von Ihrem System-Python isoliert:
python -m venv venv
source venv/bin/activateInstallieren Sie die erforderlichen Python-Abhängigkeiten:
pip install -r requirements.txtNun kompilieren wir das Projekt und bereiten das 2B-Parameter-Modell vor. Der folgende Befehl erstellt das C++-Backend mit CMake und richtet das BitNet-b1.58-2B-4T-Modell ein:
python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_sFalls Sie auf ein Kompilierungsproblem in Bezug auf int8_t * y_col stoßen, wenden Sie diesen schnellen Fix an. Er ersetzt den Zeigertyp durch einen konstanten Zeiger, wo erforderlich:
sed -i 's/^\([[:space:]]*\)int8_t \* y_col/\1const int8_t * y_col/' src/ggml-bitnet-mad.cppNach erfolgreichem Abschluss dieses Schrittes wird BitNet erstellt und ist bereit, lokal ausgeführt zu werden.
Schritt 3: Herunterladen eines leichten BitNet-Modells
Jetzt werden wir das leichte 2B-Parameter-BitNet-Modell im GGUF-Format herunterladen. Dieses Format ist für lokale Inferenz mit bitnet.cpp optimiert.
Das BitNet-Repository bietet eine unterstützte Modellverknüpfung über die Hugging Face CLI.
Führen Sie den folgenden Befehl aus:
hf download microsoft/BitNet-b1.58-2B-4T-gguf --local-dir models/BitNet-b1.58-2B-4TDies lädt die erforderlichen Modell-Dateien in das Verzeichnis models/BitNet-b1.58-2B-4T herunter.
Während des Downloads sehen Sie möglicherweise Ausgaben wie diese:
data_summary_card.md: 3.86kB [00:00, 8.06MB/s]
Download complete. Moving file to models/BitNet-b1.58-2B-4T/data_summary_card.md
ggml-model-i2_s.gguf: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████
Bildquelle: ai-generated-gemini
