Nvidia hat den DGX Spark vorgestellt, einen kompakten KI-Supercomputer, der darauf abzielt, große Sprachmodelle und KI-Anwendungen direkt auf dem Schreibtisch von Entwicklern und Forschern auszuführen. Das System, das optisch an größere DGX-Modelle erinnert, positioniert sich als Lösung für lokale KI-Workloads, die keine Cloud-Anbindung erfordern. Die erste Einheit wurde symbolisch an Elon Musk überreicht.
Key Takeaways
- Der DGX Spark ist Nvidias kleinster KI-Supercomputer und kostet rund 4.000 US-Dollar.
- Er nutzt den neuen GB10-Chip mit Grace-Blackwell-Architektur und 128 GB gemeinsamen LPDDR5X-Speicher.
- Das System ermöglicht die Ausführung großer KI-Modelle lokal, ist aber nicht auf maximale Geschwindigkeit ausgelegt.
- Konkurrenzprodukte umfassen Apples Mac Studio und AMDs kommende Strix-Halo-Systeme.
Kompakter Rechner mit leistungsstarkem Speicher
Der DGX Spark ist mit Nvidias neuem GB10-Chip ausgestattet, der auf der Grace-Blackwell-Architektur basiert. Dieser Chip kombiniert 20 Arm-Kerne mit einer Blackwell-GPU und wird im 3-nm-Prozess gefertigt. Eine Besonderheit ist der 128 GB große LPDDR5X-Speicher, der sowohl von der CPU als auch von der GPU gemeinsam genutzt wird. Dies ermöglicht laut Nvidia die lokale Ausführung von Modellen mit bis zu 200 Milliarden Parametern bei 4-Bit-Inferenz oder etwa 70 Milliarden Parametern beim Feintuning.
Das System bietet 6.144 CUDA-Cores, 192 Tensor-Cores und einen theoretischen FP4-Durchsatz von 1 PetaFLOP. Zur weiteren Ausstattung gehören eine 4-TB-NVMe-SSD, diverse USB-C-Ports, HDMI, 10-Gigabit-Ethernet und QSFP56-Anschlüsse für 200-Gigabit-Netzwerke. Mehrere DGX Spark-Geräte können zu Mini-Clustern verbunden werden.
Leistung und Anwendungsbereiche
Tests zeigen, dass der DGX Spark zwar größere Modelle ausführen kann als aktuelle Consumer-GPUs, aber nicht die höchste Geschwindigkeit erreicht. Beim Feintuning eines Llama-3.2-Modells war er beispielsweise langsamer als eine RTX 6000 Ada, verbrauchte aber deutlich weniger Strom. Der Stromverbrauch liegt im Leerlauf bei 40-45 Watt und unter Last bei etwa 200 Watt, während eine RTX 6000 Ada allein 300 Watt benötigt.
Das vorinstallierte DGX OS basiert auf Ubuntu 24.04 und enthält alle notwendigen KI-Tools. Das System ist für Entwickler, Forscher und Unternehmen gedacht, die große KI-Modelle lokal betreiben möchten, beispielsweise für Forschung, Datenanalyse oder interne Unternehmensanwendungen. Für Gaming und Multimedia ist es ungeeignet.
Konkurrenz und Ausblick
Zu den Hauptkonkurrenten zählen Apples Mac Studio mit M4-Chip und AMDs kommende Strix-Halo-Systeme. Während diese ähnliche Speicherkapazitäten bieten, unterscheidet sich das Software-Ökosystem. Der DGX Spark setzt auf Nvidias CUDA-Plattform, während Apple Metal und AMD ROCm nutzen.
Nvidias Jetson Thor Developer Kit, ebenfalls Blackwell-basiert, bietet zwar mehr Leistung bei ähnlichem Preis, ist aber eher für Robotik und Embedded-Anwendungen gedacht. Der DGX Spark wird als "Game-Changer für lokale KI-Entwicklung" bezeichnet, da er die Ausführung großer Modelle ohne Cloud ermöglicht. Ob sich diese Nische durchsetzt, wird auch davon abhängen, ob AMD im Softwarebereich aufholen kann. Der verbaute Chip könnte zudem bald in Windows-PCs integriert werden.
KI Snack
