Ressourcen

Keine Linkdump-Wüste. Nur Ausgangspunkte, die auf einer GB10-Box mit DGX OS sinnvoll sind. Befehle vor dem Ausführen gegen die eigene Version prüfen.

Hersteller und Hardware

• NVIDIA DGX Spark
• Dell zu Pro Max with GB10
• NVIDIA Developer Forums

Engines, die auf der Box vorkommen

• Ollama
• LM Studio (als Client und als Server im LAN)
• vLLM
• SGLang
• llama.cpp

Welche Engine für welches Modell die bessere Wahl ist, hängt von Quantisierung, Batch und Kontext ab. Das ist Stoff für eigene Beiträge, nicht für eine pauschale Rangliste.

Erste Checks auf der Box

nvidia-smi
uname -m
free -h
ip -br a

uname -m muss aarch64 zeigen. x86-Container ohne Arm-Build sind hier die klassische Falle.

Was hier bewusst fehlt

Keine fertigen one-liners für Fine-Tunes. Keine kopierten Benchmark-Tabellen ohne Datum. Keine Empfehlung, die Box ins Internet zu hängen, ohne vorher SSH-Keys, Updates und Netzsegment zu klären.