20. Oktober 2026 · 8 Min. Lesezeit
Seit sechs Monaten läuft bei uns ein GB10 DGX Spark — 128 GB unified memory, eine Grafikkarte mit dem Arbeitsspeicher des gesamten Systems. Kein Cluster, keine Cloud. Einfach: lokal, auf dem Tisch, denkt, was du ihn denkst lässt.
Das Modell: Qwen3.6-35B-A3B-NVFP4 über vLLM. 75 tokens pro Sekunde. 256.000 Token Kontextfenster. OpenAI-kompatibles API unter :4000. Alles auf deutscher Hardware, keine Daten in den USA.
Der GB10 ist eine DGX Spark Class Box — im Grunde eine komplette KI-Workstation in einem Rack. 128 GB shared memory zwischen GPU und CPU, was bei 35B-Modellen den entscheidenden Unterschied macht:
Vergleich: Eine RTX 3090 hat 24 GB VRAM. Da passt ein 35B-Modell nur knapp rein (mit Quantisierung), und der Context wird schnell knapp. Der GB10 mit 128 GB shared memory löst beide Probleme auf einmal.
| Komponente | Detail |
|---|---|
| Hardware | GB10 DGX Spark, 128 GB unified memory |
| Modell | Qwen3.6-35B-A3B-NVFP4 |
| Engine | vLLM auf Port :8888 |
| Performance | ~75 tok/s, 256k Kontext |
| API | OpenAI-kompatibel |
| Router | litellm auf Port :4000 |
Weil vLLM OpenAI-kompatibel ist, kannst du jedes Tool nutzen, das die OpenAI-API spricht — ohne Anpassung:
Das bedeutet konkret: Kein Vendor-Lock-in. Wenn du morgen ein größeres Modell hast, änderst du die Konfiguration im litellm-Router — der Rest deiner Software läuft unverändert weiter.
| Metrik | GB10 lokal | AWS Bedrock (35B) |
|---|---|---|
| Hardware | Einmalig GB10 (~60k€) | 0 € |
| Pro Token | ≈ 0,000015 € (Strom) | ≈ 0,0003 € (In) + 0,0015 € (Out) |
| 1 Mio. Output | ≈ 15 € (Strom) | ≈ 1.500 € |
| DSGVO | ✓ Daten lokal | US-Cloud (AWS Frankfurt) |
Für einen Mittelstandsbetrieb, der 10.000–100.000 LLM-Aufrufe pro Monat macht, zahlt sich der GB10 in unter einem Jahr aus. Und die Daten fliegen nie ab.
Klar ja, wenn:
Noch warten, wenn:
Willst du wissen, ob lokale KI auch für dein Unternehmen Sinn macht? Schreib uns — wir machen ein konkretes Kosten-Nutzen-Szenario für dich.
Frank Arndt · CEO citilan GmbH · frank.arndt@citilan.de