← Zurück zum Blog

GB10 auf dem Tisch: Qwen3.6-35B lokal mit vLLM — 75 tok/s, 256k Context

20. Oktober 2026 · 8 Min. Lesezeit

Seit sechs Monaten läuft bei uns ein GB10 DGX Spark — 128 GB unified memory, eine Grafikkarte mit dem Arbeitsspeicher des gesamten Systems. Kein Cluster, keine Cloud. Einfach: lokal, auf dem Tisch, denkt, was du ihn denkst lässt.

Das Modell: Qwen3.6-35B-A3B-NVFP4 über vLLM. 75 tokens pro Sekunde. 256.000 Token Kontextfenster. OpenAI-kompatibles API unter :4000. Alles auf deutscher Hardware, keine Daten in den USA.

Die Hardware: Warum ein GB10?

Der GB10 ist eine DGX Spark Class Box — im Grunde eine komplette KI-Workstation in einem Rack. 128 GB shared memory zwischen GPU und CPU, was bei 35B-Modellen den entscheidenden Unterschied macht:

Vergleich: Eine RTX 3090 hat 24 GB VRAM. Da passt ein 35B-Modell nur knapp rein (mit Quantisierung), und der Context wird schnell knapp. Der GB10 mit 128 GB shared memory löst beide Probleme auf einmal.

Unsere Architektur im Überblick

KomponenteDetail
HardwareGB10 DGX Spark, 128 GB unified memory
ModellQwen3.6-35B-A3B-NVFP4
EnginevLLM auf Port :8888
Performance~75 tok/s, 256k Kontext
APIOpenAI-kompatibel
Routerlitellm auf Port :4000

Das API in der Praxis

Weil vLLM OpenAI-kompatibel ist, kannst du jedes Tool nutzen, das die OpenAI-API spricht — ohne Anpassung:

curl http://gb10:4000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"qwen3.6-35b","messages":[{"role":"user","content":"Warum ist der Himmel blau?"}]}'

Das bedeutet konkret: Kein Vendor-Lock-in. Wenn du morgen ein größeres Modell hast, änderst du die Konfiguration im litellm-Router — der Rest deiner Software läuft unverändert weiter.

Kosten: Lokal vs. Cloud

MetrikGB10 lokalAWS Bedrock (35B)
HardwareEinmalig GB10 (~60k€)0 €
Pro Token≈ 0,000015 € (Strom)≈ 0,0003 € (In) + 0,0015 € (Out)
1 Mio. Output≈ 15 € (Strom)≈ 1.500 €
DSGVO✓ Daten lokalUS-Cloud (AWS Frankfurt)

Für einen Mittelstandsbetrieb, der 10.000–100.000 LLM-Aufrufe pro Monat macht, zahlt sich der GB10 in unter einem Jahr aus. Und die Daten fliegen nie ab.

Für wen macht lokale KI Sinn?

Klar ja, wenn:

Noch warten, wenn:

Kontakt

Willst du wissen, ob lokale KI auch für dein Unternehmen Sinn macht? Schreib uns — wir machen ein konkretes Kosten-Nutzen-Szenario für dich.

Frank Arndt · CEO citilan GmbH · frank.arndt@citilan.de