10 Mitarbeiter mit ChatGPT Business kosten 3.000 Dollar pro Jahr. Ein Raspberry Pi mit lokalem LLM? Einmalig 300 Euro. So oder ähnlich klingen die Versprechen, die aktuell durch LinkedIn und Tech-Blogs geistern. Klingt verlockend – aber stimmt die Rechnung?
Wir haben es ausprobiert. Nicht mit einem Raspberry Pi, sondern mit einem ernsthaften Setup. Hier ist unsere ehrliche Bilanz nach sechs Monaten mit lokaler KI im Produktivbetrieb.
Der Raspberry Pi 5 mit dem neuen AI HAT+ ist ein faszinierendes Stück Hardware. Für Bastler, Maker und Bildungszwecke ist er perfekt. Aber für den produktiven Einsatz im Unternehmen?
Realitätscheck: Ein Raspberry Pi 5 mit 8GB RAM kann Modelle mit maximal 3-7 Milliarden Parametern ausführen – und das langsam. ChatGPT-4 hat geschätzte 1,7 Billionen Parameter. Das ist ein Faktor von 250.000.
Das bedeutet nicht, dass kleine Modelle nutzlos sind. Aber für komplexe Aufgaben wie Code-Review, juristische Textanalyse oder mehrsprachige Übersetzungen fehlt schlicht die Tiefe.
| Aufgabe | Raspberry Pi (3B Modell) | Server (70B Modell) |
|---|---|---|
| Einfache Textkorrektur | Möglich | Sehr gut |
| E-Mail-Entwürfe | Eingeschränkt | Sehr gut |
| Code-Generierung | Unzureichend | Gut |
| Komplexe Analysen | Nicht möglich | Möglich |
| Antwortzeit | 10-30 Sekunden | 1-3 Sekunden |
Vergleichen wir drei Szenarien für ein Unternehmen mit 10 KI-Nutzern:
Statt eines Raspberry Pi nutzen wir einen vorhandenen Server, der ohnehin für andere Aufgaben läuft. Die Zusatzkosten für KI: 0 Euro.
| CPU | AMD Ryzen 9 5900X (12 Kerne, 24 Threads) |
| RAM | 128 GB DDR4 |
| Modelle | Llama 3.2 (3B), Mistral 7B, Llama 3.1 70B |
| Software | Ollama (Open Source) |
| Stromverbrauch | ~150W im Betrieb (Server läuft sowieso) |
Praxis-Tipp: Viele KMUs haben bereits einen NAS oder Server im Einsatz. Prüfen Sie, ob dort ausreichend RAM vorhanden ist – 32 GB sind das Minimum für brauchbare Ergebnisse, 64 GB sind empfehlenswert.
Die Einrichtung von Ollama ist überraschend einfach:
# Installation (Linux/macOS)
curl -fsSL https://ollama.com/install.sh | sh
Erstes Modell herunterladen
ollama pull llama3.2:3b
Oder für bessere Ergebnisse
ollama pull mistral:7b
Test
ollama run mistral:7b “Erkläre Docker in einem Satz.”
Für Docker-Nutzer (z.B. auf Unraid oder Synology):
docker run -d --name ollama \
-v ollama:/root/.ollama \
-p 11434:11434 \
--restart unless-stopped \
ollama/ollama
Nicht jede Aufgabe braucht das größte Modell. Hier unsere Empfehlungen aus der Praxis:
| Modell | Größe | RAM-Bedarf | Beste Einsatzgebiete |
|---|---|---|---|
| Llama 3.2 3B | 2 GB | 8 GB | Schnelle Antworten, einfache Aufgaben, Chatbots |
| Mistral 7B | 4,4 GB | 16 GB | Allrounder, guter Kompromiss aus Qualität und Geschwindigkeit |
| Llama 3.1 70B | 40 GB | 80+ GB | Komplexe Analysen, Code-Review, professionelle Texte |
| Mixtral 8x7B | 26 GB | 48+ GB | Mehrsprachigkeit, technische Dokumentation |
Ein lokales LLM wird erst wertvoll, wenn es in bestehende Workflows integriert ist. Ollama bietet eine REST-API, die sich mit praktisch jeder Software verbinden lässt:
# Einfacher API-Aufruf
curl http://localhost:11434/api/generate -d '{
"model": "mistral:7b",
"prompt": "Fasse diese E-Mail in 3 Stichpunkten zusammen: ...",
"stream": false
}'
Die ehrliche Antwort: Eine Hybrid-Strategie ist oft am sinnvollsten.
| Nutzen Sie lokale KI für: | Nutzen Sie Cloud-KI für: |
|---|---|
| Interne Dokumente mit sensiblen Daten | Komplexe Analysen, die höchste Qualität erfordern |
| Wiederkehrende Standardaufgaben | Seltene, aber kritische Aufgaben |
| Hohe Abfragevolumen | Multimodale Aufgaben (Bild + Text) |
| Compliance-kritische Bereiche | Wenn Zeit wichtiger ist als Kosten |
Ein gebrauchter Dell OptiPlex oder HP EliteDesk mit 32 GB RAM reicht für Mistral 7B. Auf eBay Kleinanzeigen oft für 150-250€ zu finden. Dazu ein RAM-Upgrade falls nötig.
64-128 GB RAM, moderner Ryzen oder Intel Core. Kann auch für andere Aufgaben genutzt werden (NAS, Docker, VMs). Läuft Llama 70B problemlos.
Mit einer NVIDIA RTX 4090 (24 GB VRAM) werden auch große Modelle blitzschnell. Nur sinnvoll bei sehr hohem Abfragevolumen oder Echtzeit-Anforderungen.
Unser Rat: Starten Sie mit vorhandener Hardware. Viele Unternehmen sind überrascht, was ihr bestehender Server leisten kann. Aufrüsten können Sie später immer noch.
Für ein KMU mit 10 KI-Nutzern:
Der Break-even bei Neuanschaffung liegt bei etwa 6 Monaten. Dazu kommt: Ihre Daten bleiben unter Ihrer Kontrolle – ein Argument, das in vielen Branchen unbezahlbar ist.
Der Unterschied zwischen "wir nutzen KI" und "wir haben eine KI-Strategie" liegt darin, wie bewusst Sie über Kosten, Daten und Infrastruktur nachdenken. Ein Raspberry Pi ist kein Statement – ein durchdachtes, lokales Setup schon.
Nächste Schritte: Interessiert an einer lokalen KI-Lösung für Ihr Unternehmen? Wir beraten Sie gerne – von der Hardware-Auswahl bis zur Integration in Ihre Workflows. Kontaktieren Sie uns.