10 Mitarbeiter mit ChatGPT Business kosten 3.000 Dollar pro Jahr. Ein Raspberry Pi mit lokalem LLM? Einmalig 300 Euro. So oder ähnlich klingen die Versprechen, die aktuell durch LinkedIn und Tech-Blogs geistern. Klingt verlockend – aber stimmt die Rechnung?
Wir haben es ausprobiert. Nicht mit einem Raspberry Pi, sondern mit einem ernsthaften Setup. Hier ist unsere ehrliche Bilanz nach sechs Monaten mit lokaler KI im Produktivbetrieb.
Die Raspberry-Pi-Illusion
Der Raspberry Pi 5 mit dem neuen AI HAT+ ist ein faszinierendes Stück Hardware. Für Bastler, Maker und Bildungszwecke ist er perfekt. Aber für den produktiven Einsatz im Unternehmen?
Realitätscheck: Ein Raspberry Pi 5 mit 8GB RAM kann Modelle mit maximal 3-7 Milliarden Parametern ausführen – und das langsam. ChatGPT-4 hat geschätzte 1,7 Billionen Parameter. Das ist ein Faktor von 250.000.
Das bedeutet nicht, dass kleine Modelle nutzlos sind. Aber für komplexe Aufgaben wie Code-Review, juristische Textanalyse oder mehrsprachige Übersetzungen fehlt schlicht die Tiefe.
Was der Raspberry Pi kann – und was nicht
| Aufgabe | Raspberry Pi (3B Modell) | Server (70B Modell) |
|---|---|---|
| Einfache Textkorrektur | Möglich | Sehr gut |
| E-Mail-Entwürfe | Eingeschränkt | Sehr gut |
| Code-Generierung | Unzureichend | Gut |
| Komplexe Analysen | Nicht möglich | Möglich |
| Antwortzeit | 10-30 Sekunden | 1-3 Sekunden |
Die echte Kostenrechnung
Vergleichen wir drei Szenarien für ein Unternehmen mit 10 KI-Nutzern:
☁️ Cloud-KI (ChatGPT Business)
- ✓ Sofort einsatzbereit
- ✓ Beste Modellqualität
- ✗ Daten verlassen das Unternehmen
- ✗ Laufende Kosten steigen mit Nutzern
- ✗ Abhängigkeit vom Anbieter
🥧 Raspberry Pi Setup
- ✓ Daten bleiben lokal
- ✓ Keine laufenden Kosten
- ✗ Sehr begrenzte Leistung
- ✗ Nur für einfache Aufgaben
- ✗ Lange Antwortzeiten
🖥️ Server-basierte Lösung
- ✓ Volle Datenkontrolle
- ✓ Professionelle Leistung
- ✓ Keine laufenden Kosten
- ✓ Unbegrenzte Nutzer
- ○ Technisches Know-how nötig
Unser Setup: Praxisbericht
Statt eines Raspberry Pi nutzen wir einen vorhandenen Server, der ohnehin für andere Aufgaben läuft. Die Zusatzkosten für KI: 0 Euro.
Hardware-Spezifikationen
| CPU | AMD Ryzen 9 5900X (12 Kerne, 24 Threads) |
| RAM | 128 GB DDR4 |
| Modelle | Llama 3.2 (3B), Mistral 7B, Llama 3.1 70B |
| Software | Ollama (Open Source) |
| Stromverbrauch | ~150W im Betrieb (Server läuft sowieso) |
Praxis-Tipp: Viele KMUs haben bereits einen NAS oder Server im Einsatz. Prüfen Sie, ob dort ausreichend RAM vorhanden ist – 32 GB sind das Minimum für brauchbare Ergebnisse, 64 GB sind empfehlenswert.
Installation in 5 Minuten
Die Einrichtung von Ollama ist überraschend einfach:
# Installation (Linux/macOS)
curl -fsSL https://ollama.com/install.sh | sh
# Erstes Modell herunterladen
ollama pull llama3.2:3b
# Oder für bessere Ergebnisse
ollama pull mistral:7b
# Test
ollama run mistral:7b "Erkläre Docker in einem Satz."
Für Docker-Nutzer (z.B. auf Unraid oder Synology):
docker run -d --name ollama \
-v ollama:/root/.ollama \
-p 11434:11434 \
--restart unless-stopped \
ollama/ollama
Welches Modell für welche Aufgabe?
Nicht jede Aufgabe braucht das größte Modell. Hier unsere Empfehlungen aus der Praxis:
| Modell | Größe | RAM-Bedarf | Beste Einsatzgebiete |
|---|---|---|---|
| Llama 3.2 3B | 2 GB | 8 GB | Schnelle Antworten, einfache Aufgaben, Chatbots |
| Mistral 7B | 4,4 GB | 16 GB | Allrounder, guter Kompromiss aus Qualität und Geschwindigkeit |
| Llama 3.1 70B | 40 GB | 80+ GB | Komplexe Analysen, Code-Review, professionelle Texte |
| Mixtral 8x7B | 26 GB | 48+ GB | Mehrsprachigkeit, technische Dokumentation |
Integration in Geschäftsprozesse
Ein lokales LLM wird erst wertvoll, wenn es in bestehende Workflows integriert ist. Ollama bietet eine REST-API, die sich mit praktisch jeder Software verbinden lässt:
Beispiele aus unserem Alltag
- n8n-Workflows: Automatische Zusammenfassung eingehender Support-Tickets
- E-Mail-Triage: Kategorisierung und Priorisierung von Anfragen
- Dokumentation: Erste Entwürfe für technische Dokumentationen
- Code-Assistenz: Erklärung von Legacy-Code, Generierung von Unit-Tests
# Einfacher API-Aufruf
curl http://localhost:11434/api/generate -d '{
"model": "mistral:7b",
"prompt": "Fasse diese E-Mail in 3 Stichpunkten zusammen: ...",
"stream": false
}'
Wann Cloud, wann lokal?
Die ehrliche Antwort: Eine Hybrid-Strategie ist oft am sinnvollsten.
| Nutzen Sie lokale KI für: | Nutzen Sie Cloud-KI für: |
|---|---|
| Interne Dokumente mit sensiblen Daten | Komplexe Analysen, die höchste Qualität erfordern |
| Wiederkehrende Standardaufgaben | Seltene, aber kritische Aufgaben |
| Hohe Abfragevolumen | Multimodale Aufgaben (Bild + Text) |
| Compliance-kritische Bereiche | Wenn Zeit wichtiger ist als Kosten |
Hardware-Empfehlungen nach Budget
Einstieg (~200-400€): Gebrauchter Mini-PC
Ein gebrauchter Dell OptiPlex oder HP EliteDesk mit 32 GB RAM reicht für Mistral 7B. Auf eBay Kleinanzeigen oft für 150-250€ zu finden. Dazu ein RAM-Upgrade falls nötig.
Mittelklasse (~800-1.500€): Dedizierter Server
64-128 GB RAM, moderner Ryzen oder Intel Core. Kann auch für andere Aufgaben genutzt werden (NAS, Docker, VMs). Läuft Llama 70B problemlos.
High-End (~2.000-5.000€): GPU-Beschleunigung
Mit einer NVIDIA RTX 4090 (24 GB VRAM) werden auch große Modelle blitzschnell. Nur sinnvoll bei sehr hohem Abfragevolumen oder Echtzeit-Anforderungen.
Unser Rat: Starten Sie mit vorhandener Hardware. Viele Unternehmen sind überrascht, was ihr bestehender Server leisten kann. Aufrüsten können Sie später immer noch.
Fazit: ROI-Berechnung
Für ein KMU mit 10 KI-Nutzern:
- Cloud-KI: 3.000€/Jahr → nach 3 Jahren: 9.000€
- Lokale KI (neue Hardware): 1.500€ einmalig → nach 3 Jahren: 1.500€
- Lokale KI (vorhandene Hardware): 0€ → nach 3 Jahren: 0€
Der Break-even bei Neuanschaffung liegt bei etwa 6 Monaten. Dazu kommt: Ihre Daten bleiben unter Ihrer Kontrolle – ein Argument, das in vielen Branchen unbezahlbar ist.
Der Unterschied zwischen "wir nutzen KI" und "wir haben eine KI-Strategie" liegt darin, wie bewusst Sie über Kosten, Daten und Infrastruktur nachdenken. Ein Raspberry Pi ist kein Statement – ein durchdachtes, lokales Setup schon.
Nächste Schritte: Interessiert an einer lokalen KI-Lösung für Ihr Unternehmen? Wir beraten Sie gerne – von der Hardware-Auswahl bis zur Integration in Ihre Workflows. Kontaktieren Sie uns.