Lokale LLMs: Wann sie sinnvoll sind

Pro lokal
• Sensible Daten bleiben im Haus
• Planbare Kosten
• Offline / Luft-gapped Szenarien
• Lernen, wie Inference wirklich tickt

Contra
• Hardware-Invest / Strom
• Qualität oft hinter Top-Cloud-Modellen
• Ops: Updates, Quants, Treiber

Sinnvoller Start
1. Use-Case definieren (Chat? Code? Summarize?)
2. Modellgröße an VRAM anpassen
3. Quantisierung verstehen (Qualität vs. Speed)
4. Gleicher Prompt-Workflow wie in der Cloud testen

Hardware-Details → Board Hardware. API-Anbindung → Web & APIs.