Anthropic API Key vs. Eigenhosting: Was kostet KI im Mittelstand wirklich

Ehrlicher Vergleich zwischen API-Nutzung und selbst gehosteten Open-Source-LLMs für mittelständische Unternehmen — Kosten, Aufwand, Datenschutz und wann sich was rechnet.

mitAIbeiter Team

Die Frage taucht in fast jedem ersten Beratungsgespräch auf: Sollen wir einen kommerziellen LLM-Anbieter wie Anthropic nutzen — oder lieber ein Open-Source-Modell selbst hosten? Hinter der Frage stehen oft drei Sorgen: Kosten, Datenschutz und Abhängigkeit.

Dieser Artikel vergleicht beide Optionen ehrlich, mit Fokus auf den deutschen Mittelstand. Wir betrachten Total Cost of Ownership, Personalbedarf, Datenschutz-Aspekte und reale Performance-Unterschiede — und benennen, wann sich welche Variante tatsächlich rechnet.

Die zwei Optionen im Überblick

Option A: Hosted API

Sie nutzen einen kommerziellen Anbieter wie Anthropic, OpenAI oder Google. Sie zahlen pro verarbeitetem Token, das Modell läuft auf der Infrastruktur des Anbieters, und Sie verbinden sich via API mit Ihren Anwendungen. Bei der mitAIbeiter-Plattform setzen wir auf dieses Modell — mit eigenem API Key des Kunden, was Kostenkontrolle und Datentrennung ermöglicht.

Option B: Eigenes Hosting

Sie betreiben ein Open-Source-Modell (etwa Llama, Mistral, Qwen, DeepSeek) auf eigener Infrastruktur — entweder im eigenen Rechenzentrum oder in einer eigenen Cloud-Umgebung. Sie zahlen für GPU-Kapazität, Strom, Wartung und Personal — keine variablen Kosten pro Anfrage.

Beide Optionen können DSGVO-konform betrieben werden. Der Unterschied liegt vor allem in Kostenmodell, Aufwand und Kontrollebenen.

Kostenvergleich — die ehrliche Rechnung

Hosted API: variabel und transparent

Bei einer Hosted API zahlen Sie pro verarbeitetem Token. Die genauen Preise variieren zwischen Anbietern und Modellen, liegen aber in den meisten Fällen im Bereich weniger Cent bis einiger Cent pro 1000 Tokens — Tendenz fallend.

Für einen typischen Mittelstands-Use-Case (etwa Service-Automatisierung mit moderater Volumenintensität) summiert sich das auf einige hundert bis wenige tausend Euro pro Monat. Was viele dabei unterschätzen: ein guter Teil der Kosten ist durch Prompt-Caching und Batching erheblich reduzierbar — moderne APIs bieten beides nativ an.

Vorteile:

  • Keine Vorab-Investition
  • Keine Personalkosten für Modell-Betrieb
  • Sofortige Verfügbarkeit der jeweils aktuellen Modell-Generation
  • Skalierbar von 0 auf x — ohne Hardware-Engpass

Nachteile:

  • Variable Kosten — bei Volumen-Spikes können Kosten überraschen
  • Abhängigkeit vom Anbieter
  • Begrenzte Kontrolle über Modell-Updates und Verhalten

Eigenes Hosting: hohe Fixkosten, niedrige variable Kosten

Bei Eigenhosting fallen primär Fixkosten an: GPU-Hardware oder Cloud-GPU-Reservierung, Storage, Netzwerk, Strom, Kühlung. Die GPU ist der Kostentreiber — produktionsreife Inferenz für mittelgroße Modelle braucht je nach Setup ein bis mehrere High-End-GPUs.

Realistische Größenordnung: Eine produktiv betriebene GPU-Infrastruktur kostet im niedrigen vierstelligen Eurobereich pro Monat — selbst in der Cloud. Hinzu kommen Personalkosten für DevOps, MLOps und Modell-Tuning, die oft den größten Posten ausmachen.

Vorteile:

  • Vorhersagbare Fixkosten, unabhängig vom Volumen
  • Volle Kontrolle über Modell, Daten und Verhalten
  • Keine Abhängigkeit vom Anbieter
  • Datenflüsse vollständig im eigenen Netz

Nachteile:

  • Hohe Initialinvestition (Hardware oder Cloud-Reservierung)
  • Erheblicher Personalbedarf für Betrieb und Pflege
  • Open-Source-Modelle hinken den Spitzen-Modellen kommerzieller Anbieter um Monate bis Jahre hinterher
  • Update-Zyklen muss man selbst stemmen

Wann sich Eigenhosting rechnet

Es gibt drei Konstellationen, in denen Eigenhosting tatsächlich sinnvoll wird:

1. Sehr hohes konstantes Volumen. Wenn Sie 24/7 hohe Anfragezahlen verarbeiten und die GPU damit dauerhaft ausgelastet ist, kippt die Wirtschaftlichkeit zugunsten von Eigenhosting. Das ist im Mittelstand selten — eher bei Plattform-Anbietern, hochtransaktionalen Diensten oder dauerhaften Batch-Jobs.

2. Sehr sensible Daten ohne Cloud-Option. Wenn Sie Daten verarbeiten, die nicht in eine externe Cloud dürfen — etwa bestimmte Krankenhausdaten, klassifizierte Forschungsdaten oder Behörden-Daten mit Geheimhaltungsstufen — kann Eigenhosting im eigenen Rechenzentrum die einzige Option sein.

3. Spezialisierte Modelle mit Custom-Tuning. Wenn Sie ein domänenspezifisches Modell trainieren oder fein abstimmen wollen, das in dieser Form kein kommerzieller Anbieter bietet — etwa ein medizinisches oder juristisches Spezialmodell — kann Eigenhosting der einzige Weg sein.

In allen anderen Fällen ist die Hosted-API meist die wirtschaftlichere und einfacher zu betreibende Option — gerade im Mittelstand.

Datenschutz — der differenzierte Blick

"Eigenhosting ist datenschutzfreundlicher" ist die häufigste Annahme — und nicht ganz falsch, aber differenzierter zu betrachten.

Hosted API kann DSGVO-konform sein, wenn:

  • Verarbeitung in der EU stattfindet (etwa Anthropic via Google Vertex AI in Frankfurt)
  • Auftragsverarbeitungsvertrag und Subunternehmerliste sauber dokumentiert sind
  • Anbieter die Trainings-Nutzung der Daten ausschließt (Standard bei Anthropic für API-Nutzung)
  • Zugriffskontrollen, Audit-Trail und Löschkonzept etabliert sind

Eigenhosting kann datenschutzproblematisch sein, wenn:

  • Open-Source-Modelle ohne klare Trainingsdaten-Provenienz eingesetzt werden
  • Logging und Zugriffskontrollen schlechter umgesetzt sind als bei kommerziellen Anbietern
  • Personal ohne Datenschutz-Schulung Modell-Diagnose oder Debugging macht

Praktisch: Beide Modelle können konform sein, aber die Compliance-Last bei Eigenhosting liegt vollständig bei Ihnen. Bei der Hosted API teilen Sie sie mit dem Anbieter — was bei einem soliden Anbieter eher eine Entlastung ist als ein Risiko.

Performance — die ehrliche Wahrheit

Open-Source-Modelle haben in den letzten Jahren erstaunliche Fortschritte gemacht. Mistral, Llama, Qwen, DeepSeek liefern für viele Standard-Use-Cases Ergebnisse, die mit Mid-Tier-Modellen kommerzieller Anbieter mithalten können.

Bei Spitzenleistungen bleibt aber ein Abstand: Reasoning-intensive Aufgaben, lange Kontexte, agentische Workflows mit Tool-Calling — hier sind die Top-Modelle der kommerziellen Anbieter (etwa Claude oder GPT) den Open-Source-Modellen oft noch deutlich voraus. Der Abstand verkleinert sich, ist aber nicht verschwunden.

Für viele Mittelstands-Use-Cases (Service-Antworten, einfache Kategorisierung, Standard-Reporting) reichen Open-Source-Modelle. Für komplexere agentische Setups, in denen das Modell mehrere Tools sinnvoll orchestrieren muss, lohnt sich oft ein Top-Modell — auch in der Wirtschaftlichkeitsrechnung, weil der Output-Wert pro Anfrage deutlich höher ist.

Eigener API Key — die hybride Lösung

Ein Modell, das wir bei mitAIbeiter standardmäßig anbieten und das viele Mittelständler bevorzugt nutzen: Plattform mit eigenem API Key des Kunden.

So funktioniert es: Die mitAIbeiter-Plattform stellt die Agent-Infrastruktur, Workflow-Logik, Integrationen und Compliance-Hilfen bereit. Der Anthropic-API-Key gehört aber Ihnen — Sie schließen einen direkten Vertrag mit Anthropic und behalten die volle Kostenkontrolle und Transparenz über jede Token-Verarbeitung.

Die Vorteile:

  • Keine Marge auf API-Kosten — Sie zahlen direkt an Anthropic, was Sie verbrauchen
  • Volle Transparenz im Anthropic-Dashboard, jederzeit nachvollziehbar
  • Klare Trennung zwischen Plattform-Lizenz (mitAIbeiter) und LLM-Verbrauch (Anthropic)
  • Datenschutzrechtlich sauberer, weil weniger Akteure in der Verarbeitungskette

Der Aufwand für Sie: Einmalig einen API-Key auf console.anthropic.com erstellen — kostet nichts, dauert wenige Minuten.

Entscheidungs-Hilfe

Drei Fragen, die meistens schon zur richtigen Antwort führen:

1. Verarbeitet ihr Volumina, die eine GPU dauerhaft auslasten?

→ Wenn ja, kann Eigenhosting wirtschaftlich werden. Wenn nein, fast nie.

2. Habt ihr ein DevOps/MLOps-Team, das einen produktiven Modell-Betrieb stemmen kann?

→ Wenn nein, wird Eigenhosting in der Praxis problematisch — auch bei niedrigen Hardware-Kosten.

3. Sind eure Daten so sensibel, dass keine Cloud-Verarbeitung erlaubt ist?

→ Wenn ja, ist Eigenhosting im eigenen Rechenzentrum oft alternativlos. Wenn nein, ist Hosted API in der EU-Region (etwa Anthropic via Vertex AI in Frankfurt) eine valide Option.

In den meisten Mittelstands-Konstellationen ist die Antwort dreimal "nein" — und damit die Hosted API mit eigenem Key der pragmatische Weg.

Wie es weitergeht

Wir vertiefen einzelne Aspekte in weiteren Artikeln — etwa konkrete Konfigurations-Tipps für effizientes Prompt-Caching, oder den Vergleich verschiedener Anbieter im Detail. Bei Fragen zur konkreten Auslegung sprechen Sie uns an.

Verwandt: