On-Premise vs. Cloud: Welche KI gehoert wohin?

„Muessen wir KI in die Cloud auslagern oder ins eigene Rechenzentrum stellen?“ Diese Frage kommt in fast jedem unserer Gespraeche. Die Antwort ist selten schwarz-weiss — und meistens nicht die, die man erwartet. Dieser Beitrag zeigt die harten Fakten, die typischen Denkfehler und eine Entscheidungsmatrix, die Sie mit Ihrer IT-Leitung in 20 Minuten durchgehen koennen.

Der klassische Denkfehler: „Cloud ist billiger“

Nein — nicht immer. Cloud-Abos wirken guenstig, weil sie monatlich verrechnet werden. Bei konstanter Auslastung ueber drei Jahre schlaegt eine gut geplante On-Premise-Loesung die Cloud oft um 30–50 %. Umgekehrt: fuer sporadische Workloads (Kampagnen-Analysen, Trainingslaeufe) ist Cloud unschlagbar guenstig.

Die Cloud gewinnt bei: schwankender Last, Experimenten, weltweit verteilten Teams. On-Premise gewinnt bei: gleichmaessig hoher Auslastung, sensiblen Daten, langfristigen Vertragslaufzeiten, Datenlokalitaets-Anforderungen.

Die vier Dimensionen der Entscheidung

1. Datensensitivitaet

Wenn Sie mit besonders schutzbeduerftigen Daten arbeiten — Patientenakten, Steuerdaten, Personalakten, Anwaltsakten — ist On-Premise oder ein zertifiziertes DE-Cloud-Setup nicht optional. Beispiel: Eine Anwaltskanzlei, die Mandantenkorrespondenz in einen US-Cloud-Chatbot faedelt, verletzt DSGVO plus Berufsordnung.

Faustregel: Alles, was unter besondere Verschwiegenheitspflicht faellt (§ 203 StGB), gehoert nicht in die Public Cloud.

2. Regulierung und Nachweispflicht

KRITIS-Betreiber, Finanzdienstleister nach BAIT/DORA, Gesundheitsversorger — alle haben harte Vorgaben zur Datenverarbeitung, Log-Aufzeichnung, Zugriffs­kontrolle. Der EU-AI-Act kommt noch obendrauf. On-Premise vereinfacht die Nachweisfuehrung erheblich: Sie kontrollieren jeden Log, jede Backup-Kopie, jede Verschluesselung.

3. Latenz und Verfuegbarkeit

Live-Klassifikation im Produktionsbetrieb, Sprachassistenten im Callcenter, KI-basiertes Alerting im Netzbetrieb — hier zaehlen Millisekunden. On-Premise reagiert ohne Internet-Umweg; Cloud bringt oft 100–300 ms zusaetzliche Latenz. Bei asynchronen Auswertungen ist das irrelevant, bei Realtime-Anwendungen entscheidend.

4. Team-Reife und Betriebsmodell

On-Premise braucht ein Team, das mit Linux, Docker, GPU-Treibern, Monitoring und Backups umgehen kann. Wenn Ihre IT das nicht hat und Sie es auch nicht aufbauen wollen, spart Cloud viel Frust. Umgekehrt: eine gut ausgestattete IT hat mit On-Premise sehr saubere Verhaeltnisse — sie muessen nicht alle drei Monate Vertrags-Kleingedrucktes lesen.

Die Zwischenstufe: Hybrid

Meistens landen wir bei Hybrid-Setups:

• Sensible Daten (Patientenakte, Vertragsentwurf, Finanzdaten) bleiben on-premise. Dort laeuft ein lokales LLM (Llama, Mistral) fuer die kritischen Anwendungsfaelle.
• Unkritische Aufgaben (Marketing-Text-Entwuerfe, allgemeine Recherche, Chatbot-FAQ) gehen ueber die Cloud an leistungsstaerkere Modelle (GPT-4o, Claude).
• Ein Gateway entscheidet je Anfrage, wohin sie geroutet wird.

Diese Architektur ist bei scale-x.io die Standardempfehlung fuer Mittelstands­kunden im regulierten Umfeld — sie bietet 90 % der Cloud-Leistung mit 95 % der On-Premise-Sicherheit.

Kosten im Detail

Ein realer Vergleich fuer ein mittelstaendisches Unternehmen mit 50 Mitarbeitenden, 30 aktiven KI-Nutzenden, RAG-Wissensbasis mit 15.000 Dokumenten, ca. 3.000 Modell-Aufrufe pro Tag:

Cloud-Variante (scale-x.io SaaS Business + Add-ons)

• Business-Abo: 449 Euro / Monat
• AI-Governance-Add-on: 149 Euro / Monat
• Zusatz-User (10): ca. 200 Euro / Monat
• API-Kosten fuer LLM-Nutzung: ca. 300 Euro / Monat
• Gesamt: ~1.100 Euro / Monat = 39.600 Euro auf 3 Jahre

On-Premise-Variante

• Einmalinvestition Server (Dell R760 mit GPU, Netzwerk, USV): ca. 15.000 Euro
• Installation und Setup durch scale-x.io: 4.900 Euro
• Monatliche Wartung: 149 Euro
• Interner Betriebsaufwand (0,2 FTE): ca. 1.200 Euro / Monat
• Strom + Kuehlung: ca. 100 Euro / Monat
• Gesamt Jahr 1: ca. 36.000 Euro, danach 17.400 Euro / Jahr = 70.800 Euro auf 3 Jahre

In diesem Beispiel gewinnt die Cloud finanziell — aber nur, wenn Sie keine Datenschutz-Anforderungen haben, die den Vergleich kippen. Bei einer Anwaltskanzlei mit 50 Anwaelten, die On-Premise zwingend braucht, faellt der Vergleich anders aus: dann ist „Cloud“ schlicht keine Option.

Wann On-Premise definitiv Pflicht ist

• Sie sind Anwaltskanzlei, Arzt oder Steuerberater und verarbeiten Mandanten-/Patienten-/Klienten-Daten mit KI.
• Sie sind KRITIS-Betreiber und muessen BSI-Grundschutz erfuellen.
• Ihre Behoerde-/Compliance-Auflagen verlangen „Verarbeitung im eigenen Rechenzentrum“.
• Sie haben Vertraege mit Kunden, die eine Rechenzentrums-Klausel enthalten.
• Sie brauchen Air-Gapped-Betrieb ohne jede Internet-Verbindung.

Wann Cloud definitiv reicht

• Sie testen KI-Anwendungsfaelle noch und wollen schnell iterieren.
• Ihre Daten sind nicht besonders schutzbeduerftig (Marketing, Content, allgemeine Recherche).
• Sie haben schwankende Last (Kampagnen, Saison-Business).
• Ihr IT-Team ist klein und soll sich auf Kernaufgaben konzentrieren.

Die Entscheidungsmatrix in 20 Minuten

Nehmen Sie ein Blatt Papier und fuellen Sie diese fuenf Zeilen aus:

1. Sensitivitaet: Welche Datenklasse (oeffentlich / intern / vertraulich / streng vertraulich)?
2. Regulierung: Welche Compliance-Frameworks (DSGVO, BAIT, ISO 27001, BSI, AI Act)?
3. Latenz: Muss die Antwort in unter 500 ms kommen (Realtime) oder ist eine Sekunde okay?
4. Auslastung: Konstant hoch oder schwankend?
5. Team-Reife: Wer betreibt die Loesung — Sie selbst, ein Dienstleister, keiner?

Kein Freitext — nur Kreuze in Spalten. Nach 20 Minuten wissen Sie, ob es Cloud, On-Premise oder Hybrid wird.

Fazit

Es gibt keine universelle Antwort. Beide Optionen haben klare Staerken; die richtige Wahl haengt an Ihrem Risiko-, Kosten- und Betriebsprofil. Wichtig ist nur: entscheiden Sie bewusst, nicht nach Bauchgefuehl oder Marketingfolie.

Auf unserer Preisseite finden Sie unsere Cloud-Pakete und unsere On-Premise-Optionen — inklusive Air-Gapped-Setup. In einem 30-Minuten-Termin machen wir die Entscheidungsmatrix gemeinsam mit Ihnen durch. Termin buchen — kostenlos, unverbindlich.