KI-Datenschutz im Unternehmen: wo Modelle für welche Daten laufen sollten, im Haus, in Europa oder in der Cloud

Warum "lokal oder Cloud" die falsche Frage ist

Wer über KI und Datenschutz spricht, landet schnell bei zwei Lagern. Die einen wollen alles im eigenen Haus betreiben, weil dann nichts nach außen dringt. Die anderen wollen die stärksten Modelle, und die laufen bei den großen Anbietern. Beide Positionen haben einen wahren Kern, und beide führen in die Irre, wenn sie für alle Abläufe gelten sollen.

Ein Unternehmen verarbeitet sehr unterschiedliche Daten. Produktbeschreibungen, die ohnehin auf der Website stehen, brauchen einen anderen Schutz als Bewerbungen, Arbeitsverträge oder Konditionen eines Großkunden. Wer alles gleich behandelt, schützt entweder die harmlosen Daten zu stark und verzichtet auf Qualität, oder die sensiblen zu schwach. Sinnvoller ist es, je Ablauf zu entscheiden, welche Daten beteiligt sind, und danach die Betriebsart zu wählen.

Wir unterscheiden drei Betriebsarten. Jede hat ihren Platz, und in den meisten Unternehmen laufen am Ende mehrere nebeneinander.

Die drei Betriebsarten im Überblick

1. Im Haus

Offene Modelle wie Llama oder Mistral laufen auf Ihrer eigenen Hardware oder auf einem dedizierten Server in Deutschland, den nur Sie und Ihr Dienstleister erreichen. Keine Daten verlassen das Netz.

• Stärke: Volle Kontrolle über Daten und Modell, keine Gebühren je Anfrage, keine Abhängigkeit von der Preisliste eines Anbieters.
• Grenze: Die offenen Modelle sind gut für Sprache in Menge, etwa Einordnen, Zusammenfassen, Felder auslesen. Bei schwierigen Einzelfällen und anspruchsvollen Texten sind sie den großen Cloud-Modellen meist unterlegen.
• Aufwand: Einrichtung, Rechenleistung mit ausreichend Grafikspeicher, Wartung und Updates. Je größer das Modell, desto mehr Hardware braucht es.

2. Europäisches Rechenzentrum

Große Modelle über Anbieter mit Verarbeitung in der EU, etwa Google Vertex AI in Frankfurt oder Belgien, Microsoft Azure in Deutschland oder Mistral in Frankreich. Mit Auftragsverarbeitungsvertrag, ohne Nutzung Ihrer Daten für das Training, mit Speicherung nur zur Verarbeitung.

• Stärke: Starke Modelle bei Verarbeitung innerhalb der EU, schnell aufgesetzt, keine eigene Hardware.
• Grenze: Bei Anbietern mit Konzernsitz in den USA bleibt die Frage, ob US-Behörden auf Grundlage des CLOUD Act von 2018 Daten herausverlangen können, auch wenn sie in Europa liegen. Viele Datenschutzbeauftragte wägen dieses Restrisiko ab und halten es für Kundendaten im Normalfall für vertretbar, für besonders sensible Daten nicht.
• Aufwand: Vertragsprüfung, Konfiguration der Region, Gebühren je Token.

3. Cloud unter Vertrag

Modelle von Anthropic, OpenAI oder Google direkt über die Schnittstelle des Anbieters, mit Auftragsverarbeitungsvertrag und der vertraglichen Zusage, dass Eingaben nicht zum Training verwendet werden. Das ist etwas anderes als das frei zugängliche Chatfenster, in das Mitarbeiter Texte kopieren.

• Stärke: Das beste Ergebnis für Sprache, die neuesten Modelle, sehr geringer Einrichtungsaufwand.
• Grenze: Verarbeitung kann außerhalb der EU stattfinden. Geeignet, wo keine Personendaten fließen, oder wo Sie es nach Abwägung schriftlich entscheiden.
• Aufwand: Gering. Gebühren je Token, Vertragsprüfung, Dokumentation des Drittlandtransfers, falls Personendaten betroffen sind.

Welche Daten in welche Betriebsart gehören

Die folgende Tabelle ist unser Ausgangspunkt in jeder Analyse. Sie ersetzt nicht die Abwägung im Einzelfall, aber sie beantwortet in den meisten Fällen die erste Frage. Gehen Sie Ihre geplanten Abläufe Zeile für Zeile durch und notieren Sie, welche Datenarten beteiligt sind. Die strengste Zeile bestimmt die Betriebsart, es sei denn, die sensiblen Teile lassen sich vorher entfernen.

Wie das in der Praxis aussieht, zeigen unsere Kundenfälle, die fast alle Mischformen sind. Bei einem Technologie-Distributor liegt die Wissensdatenbank auf eigener Infrastruktur, die Anfragen laufen in NetSuite, der Chat über ein Cloud-Modell unter Vertrag. Bei einem Ersatzteilhändler werden Produktdaten ohne Personenbezug über Cloud-Modelle recherchiert, Anfragedaten bleiben beim Kunden. Bei einem Brennstoffzellen-Hersteller laufen Texte ohne Personenbezug über Cloud-Modelle unter Vertrag, die Personendaten bleiben in Salesforce und SAP SuccessFactors.

Vorher ersetzen: der unterschätzte Zwischenschritt

Viele Abläufe enthalten nur wenige sensible Stellen. Eine Produktanfrage besteht aus einer technischen Frage und einer Signatur mit Name, Telefonnummer und Firma. Ein Angebotstext enthält eine Beschreibung und eine Zeile mit dem Rabatt. In solchen Fällen ist es oft besser, die sensiblen Teile vor der Verarbeitung zu ersetzen, als den ganzen Ablauf in eine schwächere Betriebsart zu legen.

Technisch heißt das: Ein Vorverarbeitungsschritt im Haus erkennt Namen, Adressen, Kundennummern oder Preise und ersetzt sie durch Platzhalter. Das Modell arbeitet mit dem bereinigten Text, danach setzt der Ablauf die Originalwerte wieder ein. Die DSGVO nennt das in Artikel 4 Nummer 5 Pseudonymisierung und empfiehlt es in Artikel 25 und Artikel 32 als Schutzmaßnahme. Pseudonymisierte Daten gelten nach Erwägungsgrund 26 grundsätzlich weiter als personenbezogen; das Risiko sinkt aber deutlich, und für Preise und Konditionen ist der Schritt oft der einfachste Weg, sie im Haus zu halten.

Was rechtlich dahintersteht

Die Wahl der Betriebsart hat Folgen für die Unterlagen, die Ihr Datenschutzbeauftragter braucht. Die wichtigsten Vorschriften, Stand Oktober 2026:

• Artikel 28 DSGVO: Wer Personendaten im Auftrag verarbeitet, braucht einen Auftragsverarbeitungsvertrag. Das gilt für Ihren Dienstleister und für jeden Modellanbieter, der als Unterauftragsverarbeiter beteiligt ist.
• Artikel 44 bis 46 DSGVO: Übermittlungen in Drittländer brauchen eine Grundlage, etwa einen Angemessenheitsbeschluss nach Artikel 45 oder Standardvertragsklauseln nach Artikel 46. Für zertifizierte US-Unternehmen gilt seit Juli 2023 der Angemessenheitsbeschluss zum EU-US Data Privacy Framework. Er wurde vor Gericht angegriffen; ob er dauerhaft hält, ist offen.
• Artikel 9 DSGVO: Gesundheitsdaten und andere besondere Kategorien dürfen nur unter engen Voraussetzungen verarbeitet werden.
• Artikel 35 DSGVO: Bei voraussichtlich hohem Risiko für Betroffene ist eine Datenschutz-Folgenabschätzung nötig. Das kann bei KI-Abläufen mit Personaldaten der Fall sein.
• EU AI Act: Die Betriebsart ändert nichts an den Pflichten aus der KI-Verordnung, etwa den Transparenzpflichten nach Artikel 50. Welche Pflichten bei welchem Ablauf entstehen, beschreibt der Artikel EU AI Act für den Mittelstand.

Diese Übersicht ersetzt keine Rechtsberatung. Lassen Sie die Einordnung Ihrer Abläufe von Ihrem Datenschutzbeauftragten oder Ihrer Rechtsberatung prüfen; die Datenfluss-Skizze je Ablauf ist dafür die Grundlage.

Modelle austauschbar halten

Eine zweite Frage hängt eng an der Betriebsart: Was passiert, wenn ein Anbieter die Preise erhöht, ein Modell abschaltet oder ein besseres erscheint? Abläufe sollten so gebaut sein, dass das Modell austauschbar ist. Die Regeln, die Prüfschritte und das Protokoll gehören zum Ablauf, nicht zum Modell. Wechselt das Modell, laufen dieselben Prüfungen über eine Stichprobe, bevor das neue Modell übernimmt.

Das ist auch eine Absicherung für die Betriebsart selbst. Wenn sich die Rechtslage für Drittlandtransfers ändert, lässt sich ein Ablauf von der Cloud in ein europäisches Rechenzentrum oder ins Haus verlegen, ohne ihn neu zu bauen. Die offenen Modelle werden besser; was heute nur in der Cloud gut funktioniert, kann in einem Jahr im eigenen Haus laufen.

Acht Fragen an jeden KI-Anbieter

Mit diesen Fragen prüfen Sie, ob ein Anbieter Datensouveränität verspricht oder belegt:

1. Welche Daten fließen bei welchem Ablauf zu welchem Modellanbieter, und können Sie das als Skizze bekommen?
2. In welcher Region werden die Daten verarbeitet, und wo ist das vertraglich festgehalten?
3. Steht im Vertrag, dass Ihre Daten nicht zum Training fremder Modelle verwendet werden?
4. Gibt es einen Auftragsverarbeitungsvertrag nach Artikel 28 DSGVO vor dem ersten Zugriff auf Daten?
5. Welche Unterauftragsverarbeiter sind beteiligt, und auf welcher Grundlage erfolgt ein Drittlandtransfer?
6. Wie lange werden Eingaben gespeichert, und wie wird die Löschung nachgewiesen?
7. Lassen sich sensible Teile vor der Verarbeitung ersetzen?
8. Kann das Modell gewechselt oder die Betriebsart verlegt werden, ohne den Ablauf neu zu bauen?

Wie unsere Antworten auf diese Fragen aussehen, einschließlich des Datenflusses je Leistung und des Satzes, der in jedem unserer Verträge steht, finden Sie auf der Seite Datensouveränität. Für Abläufe mit Kundenanfragen und Wissensdatenbanken beschreibt die Seite Vertrieb und Kommunikation, wie die Betriebsarten dort kombiniert werden.

Was das für Sie heißt

Sie müssen sich nicht zwischen Datenschutz und guten Ergebnissen entscheiden. Wenn Sie je Ablauf festhalten, welche Daten beteiligt sind, ergibt sich die Betriebsart meist von selbst: öffentliche Inhalte in die Cloud unter Vertrag, Kundendaten in ein europäisches Rechenzentrum, Geheimnisse und besonders sensible Daten ins Haus. Wo nur wenige Stellen sensibel sind, ersetzen Sie sie vorher. Und das frei zugängliche Chatfenster, in das heute vielleicht Kundenmails kopiert werden, ersetzen Sie durch einen Ablauf mit Vertrag.

Ihr nächster Schritt: Gehen Sie mit Ihrem Datenschutzbeauftragten die Checkliste "KI im Mittelstand rechtssicher einführen" durch. Der Abschnitt Datenschutz deckt Auftragsverarbeitung, Drittlandtransfer und Löschkonzept ab, der Abschnitt Technik die Wahl der Betriebsart.

Weiterlesen

• Datensouveränität: Datenfluss je Leistung und unsere vertragliche Zusage
• EU AI Act für den Mittelstand: welche Pflichten bei welchen Abläufen entstehen
• Welche Abläufe sich für KI lohnen, und welche nicht
• Fallstudie: unser eigener Betrieb auf eigener Infrastruktur in Deutschland
• Branche: KI im Maschinenbau, mit Exportkontrolle und Konstruktionsgeheimnissen