Private KI im Unternehmen: die vier Stufen der Kontrolle

Eine private KI im Unternehmen ist kein Produkt, das man kauft: Sie ist ein Grad an Kontrolle darüber, was mit Ihren Daten geschieht. Hinter den Begriffen „private KI“, „souveräne KI“ oder „geschlossene KI“ zählt nur eine Frage: Wenn ein Mitarbeiter oder eine Automatisierung ein Modell abfragt, wohin gehen die Daten, und wer kann darauf zugreifen? Dieser Vergleich aus unserer Rubrik KI im Unternehmen, privat und zum fairen Preis unterscheidet vier Stufen und gibt dann ein Raster für die Wahl.

Kurz gesagt

• Die Modelle von ChatGPT und Claude lassen sich nicht bei Ihnen installieren: Entweder man bindet sie vertraglich, oder man betreibt ein offenes Modell auf einer Maschine, die man kontrolliert.
• Ein Vertrag regelt, was der Anbieter mit Ihren Daten macht, nicht die Gesetze, die für ihn gelten.
• Ein RAG schickt Auszüge Ihrer Dokumente dorthin, wo das Modell läuft: Er gehört auf die Stufe der Dokumente, die er liest.
• Ein Raster, das die Daten einstuft (öffentlich, intern, personenbezogen), sagt, wohin jede Nutzung geschickt wird.

Wohin Ihre Daten gehen, Stufe für Stufe

Wir unterscheiden vier Stufen:

Die französische Datenschutzbehörde CNIL beschreibt die Herausforderung in ihren Fragen und Antworten zur generativen KI (Zitate aus dem Französischen übersetzt). Bei einer API liegt „die Kontrolle über das System dann fast ausschließlich in den Händen des Anbieters“; eine Installation vor Ort erlaubt dagegen, „die Risiken einer Datenextraktion durch einen Dritten zu begrenzen“, um den Preis eines Betriebs, den man selbst tragen muss. Keine Stufe ist für alles die richtige, und ein und dasselbe Unternehmen kann mehrere nutzen.

Stufe 1: die unveränderte API

Das ist der Ausgangspunkt der meisten Projekte: ein API-Schlüssel, ein Modell vom Markt, die allgemeinen Geschäftsbedingungen des Anbieters. Die großen Anbieter gehen für ihr Geschäftsangebot Verpflichtungen ein: Bei Anthropic legt die Seite zur Datenspeicherung fest, dass gespeicherte Daten ohne ausdrückliche Zustimmung des Kunden nie zum Training der Modelle verwendet werden.

Diese Stufe garantiert nicht den Ort der Verarbeitung. Bei der direkten API von Anthropic wählt man im Oktober 2026 die Inferenz-Geografie zwischen „global“ (jede Region) und „us“ (die USA), ohne europäische Option, und gespeicherte Daten liegen in den USA, der einzigen angebotenen Speicherzone. Für öffentliche Inhalte (Produktseiten, Artikel, bereits veröffentlichte Seiten) genügt diese Stufe oft, und sie ist die günstigste. Für personenbezogene Daten braucht es mindestens die nächste Stufe.

Und diese Stufe hat nichts mit einem Verbraucherabo zu tun, das ein Mitarbeiter mit seiner privaten Adresse abschließt. Für solche Dienste empfiehlt die CNIL, „niemals vertrauliche Informationen wie personenbezogene Daten oder Unternehmensdaten zu teilen“.

Stufe 2: die vertraglich gebundene API

Dasselbe Modell, dieselbe Leistung, drei zusätzliche Sicherungen:

• Ein Auftragsverarbeitungsvertrag. Sobald Ihre Anfragen personenbezogene Daten enthalten, verarbeitet der Anbieter sie in Ihrem Auftrag, und Artikel 28 der DSGVO schreibt einen Vertrag vor, der festlegt, was er damit tun darf.
• Keine Speicherung. Bei Anthropic wird die Vereinbarung über „Zero Data Retention“ beim Vertriebsteam beantragt, und sie kennt Ausnahmen.
• Eine Verarbeitungsregion. Über eine große Cloud (Amazon Bedrock, Google Cloud) wählt man einen regionalen Endpunkt, der die Weiterleitung der Daten über ein bestimmtes geografisches Gebiet garantiert; die Preisliste von Anthropic gibt an, dass er 10 % mehr kostet als ein globaler Endpunkt. Dann wird der Cloud-Anbieter zum Auftragsverarbeiter, und es bleibt zu prüfen, ob das gewünschte Modell in der gewählten Region angeboten wird.

Die Grenze dieser Stufe passt in einen Satz: Ein Vertrag regelt, was der Anbieter mit Ihren Daten macht, er entzieht ihn nicht den Gesetzen seines Landes. Wenn die Infrastruktur außerhalb der Union liegt oder „von einem nichteuropäischen Anbieter betrieben“ wird, verlangt die CNIL zusätzlich, die Verarbeitung der Daten durch ihren Empfänger abzusichern. Diese Pflichten beschreiben wir in unserem Leitfaden KI, DSGVO und AI Act: Was ein mittelständisches Unternehmen tun muss.

Stufe 3: ein offenes Modell in einer privaten Cloud in Europa

Hier mietet man keinen Dienst mehr, sondern eine Maschine. Manche Anbieter veröffentlichen die „Gewichte“ ihrer Modelle, also das Modell selbst: Das französische Unternehmen Mistral AI veröffentlicht so mehrere seiner Modelle, von Ministral 3 bis Mistral Large 3, unter der Lizenz Apache 2.0. Man installiert sie auf einem Server mit Grafikkarte, gemietet bei einem europäischen Hoster, und die Anfragen verlassen diese Infrastruktur nicht mehr. Drei Dinge ändern sich:

• Die Rechnung wird pro Maschine bezahlt, ob sie arbeitet oder nicht: Das lohnt sich bei regelmäßigem Volumen, viel weniger bei einigen Anfragen pro Tag.
• Die Qualität hängt vom Modell ab, das die Maschine betreibt. Ein offenes Modell vernünftiger Größe kann zum Sortieren, Extrahieren oder Zusammenfassen genügen; man beurteilt es anhand eigener Beispiele, bevor man ihm eine Aufgabe anvertraut.
• Der Betrieb fällt Ihnen zu: Updates, Überwachung, Sicherungen. Das sind die eigentlichen Kosten dieser Stufe, und sie stehen auf keiner Preisliste.

Stufe 4: vor Ort

Das Modell läuft auf einer Maschine in Ihren Räumen. Wenn man dem System Daten von Kunden oder Mitarbeitern oder sensible oder strategische Dokumentation anvertraut (etwa für einen RAG), schreibt die CNIL, es erscheine „im Allgemeinen zweckmäßiger und sicherer“, diesen Einsatz vor Ort zu bevorzugen, merkt aber an, dass die Kosten für Installation und Betrieb den Rückgriff auf ein entferntes Hosting oft „einfacher“ machen.

Und der RAG in alledem?

Der RAG (Retrieval-Augmented Generation) gibt dem Modell bei jeder Frage die Auszüge Ihrer Dokumente, die sie beantworten. Direkte Folge: Die Auszüge Ihrer Dokumente gehen dorthin, wo das Modell läuft. Ein RAG über Ihre Verträge, angeschlossen an eine API der Stufe 1, schickt bei jeder Frage Vertragsteile zum Anbieter. Zwei Punkte prüft man zusätzlich zum Modell:

• die Vektordatenbank, die Ihre zerlegten und indexierten Dokumente speichert, muss auf derselben Kontrollstufe liegen wie das Modell;
• die Berechnung der „Embeddings“, dieser digitalen Fingerabdrücke, mit denen die richtigen Passagen gefunden werden, läuft oft über eine andere API: Das ist ein zweiter Datenfluss, der abzusichern ist.

Die CNIL stellt klar, dass das Unternehmen, das sich entscheidet, „das System mit seiner eigenen Wissensdatenbank (RAG) zu verbinden“, für diese Verarbeitung verantwortlich ist, sobald die Datenbank personenbezogene Daten enthält. Den Rest beschreiben wir in unserem Artikel über RAG für die Dokumente eines Unternehmens.

Wie man die richtige Stufe wählt, Aufgabe für Aufgabe

Die CNIL empfiehlt, „von konkreten Bedürfnissen auszugehen, um das am besten geeignete System zu wählen, und die eingegangenen Risiken zu berücksichtigen“. Wir gehen daher von einem Raster aus, das die Daten einstuft, nicht die Werkzeuge:

Dieses Raster ist unseres, keine Norm. Die Verpflichtung eines Anbieters prüft man zum Zeitpunkt der Wahl, das Raster bespricht man mit Ihrem Datenschutzbeauftragten, und es ändert sich, wenn Ihre Kundenverträge ein bestimmtes Hosting vorschreiben.

Eine Anwendung kann die Stufen mischen: Eine Weiche schickt jede Anfrage auf die Stufe, die zu ihren Daten passt, ein Modell vom Markt für Öffentliches, ein lokales Modell für alles, was Personen betrifft. Die Regel muss dann aufgeschrieben, getestet und protokolliert werden, denn ein versehentlich auf Stufe 1 geschicktes sensibles Datum ist ein Vorfall, der als solcher zu behandeln ist.

Was diese Stufen nicht regeln

Keine Stufe macht ein Modell zuverlässig: Ein bei Ihnen installiertes Modell irrt sich genauso wie ein anderes, und seine Antworten werden auf dieselbe Weise geprüft. Keine ersetzt die Nutzungsregeln, die die CNIL „durch interne Richtlinien oder Chartas“ festzulegen empfiehlt, „die die erlaubten und die verbotenen Nutzungen klar definieren“. Die Wahl der Stufe ist nur eine der fünf Entscheidungen unseres Leitfadens KI im Unternehmen einführen, neben der Aufgabe, dem Modell, den Kosten und diesen Regeln. Und ein hauseigener Server ohne Updates und Sicherungen schützt weniger als eine gut geführte Stufe 2.

Wo anfangen

Der Ausgangspunkt passt in drei Schritte:

1. 01Auflisten.

   Notieren Sie Ihre aktuellen Nutzungen, die Daten, die jede davon sendet, und die Stufe, auf der sie heute läuft.

2. 02Vergleichen.

   Halten Sie Ihre Nutzungen gegen das Raster: Die Lücke springt ins Auge.

3. 03Beziffern.

   Bevor Sie eine Nutzung verlagern, berechnen Sie, was die angestrebte Stufe kosten würde: die nutzungsabhängigen Tokens auf der einen Seite, die Maschine und ihren Betrieb auf der anderen.

Um das Sensibilitätsraster Ihrer eigenen Daten zu erhalten und zu wissen, welche Nutzungen bleiben können, wo sie sind, sehen Sie sich unser Angebot KI zum fairen Preis an.

Häufige Fragen

Quellen

1. Ihren Fragen und Antworten zur generativen KI (neuer Tab)cnil.fr
2. Die Seite zur Datenspeicherung (neuer Tab)platform.claude.com
3. Die Inferenz-Geografie (neuer Tab)platform.claude.com
4. Artikel 28 der DSGVO (neuer Tab)cnil.fr
5. Die Preisliste von Anthropic (neuer Tab)platform.claude.com
6. Unter der Lizenz Apache 2.0 (neuer Tab)docs.mistral.ai
7. Der Cloud Act (neuer Tab)law.cornell.edu