Private-AI-Assistent: KI für sensible Daten innerhalb einer gewählten Infrastrukturgrenze

Viele Unternehmen nutzen KI-Dienste großer Anbieter mit Unternehmensverträgen, und für zahlreiche Aufgaben ist das angemessen. Es gibt jedoch Datenbestände, bei denen eine Verarbeitung außerhalb der eigenen Kontrolle nicht in Frage kommt: Personalakten, Gesundheitsdaten von Beschäftigten, unveröffentlichte Konstruktionsunterlagen, Angebotskalkulationen oder Daten, für die Kundenverträge eine bestimmte Verarbeitungsumgebung vorschreiben.

Die Datenschutzkonferenz unterscheidet in ihrer Orientierungshilfe zu KI und Datenschutz zwischen geschlossenen und offenen Systemen. Bei geschlossenen Systemen findet die Verarbeitung in einer eingegrenzten, technisch abgeschlossenen Umgebung statt, der Nutzerkreis ist begrenzt, und Eingaben werden nicht vom Anbieter zum Training verwendet. Technisch geschlossene Systeme bezeichnet die DSK aus datenschutzrechtlicher Sicht als vorzugswürdig. Ein Private-AI-Assistent ist die praktische Umsetzung dieses Gedankens.

Bevor über Hardware oder Modelle gesprochen wird, braucht es eine einfache Datenklassifizierung. Bewährt haben sich drei bis vier Klassen, etwa öffentlich, intern, vertraulich und streng vertraulich. Für jede Klasse wird festgehalten, welche Umgebungen zulässig sind: Öffentliche und interne Inhalte dürfen gegebenenfalls über einen vertraglich abgesicherten Cloud-Dienst laufen, vertrauliche nur in einer EU-gehosteten Umgebung, streng vertrauliche nur lokal.

Diese Zuordnung setzt das Gateway technisch um. Es erkennt die Klasse anhand von Ablageort, Metadaten oder Kennzeichnung und lässt eine Anfrage nur an Modelle durch, die für diese Klasse freigegeben sind. So können Beschäftigte mit einer gemeinsamen Oberfläche arbeiten, ohne selbst entscheiden zu müssen, welches System für welche Information zulässig ist.

Beim lokalen Betrieb steht der Inferenzserver im eigenen Haus. Das gibt volle Kontrolle, verlangt aber Investitionen in GPU-Hardware, Stromversorgung, Kühlung und Betriebswissen. Colocation verlagert die Hardware in ein Rechenzentrum, bleibt aber unter eigener Verwaltung. Bei EU-gehosteten Angeboten betreibt ein Dienstleister die Modelle in Rechenzentren innerhalb der EU; hier sind Auftragsverarbeitungsvertrag, Unterauftragnehmer und die Frage eines möglichen Zugriffs aus Drittstaaten zu prüfen.

Technisch ähneln sich die Varianten stärker, als man vermuten würde. Verbreitete Open-Source-Inferenzserver wie vLLM stellen eine Schnittstelle bereit, die mit der Chat-Completions-API von OpenAI kompatibel ist. Anwendungen, die gegen diese Schnittstelle entwickelt wurden, lassen sich dadurch mit überschaubarem Aufwand zwischen lokalem Betrieb und gehostetem Dienst umstellen. Das ist die Voraussetzung für einen definierten Modellwechsel.

Für den eigenen Betrieb kommen Modelle mit veröffentlichten Gewichten in Frage, die von verschiedenen Herstellern und Forschungseinrichtungen bereitgestellt werden. Sie unterscheiden sich in Größe, Sprachfähigkeit, Lizenzbedingungen und Hardwarebedarf. Weil sich das Angebot schnell verändert, sollte die Auswahl nicht an einen Modellnamen gebunden werden, sondern an eine eigene Evaluation: ein fester Satz typischer Aufgaben aus dem Unternehmen mit erwarteten Ergebnissen.

Bei jedem Kandidaten werden dieselben Aufgaben ausgeführt und Antwortqualität, Antwortzeit und Ressourcenbedarf festgehalten. Die Lizenz wird vor dem Einsatz geprüft, denn nicht jede Modelllizenz erlaubt jede kommerzielle Nutzung. Ein neues Modell ersetzt das bisherige nur, wenn es die Evaluation mindestens gleich gut besteht; der Wechsel wird dokumentiert und lässt sich zurückdrehen.

Ein eigener Betrieb schützt nicht automatisch. Der Assistent darf nur auf Dokumente zugreifen, die die anfragende Person auch selbst öffnen dürfte; dafür werden die Berechtigungen der Quellsysteme durchgereicht, statt einen Generalzugang einzurichten. Das BSI weist in seinen Veröffentlichungen zu generativer KI darauf hin, dass solche Modelle neuartige IT-Sicherheitsrisiken mit sich bringen und bekannte Bedrohungen verstärken können, und empfiehlt eine systematische Risikoanalyse.

Protokolle werden nach Zweck getrennt: technische Betriebsdaten für Stabilität und Kapazitätsplanung, inhaltliche Protokolle nur dort, wo sie für Qualitätssicherung notwendig und vereinbart sind. Die DSK empfiehlt, Beschäftigten Wahlmöglichkeiten zur Speicherung ihrer Eingabehistorie zu geben und betriebliche Accounts bereitzustellen. Aufbewahrungsfristen und Zugriffsrechte auf Protokolle gehören in die Dokumentation.