Kann ich KI für interne Dokumente nutzen, ohne dass Daten das Unternehmen verlassen?

Drei Wege, KI mit internen Dokumenten zu nutzen

Ob Daten das Unternehmen verlassen, hängt davon ab, wo das Sprachmodell rechnet und wer die Eingaben zu sehen bekommt. Grob lassen sich drei Wege unterscheiden.

Die Datenschutzkonferenz (DSK), das Gremium der deutschen Datenschutzaufsichtsbehörden, unterscheidet in ihrer Orientierungshilfe vom Mai 2024 offene und geschlossene Systeme. Bei offenen Systemen verlassen die Eingabedaten den geschützten Bereich des Anwenders. Technisch geschlossene Systeme hält die DSK deshalb für vorzugswürdig, ebenso Anwendungen, die Ein- und Ausgaben nicht zum Training verwenden.

Wie die KI Ihre Dokumente findet: Retrieval-Augmented Generation (RAG)

Ein Sprachmodell kennt Ihre internen Dokumente nicht. Damit es trotzdem Fragen dazu beantworten kann, wird ihm eine Suche vorgeschaltet. Dieses Verfahren heißt Retrieval-Augmented Generation, kurz RAG, auf Deutsch etwa „durch Abruf ergänzte Texterzeugung“. Beschrieben wurde es 2020 von Forschern um Patrick Lewis als Verbindung aus dem gelernten Wissen eines Modells und einer durchsuchbaren Dokumentensammlung.

So läuft eine Anfrage ab:

• Die Dokumente werden einmalig eingelesen, in Textabschnitte zerlegt und in einem Suchindex abgelegt. Eingescannte Seiten werden vorher per Texterkennung (OCR) in Text umgewandelt.
• Eine Frage wie „Welche Verträge verlängern sich automatisch?“ geht zuerst an diese Suche. Sie liefert die passenden Abschnitte.
• Das Sprachmodell erhält die Frage zusammen mit diesen Abschnitten und formuliert daraus die Antwort, idealerweise mit Verweis auf das Quelldokument.
• Kommt ein neues Dokument hinzu, wird nur der Suchindex ergänzt. Das Modell selbst lernt nichts dazu und wird nicht verändert.

Der Vorteil: Antworten lassen sich am Quelldokument nachprüfen, und Ihre Daten werden nicht dauerhaft in ein Modell eingebaut. Die DSK sieht RAG in ihrer Orientierungshilfe vom Oktober 2025 deshalb als mögliche risikomindernde Maßnahme, die aber im Einzelfall zu prüfen ist.

Dokumentenablage durchsuchbar machen, ohne sie in eine fremde Cloud zu geben: Welcher Weg führt dahin?

Der direkte Weg ist ein RAG-System, das vollständig im eigenen Netz läuft. Die DSK hält fest, dass ein solches System unter Umständen on-premise, also auf eigenen Servern, betrieben werden kann. Dadurch lässt sich vermeiden, dass personenbezogene Daten an Online-Betreiber großer Sprachmodelle gehen.

Dafür braucht es diese Bausteine:

• Ein offenes Sprachmodell, dessen Gewichte heruntergeladen und lokal betrieben werden dürfen. Werkzeuge wie Ollama führen solche Modelle auf eigener Hardware aus; laut Ollama sieht der Anbieter bei lokalem Betrieb weder Eingaben noch Daten.
• Passende Hardware: einen Server oder leistungsfähigen Rechner im eigenen Netz, für flüssige Antworten meist mit einer Grafikkarte mit viel Grafikspeicher. Wie viel nötig ist, hängt von Modellgröße und Zahl der gleichzeitigen Nutzer ab.
• Anbindung an die Ablage: Dateiserver, SharePoint oder Dokumentenmanagement werden regelmäßig eingelesen, damit der Suchindex aktuell bleibt.
• Anmeldung mit vorhandenen Benutzerkonten, damit das System weiß, wer fragt und welche Dokumente diese Person sehen darf.
• Betrieb: Updates für Modell, Software und Server, Datensicherung des Suchindex und ein Ansprechpartner bei Fragen.

Lokal betriebene Modelle sind in der Regel kleiner als die großen Cloud-Modelle. Testen Sie deshalb in einem Pilotprojekt an eigenen Dokumenten, ob die Qualität der Antworten für Ihre Aufgaben reicht, bevor Sie Hardware für das ganze Team beschaffen.

Wie können Unternehmen KI für Vertragsdokumente und interne PDFs nutzen?

Am meisten Zeit spart KI dort, wo Mitarbeiter heute Ordner durchblättern oder lange Dokumente lesen, um eine einzelne Angabe zu finden.

• Vertragsbestand abfragen: Laufzeiten, Kündigungsfristen, Preisanpassungsklauseln oder Haftungsgrenzen über alle Verträge hinweg finden.
• Zusammenfassen: lange Verträge, Ausschreibungen oder Gutachten auf die wichtigen Punkte verdichten.
• Abgleichen: einen eingehenden Vertrag mit Ihrer Vorlage vergleichen und Abweichungen markieren.
• Wissen nutzbar machen: Handbücher, Arbeitsanweisungen und Protokolle in normaler Sprache abfragen, etwa „Wie läuft die Reklamation bei Lieferant X?“.

Wo die Grenzen liegen

Sprachmodelle können überzeugend klingende, aber falsche Antworten liefern. Bei Verträgen sollte die KI deshalb immer die Fundstelle nennen, und ein Mensch prüft, bevor eine Antwort Folgen hat. Eine rechtliche Bewertung ersetzt sie nicht. Schlecht gescannte Seiten und Handschrift erkennt die Texterkennung oft fehlerhaft, das sollte vor dem Einlesen geprüft werden.

Zugriffsrechte und Sicherheit: Wer darf welche Antwort sehen?

Eine KI, die auf alle Dokumente zugreift, kann auch Inhalte ausgeben, die nicht jeder sehen soll, etwa Gehälter oder Personalakten. Laut DSK lässt sich im Sprachmodell selbst nicht steuern, wer auf welche Informationen zugreifen darf. Das Rechte- und Rollenkonzept muss deshalb in der Suche greifen, bevor Abschnitte an das Modell gehen.

Bei Microsoft Copilot in Microsoft 365 gilt dasselbe Prinzip: Laut Microsoft zeigt Copilot nur Inhalte an, die der jeweilige Nutzer mindestens lesen darf. Zu weit gefasste Freigaben in SharePoint und Teams werden damit über Copilot plötzlich leicht auffindbar. Vor der Einführung lohnt sich deshalb ein Blick auf die Berechtigungen.

Das Bundesamt für Sicherheit in der Informationstechnik (BSI) warnt zudem vor indirekter Prompt Injection: Angreifer verstecken Anweisungen in Webseiten, E-Mails oder Dokumenten, die das Sprachmodell auswertet. Eine KI, die eingehende Dokumente liest, sollte deshalb keine Aktionen ohne Freigabe eines Menschen ausführen dürfen.

Was DSGVO und KI-Verordnung verlangen

• Auftragsverarbeitung: Nutzen Sie einen Cloud-Dienst, besteht laut DSK häufig ein Auftragsverarbeitungsverhältnis nach Art. 28 DSGVO. Dann brauchen Sie einen Vertrag zur Auftragsverarbeitung mit dem Anbieter.
• Datenschutz-Folgenabschätzung: Art. 35 DSGVO verlangt sie, wenn eine Verarbeitung voraussichtlich ein hohes Risiko für die Betroffenen mit sich bringt. Beim Einsatz von KI wird das laut DSK vielfach der Fall sein. Besonders nahe liegt ein hohes Risiko bei Personal- oder Gesundheitsdaten.
• KI-Kompetenz: Art. 4 der KI-Verordnung gilt seit dem 2. Februar 2025. Seit der Änderung durch die Verordnung (EU) 2026/1744 vom Juli 2026 müssen Unternehmen Maßnahmen ergreifen, um die KI-Kompetenz ihres Personals zu unterstützen, ohne für jede Person ein bestimmtes Niveau an KI-Kompetenz garantieren zu müssen.
• Datenhaltung in der EU: Microsoft hat im Februar 2025 den Abschluss seiner EU-Datengrenze für die Microsoft Cloud gemeldet. Laut Microsoft sind Modelle von Anthropic, die als Unterauftragsverarbeiter in Copilot eingebunden sind, derzeit davon ausgenommen. Prüfen Sie, welche Modelle in Ihrem Microsoft-365-Mandanten freigeschaltet sind.

Eine schriftliche KI-Richtlinie für das Team regelt, welche Daten in welche KI dürfen. Sie verhindert, dass Mitarbeiter Firmendokumente in private Gratiskonten kopieren.