RAG im Unternehmen: eine KI, die mit Ihren Dokumenten antwortet

Ihre Verfahren, Ihre Verträge und Ihre Akten enthalten Antworten, die niemand wiederfindet, und dieselben Fragen landen bei denselben Kollegen. RAG im Unternehmen verspricht, dieses Wissen mit einer Frage zugänglich zu machen: ein Assistent, der Ihre Dokumente liest und seine Quellen nennt. Das Prinzip passt in wenige Zeilen, der Produktivbetrieb verlangt mehr Sorgfalt. Dieser Artikel aus unserer Rubrik Unternehmens-KI, privat und zum fairen Preis erklärt, wie ein RAG funktioniert, wann es nützlich ist, warum es manchmal danebenliegt und was vor der Freigabe für das Team zu regeln ist. KI an Ihre Dokumente anzuschließen ist nur ein Schritt: Unser Leitfaden zur Einführung von KI im Unternehmen ordnet ihn unter die Entscheidungen ein, die ihm vorausgehen, von der angestrebten Aufgabe bis zur Wahl des Modells.

Kurz gesagt

• Unterhalb von etwa 500 Seiten (Größenordnung, die Anthropic 2024 angab) können Ihre Dokumente vollständig in den Prompt des Modells passen: einen Versuch wert, bevor man ein RAG baut.
• Fine-Tuning verändert das Modell selbst und verlangt erhebliche Rechenressourcen; RAG lässt das Modell unverändert und macht seine Antworten nachvollziehbarer.
• Wenn die Suche die falsche Passage liefert, liegt das Modell daneben: Eine aus ihrem Kontext gerissene Passage oder eine verfehlte exakte Referenz genügen.
• Vor der Freigabe vier Einstellungen: die Zugriffsrechte, die Aktualisierung des Index, die angezeigte Quelle und getestete Antworten.

Wie funktioniert ein RAG?

RAG ist die englische Abkürzung für abrufgestützte Generierung (Retrieval Augmented Generation). Die CNIL, die französische Datenschutzbehörde, beschreibt es in ihren Fragen und Antworten zur generativen KI als die Einbindung eines Mechanismus zur Informationssuche in einer vektorisierten Datenbank, der Antworten liefert, die potenziell spezifischer und leichter zu aktualisieren sind als das Modell selbst. Anthropic beschreibt die Schritte in einem Artikel vom September 2024:

Das Modell lernt nichts aus Ihren Dokumenten: Es liest bei jeder Frage die Auszüge, die man ihm übergibt. Das erlaubt, die Quelle einer Antwort anzuzeigen, und es ist auch die Grenze des Systems: Wenn die Suche die falsche Passage liefert, antwortet das Modell auf Grundlage der falschen Passage. Die CNIL fügt hinzu, dass die Methode mehr Ressourcen und Kompetenzen verlangt als ein unverändert genutztes Modell, sich aber als leichter anpassbar erweist und mehr Nachvollziehbarkeit bietet.

Brauchen Sie wirklich ein RAG?

Nicht immer. Im selben Artikel gibt Anthropic an, dass eine Wissensbasis von weniger als 200 000 Tokens, also etwa 500 Seiten, vollständig in den Prompt des Modells gelegt werden kann, ohne RAG. „Sometimes the simplest solution is the best“, schreibt der Anbieter, manchmal ist also die einfachste Lösung die beste, und er fügte hinzu, dass das Prompt-Caching die Antwortzeit dann mehr als halbierte und die Kosten um bis zu 90 % senkte. Diese Zahlen stammen vom September 2024 und von den Modellen jener Zeit: Sie geben eine Größenordnung, die an den Modellen, die Sie nutzen, erneut zu prüfen ist.

Diese einfache Variante hat ihren Preis: Jede Frage schickt die gesamte Basis an das Modell, und die Rechnung zählt in Tokens. Für Basen, die nicht in das Kontextfenster des Modells passen, ist RAG die übliche Lösung, merkt Anthropic ebenfalls an. Die richtige Reihenfolge besteht also darin, die einfache Variante an Ihren Dokumenten auszuprobieren und dann ein RAG zu bauen, wenn Umfang, Kosten oder Antwortzeit es erfordern.

RAG oder Fine-Tuning: was wählen für Ihre Dokumente?

Fine-Tuning, also Feinabstimmung, besteht laut CNIL darin, die Parameter (Gewichte) eines Modells zu verändern und dabei seine grundlegende Architektur beizubehalten. Es verbessert seine Leistung in einem bestimmten Bereich oder bei spezifischen Anfragen, verlangt aber erhebliche Ressourcen, insbesondere an Rechenkapazität. Die CNIL stellt die beiden Methoden als Optionen zur Verbesserung eines Systems dar, die eine und/oder die andere.

Die letzte Zeile stammt von der CNIL und zählt für ein KMU: Ein Modell mit eigenen Daten feinabzustimmen kann Sie zum Anbieter im Sinne der europäischen KI-Verordnung machen, soweit es diese Feinabstimmung betrifft. Um eine KI auf Grundlage sich ändernder Dokumente antworten zu lassen, mit einer überprüfbaren Quelle, ist RAG also der Ausgangspunkt; Fine-Tuning zielt auf etwas anderes, eine bessere Leistung in einem Bereich oder bei bestimmten Anfragen.

Warum liegt ein RAG manchmal daneben?

Anthropic fasst das Problem zusammen: Klassische RAG-Systeme entfernen beim Kodieren den Kontext der Passagen, was sie oft daran hindert, die richtige Information zu finden. Drei Ursachen lassen sich ausmachen.

Eine aus ihrem Kontext gerissene Passage. Im Beispiel von Anthropic sagt der Auszug aus einem Finanzbericht „The company’s revenue grew by 3% over the previous quarter“, also dass der Umsatz des Unternehmens gegenüber dem Vorquartal um 3 % gestiegen ist, ohne das Unternehmen oder das Quartal zu nennen. Isoliert wird er schwer auffindbar und schwer nutzbar. In Ihren Dokumenten kann das die Klausel eines Vertrags sein, die sagt „die Frist wird auf dreißig Tage verlängert“, ohne zu erwähnen, um welchen Vertrag es geht.

Eine exakte Referenz, die die Suche nach Bedeutung nicht sieht. Embeddings erfassen die Bedeutung, können aber eine exakte Übereinstimmung verfehlen: Bei der Anfrage „Error code TS-999“ kann die Suche nach Bedeutung Passagen über Fehlercodes im Allgemeinen liefern, ohne genau diesen zu finden. Eine Stichwortsuche (die Methode BM25) findet ihn, und beide lassen sich kombinieren. Vertragsnummern und Produktreferenzen sind im selben Fall.

Eine schlecht eingestellte Zerlegung. Die Größe der Passagen, die Stelle, an der man sie schneidet, und ihre Überlappung beeinflussen die Suche. Auch die Zahl der übergebenen Passagen: Anthropic hat 5, 10 und 20 getestet, unter diesen Optionen mit 20 die besten Ergebnisse erzielt und rät, es am eigenen Fall auszuprobieren; zu viel Information kann das Modell auch ablenken.

Um diese Fehlschläge zu verringern, fügt Anthropic jeder Passage vor der Indexierung einige von einem Modell verfasste Kontextsätze hinzu (50 bis 100 Tokens). Auf seinen eigenen Testdatensätzen (Code, Belletristik, wissenschaftliche Artikel) verringert jede hinzugefügte Technik die Fehlschläge:

Das sind Messungen des Anbieters an seinen Daten, aus dem Jahr 2024: eine Größenordnung, kein Versprechen für Ihre Dokumente. Derselbe Artikel erinnert daran, dass man immer messen muss: Unsere Methode, ein KI-Modell vor dem Produktivbetrieb zu bewerten, gilt auch für ein RAG.

Was ist zu regeln, bevor man den Assistenten für das Team freigibt?

Ein RAG im Produktivbetrieb wirft auch organisatorische Fragen auf, die das Modell nicht löst.

1. Die Zugriffsrechte. Der Assistent darf für jede Person nur die Dokumente finden, die sie lesen darf. Ein einziger Index, der Handelsverträge und Personalakten vermischt, antwortet allen mit allem: Die Frage eines Praktikanten kann den Auszug einer Personalakte zutage fördern. Die Rechte werden in der Suche gefiltert, bevor das Modell irgendetwas sieht. Sie Abteilung für Abteilung zu organisieren, mit gemeinsamen Basen für das ganze Unternehmen, ist Gegenstand unseres Leitfadens zur KI-Governance im Unternehmen.
2. Die Aktualisierung des Index. Ein geändertes oder entferntes Dokument muss es auch in der Vektordatenbank sein, sonst zitiert der Assistent selbstsicher ein veraltetes Verfahren. Legen Sie fest, wer aktualisiert und in welchem Rhythmus.
3. Die angezeigte Quelle und das „Ich weiß es nicht“. Die CNIL empfiehlt, Systeme zu bevorzugen, die Halluzinationen begrenzen, indem sie ihre Quellen nennen und die Ausgaben filtern. Jede Antwort muss die Passage zeigen, auf die sie sich stützt, und der Assistent muss sagen, dass er es nicht weiß, wenn keine Passage antwortet.
4. Tests und Nachverfolgung. Eine Reihe echter Fragen mit ihren erwarteten Antworten wird vor der Freigabe durchgespielt, dann bei jedem Wechsel von Modell, Prompt oder Dokumenten. Nach der Freigabe empfiehlt die CNIL, regelmäßig die Meinung der Endnutzer zu Nutzen und Grenzen des Systems einzuholen; unbeantwortet gebliebene Fragen können auf ein fehlendes Dokument hinweisen.

Wohin gehen Ihre Dokumente, wenn der Assistent antwortet?

Bei jeder Frage gehen die gefundenen Auszüge dorthin, wo das Modell läuft, und der Index enthält Ihre zerlegten Dokumente. Das Maß an Kontrolle wählt man also nach den abgefragten Dokumenten: Unser Vergleich der vier Kontrollstufen einer privaten KI stellt die Optionen vor, von der API bis zum Server in Ihren Räumen. Für personenbezogene Daten oder sensible Dokumentation hält die CNIL eine Bereitstellung vor Ort im Allgemeinen für zweckmäßiger und sicherer, merkt aber an, dass deren Kosten ein externes Hosting oft einfacher machen, abgesichert durch einen Auftragsverarbeitungsvertrag.

Womit Sie anfangen

Vier Schritte für den Start:

1. 01Ein Umfang

   Gehen Sie von einem einzigen, klar abgegrenzten Dokumentenbestand aus, zum Beispiel den Verfahren eines Teams, und von den Fragen, die wirklich wiederkehren.

2. 02Die einfache Variante

   Prüfen Sie zuerst, ob alles in den Prompt eines Modells passt.

3. 03Das RAG

   Andernfalls bauen Sie es auf einem ersten Bestand auf und testen seine Antworten.

4. 04Die Freigabe

   Geben Sie es zuerst für eine kleine Gruppe frei, vor dem ganzen Team.

Wenn Sie einen Assistenten wollen, der die Antwort in Ihren Verfahren und Verträgen findet, seine Quelle nennt und sagt, wenn er etwas nicht weiß, baut ihn unser Angebot KI-Assistent für Ihre Dokumente in drei Wochen: Zugriffe pro Team geregelt, Antworten vor der Freigabe getestet und eine selbst gehostete Option inklusive, damit alles auf Ihrem Server oder unserem läuft, in Europa.

Sobald der Assistent in Betrieb ist, wird seine Rechnung wie der Rest gesteuert: Unser Angebot KI zum fairen Preis vertraut jede Aufgabe dem Modell an, das ausreicht, mit einem Budget und Obergrenzen pro Nutzung.

Häufige Fragen

Quellen

1. Ihren Fragen und Antworten zur generativen KI (neuer Tab)cnil.fr
2. Anthropic beschreibt die Schritte (neuer Tab)anthropic.com