Retrieval Augmented Generation: RAG für Unternehmenswissen erklärt

Retrieval Augmented Generation, kurz RAG, verbindet Informationssuche mit Textgenerierung. Eine Anwendung sucht passende Inhalte und gibt sie einem Sprachmodell als Kontext für die Antwort. Für Unternehmen ist das beispielsweise ein Weg, Fragen anhand freigegebener Handbücher oder Richtlinien zu bearbeiten, ohne diese Informationen durch ein neues Modelltraining einzubringen.

RAG garantiert keine richtige Antwort. Suche, Quellenqualität und Antwortprüfung bleiben eigenständige Aufgaben. Dieser Artikel erklärt Aufbau, Grenzen und Auswahlfragen; das Praxisbeispiel ist fiktiv und kein Leistungsnachweis.

Zur Vertiefung: fehlende und widersprüchliche Quellen behandeln.

Was bedeutet RAG?

Die Forschungsarbeit von Lewis und Mitautoren beschreibt die Verbindung eines generierenden Modells mit abrufbarem externem Wissen. Sie ist eine Grundlage des Begriffs, kein Beleg für die Qualität einer konkreten Unternehmensanwendung. Quelle: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks.

In einer betrieblichen Anwendung enthält der Kontext zum Beispiel passende Ausschnitte aus einer gültigen Richtlinie. Die Antwort muss erkennen lassen, welche Fassung verwendet wurde. Fehlt die Information, darf das Modell keine betriebliche Regel erfinden.

RAG ist nicht gleichbedeutend mit einer Vektordatenbank. Der Abruf kann unterschiedliche Suchverfahren nutzen. Microsoft beschreibt unter anderem klassische und agentische Retrieval-Ansätze sowie die Verbindung mit Azure AI Search in der RAG-Übersicht.

Wie funktioniert RAG im Unternehmen?

Nicht jedes Dokument muss sofort angebunden werden. Beginne mit einer begrenzten, gepflegten Quelle und konkreten Fragen. Der Aufbau einer KI-Wissensdatenbank vertieft Quellenpflege und Zuständigkeit.

Beispiel: Eine Frage zur internen Reiseregel beantworten

Fiktive Quelle: "Reiserichtlinie, Version 3, gültig ab 1. Oktober 2026. Hotelkosten bis 140 Euro pro Nacht können nach dem beschriebenen Buchungsverfahren erstattet werden. Höhere Beträge benötigen eine vorherige Freigabe. Die Richtlinie gilt für Inlandsreisen."

Frage: "Kann ich ein Hotel für 165 Euro buchen und abrechnen?"

Eine brauchbare Antwort nennt die vorherige Freigabe für den höheren Betrag und den Geltungsbereich. Sie bestätigt keine automatische Erstattung. Fehlt die Information, ob es eine Inlandsreise ist, muss sie dies offenlassen oder nachfragen.

Die Referenz für diesen Fall ist redaktionell formuliert. Die Quelle ist fiktiv. Die Anwendung muss zusätzlich zeigen, ob sie tatsächlich Version 3 abgerufen hat und ob die anfragende Person diese Quelle lesen darf.

Ein Fehlerfall ergänzt eine ältere Fassung mit einer anderen Grenze. Die Anwendung darf die Werte nicht mischen. Sie muss den Geltungsbereich und die gültige Fassung prüfen beziehungsweise den Konflikt zur Klärung geben.

RAG-Architektur: Welche Bausteine wirklich nötig sind

Ein einfacher Aufbau verbindet Suche, Kontextübergabe und Antwort. Unter Begriffen wie "Naive RAG" wird häufig dieser Grundablauf beschrieben. Zusätzliche Komponenten wie hybride Suche oder eine zweite Sortierung der Treffer können passende Ergebnisse unterstützen. Ob sie nötig sind, muss ein Vergleich mit euren Fragen zeigen.

Ein modularer Aufbau trennt Quellenanbindung, Suche, Antwort und Prüfung. Ein agentischer Aufbau lässt die Anwendung abhängig von der Frage weitere Abrufe auswählen. Das erweitert die Möglichkeiten, aber auch die zu prüfenden Fehlerwege. Eine bestimmte Dokumentzahl allein entscheidet nicht über die Architektur.

Berechtigungen müssen vor der Offenlegung wirken. Es reicht nicht, erst nach der Generierung vertrauliche Wörter aus der Antwort zu entfernen. Prüfe den Abruf mit verschiedenen Testkonten und dokumentiere, welche Inhalte jeweils erreichbar sind.

RAG, langer Kontext und Fine-Tuning vergleichen

Ein fehlendes oder veraltetes Dokument verschwindet nicht durch Fine-Tuning. Eine Suche löst wiederum nicht automatisch Probleme mit unklaren Regeln. Prüfe zuerst, ob die Quelle die fachliche Frage überhaupt beantwortet.

Qualität von Suche und Antwort getrennt messen

Lege Fragen mit bekannten Quellen und erwarteten Antworten an. Ergänze Fragen ohne Antwort, widersprüchliche Fassungen und unzulässige Zugriffe. Die fachliche Verantwortung bestimmt, welche Fehler eine Freigabe ausschliessen.

Bei der Suche prüfst du, ob relevante Stellen gefunden wurden und wie viele irrelevante Treffer dabei sind. Bei der Antwort prüfst du, ob jede Aussage aus dem verwendeten Kontext folgt, ob Bedingungen fehlen und ob die Quellenangabe stimmt. Eine allgemeine Prozentgrenze ersetzt diese aufgabenspezifische Abnahme nicht.

Die Checkliste für KI-Ergebnisse hilft bei der Antwortprüfung. Für einen konkreten betrieblichen Einsatz zeigt der Wissensassistent im Service, wie Quelle und Übergabe zusammenpassen.

Was RAG-Implementierung und Betrieb kostet

Die Kosten hängen von Quellenanzahl, Dokumentqualität, Berechtigungen, Anfragen und notwendigen Integrationen ab. Zur Einführung zählen Aufbereitung, Anbindung, Testfragen und Bedienung. Im Betrieb kommen Suche, Modellnutzung, Quellenpflege und Fehlerbearbeitung hinzu.

Vergleiche Plattform und Eigenentwicklung mit denselben Anforderungen. Ein günstiger Nutzerpreis deckt möglicherweise weder Quellenaufbereitung noch individuelle Anbindung ab. Ein eigener Aufbau braucht dauerhaft technische Verantwortung. Preise und Vertragsbedingungen müssen beim konkreten Anbieter geprüft werden.

Ein fiktiver Testumfang mit einer Richtlinie und ausgewählten Fragen hilft, den Aufwand zuerst sichtbar zu machen. Daraus folgt noch keine allgemeine Rollout-Dauer oder Einsparung für das ganze Unternehmen.

Vom Chat mit Unternehmenswissen zur nutzbaren Antwort

Mitarbeiter müssen erkennen, welche Quelle verwendet wurde, wo eine Antwort unsicher bleibt und an wen sie Rückfragen geben. Eine neue Suchoberfläche ohne diese Arbeitsweise schafft noch keine belastbare Auskunft.

Wenn zuerst Quellen und Aufgaben geklärt werden müssen, hilft die Pilot-Entscheidungsvorlage. Wenn ein vorhandener Assistent bereits bereitsteht, aber das Team Antworten ungeprüft übernimmt, setzt die KI-Schulung für Mitarbeiter an der Anwendung und Ergebnisprüfung an.

Häufige Fragen

Wofür steht RAG?

RAG steht für Retrieval Augmented Generation. Eine Anwendung ergänzt die Modellanfrage um abgerufene Informationen und erstellt daraus eine Antwort.

Verhindert RAG falsche Antworten?

Nein. Die Suche kann falsche Quellen liefern und die Antwort kann diese falsch wiedergeben. Quellen, Berechtigungen und Aussagen müssen getrennt geprüft werden.

Braucht RAG immer eine Vektordatenbank?

Nein. Die Architektur kann unterschiedliche Suchverfahren nutzen. Die Auswahl richtet sich nach Quellen, Fragen und nachgewiesenen Lücken im Test.