RAG – Retrieval-Augmented Generation

Kurz erklärt

RAG verbindet ein Sprachmodell mit zusätzlichen Wissensquellen. Vor der Antwort sucht das System passende Informationen und legt sie in den aktuellen Kontext, damit das Modell auf dieser Grundlage antworten kann.

Die Abkürzung steht für Retrieval-Augmented Generation – sinngemäß: durch Informationssuche ergänzte Texterzeugung.

Welches Problem löst RAG?

Ein Sprachmodell kennt nicht automatisch aktuelle, interne oder organisationsspezifische Informationen. Sein Trainingswissen kann veraltet oder für eine konkrete Frage zu allgemein sein.

RAG stellt relevante Inhalte zur Anfrage bereit, ohne das Modell dafür neu zu trainieren. Typische Quellen sind Handbücher, Richtlinien, Protokolle, Webseiten oder strukturierte Wissenssammlungen.

Wie funktioniert RAG?

Ein vereinfachter Ablauf:

Frage
  ↓
Suche in freigegebenen Wissensquellen
  ↓
passende Textabschnitte
  ↓
Frage + Fundstellen im Kontextfenster
  ↓
Sprachmodell
  ↓
Antwort, möglichst mit Quellen

Vorbereitend werden Dokumente häufig per OCR lesbar gemacht, durch Chunking in Abschnitte geteilt und als Embeddings für eine semantische Suche repräsentiert.

Bei einer Frage sucht das System passende Chunks. Diese werden zusammen mit dem Prompt in das Kontextfenster eingefügt. Das Sprachmodell formuliert daraus eine Antwort.

Konkretes Beispiel

Eine Kollegin fragt:

Welche Schritte gelten bei einer kurzfristigen Umbesetzung?

Das System sucht in freigegebenen Produktionsleitfäden nach inhaltlich passenden Abschnitten. Es findet eine aktuelle Verfahrensbeschreibung und übergibt die relevanten Stellen an das Modell. Die Antwort fasst die Schritte zusammen und verweist auf die Quelle.

Ohne RAG könnte das Modell nur allgemeine Abläufe vermuten. Mit RAG kann es die interne Regelung berücksichtigen – vorausgesetzt, das richtige Dokument ist vorhanden, aktuell und wurde gefunden.

RAG ist eine Kette mit mehreren möglichen Fehlerstellen

Die Antwort kann scheitern, wenn:

das benötigte Dokument nicht in der Wissensquelle liegt,
die Texterkennung fehlerhaft ist,
Abschnitte ungünstig geschnitten wurden,
die Suche die passende Stelle nicht findet,
zu viele irrelevante Fundstellen den Kontext überladen,
oder das Modell die bereitgestellten Stellen falsch zusammenfasst.

Deshalb sollte ein gutes System Fundstellen sichtbar machen und Unsicherheit beziehungsweise fehlende Informationen benennen.

Was RAG nicht ist

RAG verändert normalerweise nicht die Modellparameter. Es ist also kein Fine-Tuning. Die Informationen werden bei einer Anfrage in den aktuellen Kontext geladen.

RAG ist auch keine Garantie gegen Halluzinationen. Es kann deren Risiko verringern, wenn gute Quellen gefunden und sinnvoll verwendet werden.

Warum ist das wichtig?

RAG ermöglicht organisationsbezogene KI-Anwendungen, ohne jedes neue Dokument in ein Modell eintrainieren zu müssen. Quellen können vergleichsweise schnell ergänzt oder aktualisiert werden. Zugriffsrechte, Aktualität und Qualität der Dokumente bleiben jedoch entscheidend.

Zusammenhang mit anderen KI-Begriffen

Eine Wissensquelle enthält die zugelassenen Inhalte.
Chunking bereitet lange Dokumente für die Suche auf.
Embeddings ermöglichen Ähnlichkeitsvergleiche.
Eine Vektordatenbank kann Embeddings und Metadaten speichern.
Die semantische Suche findet inhaltlich passende Textstellen.

Typisches Missverständnis

Missverständnis: Mit RAG hat das Sprachmodell die Wissensquelle dauerhaft gelernt.

RAG reicht ausgewählte Informationen für die aktuelle Anfrage an das Modell weiter. Werden sie bei einer späteren Anfrage nicht erneut bereitgestellt, stehen sie dem Modell nicht automatisch zur Verfügung.

Merksatz

RAG sucht zuerst relevantes Wissen und gibt es dem Sprachmodell als Grundlage für die Antwort.