Vorlesung 26: Retrieval-Augmented Generation (RAG)

Teil 1 (ca. 20 Minuten) — Warum das trainierte Wissen oft nicht ausreicht und eine bildhafte Einführung in RAG

Sprachmodelle werden durch große Mengen an Texten trainiert. Dieses Training erzeugt ein parametriertes Modell, das Muster, Formulierungen und viele Fakten in seinen Gewichten kodiert. Diese Form des internen Wissens hat jedoch systematische Grenzen: Das Trainingskorpus ist zeitlich begrenzt, es deckt nicht alle Spezialfälle ab und skaliert teuer, wenn man sehr viele seltene Fakten zuverlässig „einprogrammieren“ will. Darüber hinaus ändern sich Fakten mit der Zeit; ein Modell, das nur auf einem statischen Datenstand basiert, bleibt hinter aktuellen Ereignissen zurück. Diese Probleme sind in der Forschungsliteratur als zentrale Motivation für Retrieval-gestützte Verfahren benannt (vgl. Lewis et al., 2020; Guu et al., 2020).

Eine nützliche Analogie ist die einer Bibliothek plus Bibliothekar: Ein rein parametriertes Modell entspricht einem Experten, der viel gelesen und vieles behalten hat, aber nicht jedes einzelne Buch aus der Bibliothek gleichzeitig bei sich trägt. Retrieval-Augmented Generation (RAG) kombiniert diesen internen Experten mit einem schnellen Zugriff auf externe Bücher (einen Dokumentenbestand). Statt allein aus „dem Gedächtnis“ zu antworten, holt das System relevante Quellen aus einem Index und nutzt diese Texte als Unterstützung bei der Antworterzeugung. So lässt sich aktuelleres, spezifischeres oder umfassenderes Wissen verfügbar machen, ohne das ganze Modell neu zu trainieren (Lewis et al., 2020; Guu et al., 2020).

Praktisches Beispiel: Bei einer Frage nach aktuellen Leitlinien einer medizinischen Fachgesellschaft würde ein reines Sprachmodell auf seinen Trainingsstand gestützte, möglicherweise veraltete Formulierungen liefern. Ein RAG-System kann hingegen in einem tagesaktuellen Index nach den relevanten Leitlinienfragmenten suchen und diese Informationen explizit in die Generierung einfließen lassen, was die factualität der Ausgabe verbessern kann (Lewis et al., 2020).

Wichtig ist hierbei, dass Retrieval nicht automatisch perfekte Antworten garantiert. Die Qualität hängt von der Vollständigkeit und Güte des Index, den verwendeten Repräsentationen für Suche (z. B. Schlüsselwort-basierte oder dichte Vektoren) und der Fähigkeit des Generators ab, gefundene Texte korrekt zu integrieren. Diese Abhängigkeiten sind Kernthemen der folgenden Abschnitte (Karpukhin et al., 2020; Hugging Face Dokumentation).

Teil 2 (ca. 20 Minuten) — Technische Funktionsweise und Fachbegriffe

Retrieval-Augmented Generation ist ein Architekturprinzip mit zwei klaren funktionalen Teilen: dem Retriever und dem Generator (auch Reader genannt). Der Retriever durchsucht eine externe Wissensbasis und liefert eine kleine Menge relevanter Dokumente oder Textfragmente. Der Generator nimmt diese Treffer als zusätzlichen Kontext und erzeugt auf dieser Grundlage die Antwort. Die grundlegende Idee ist in mehreren Forschungsarbeiten ausgearbeitet worden; wichtige Beiträge sind REALM (Google Research, 2020), Dense Passage Retrieval (DPR, Karpukhin et al., 2020) und das RAG-Framework (Lewis et al., 2020).

Zum Retriever: Es gibt klassische, auf Schlüsselwörtern basierende Methoden wie BM25 sowie neuere dichte (dense) Verfahren, die Texte und Anfragen als Vektoren in einem hochdimensionalen Raum abbilden. Bei dichten Verfahren werden Einbettungsmodelle genutzt, die semantische Ähnlichkeit besser als einfache Schlüsselwortübereinstimmung erfassen können; ein prominentes Beispiel für diesen Ansatz ist DPR, das Frage- und Passagen-Encoder getrennt trainiert, um passende Passage-Vektoren zu finden (Karpukhin et al., 2020). Für die Suche in großen Korpora werden diese Vektoren in Vektorindizes gespeichert und mit Bibliotheken wie FAISS effizient durchsucht (Facebook AI Research, FAISS-GitHub).

Zum Generator: Moderne RAG-Varianten koppeln den Retriever an einen autoregressiven Sprachgenerator (z. B. Transformer-basierte Modelle). Zwei Varianten, wie sie im Originalpapier beschrieben werden, sind RAG-Sequence und RAG-Token. In RAG-Sequence erzeugt der Generator für jede gelesene Passage eine Wahrscheinlichkeitsverteilung über Antworten und kombiniert diese dann; in RAG-Token werden Beiträge der verschiedenen Passagen bereits beim Erzeugen einzelner Tokens kombiniert. Beide Verfahren ermöglichen, dass die Generierung direkt von den abgerufenen Texten beeinflusst wird; das RAG-Paper erläutert Vor- und Nachteile und zeigt Trainingsmöglichkeiten, etwa end-to-end-Optimierung, wenn Retriever- und Generator-Komponente gemeinsam differenzierbar gemacht werden (Lewis et al., 2020).

Indexierung und Infrastruktur: Ein praktisches RAG-System benötigt einen gepflegten Dokumentenindex, Mechanismen zur Aktualisierung und einen effizienten Vektor-Suchdienst. FAISS ist eine verbreitete Open-Source-Bibliothek für Approximate Nearest Neighbor Search, die in vielen Implementierungen als Basis dient. Die Qualität des Index entscheidet maßgeblich über die Relevanz der abgerufenen Belege; unvollständige oder schlecht segmentierte Texte führen zu Irrelevanz und damit zu fehlerhaften Antworten (Facebook AI Research; Hugging Face Dokumentation).

Evaluation und Zuverlässigkeit: In Benchmark-Tests konnte RAG bei wissensintensiven Aufgaben die Genauigkeit gegenüber rein parametischen Modellen verbessern, weil konkrete Textausschnitte als evidence für Antworten zur Verfügung stehen. Allerdings sind Benchmarks nur ein Teilaspekt; in realen Anwendungen spielen Robustheit, Latenz und die Fähigkeit, Quellen korrekt zu zitieren, eine große Rolle. Die Forschung weist darauf hin, dass Retrieval die factualität erhöht, aber zugleich neue Fehlerquellen einführt — etwa wenn irrelevante oder widersprüchliche Passagen abgerufen werden (Lewis et al., 2020; Karpukhin et al., 2020).

Teil 3 (ca. 10 Minuten) — Anwendungen, Grenzen und kleine Denkaufgaben

Anwendungen: RAG-Ansätze werden insbesondere bei Open-Domain-Question-Answering, bei assistiven Systemen für Recherche, bei kundenspezifischen Chatbots mit Unternehmenswissen und bei summarischen Aufgaben eingesetzt, wenn externe Texte zur Beantwortung herangezogen werden sollen. Die Möglichkeit, einen firmeninternen Dokumentensatz oder eine tagesaktuelle Wissenssammlung zu indizieren, macht RAG für produktive Lösungen attraktiv, weil das generierte Output leichter auf konkrete Quellen zurückgeführt werden kann (Hugging Face Dokumentation; Lewis et al., 2020).

Wesentliche Grenzen und Risiken: Erstens bleibt Retrieval fehleranfällig; ein schlechter Index oder unpassende Embeddings führen zu irrelevanten Treffern. Zweitens sind Retrievel-Nutzer mit Latenz und Kosten konfrontiert: Vektor-Suche und wiederholte Kontext-Verarbeitung erhöhen Rechenbedarf. Drittens schützt RAG nicht vollständig vor Halluzinationen: Wenn der Generator Informationen frei kombiniert oder Schlüsse zieht, die nicht durch die abgerufenen Dokumente gestützt sind, bleiben falsche Ausgaben möglich — RAG reduziert dieses Risiko zwar, eliminiert es aber nicht (Lewis et al., 2020). Viertens besteht ein organisatorischer Aufwand: Indexpflege, Aktualisierung, Zugangskontrolle und Datenschutz müssen operational gelöst werden, insbesondere bei sensiblen Unternehmensdaten. Schließlich gibt es rechtliche und ethische Fragen zur Quellenverwendung, Zitierbarkeit und Verantwortlichkeit bei Fehlern.

Kleine Denkaufgaben zur Festigung:

1) Stellen Sie sich vor, ein RAG-basiertes Kundencenter nutzt als Index die Produktdokumentation von vor einem Jahr. Beschreiben Sie kurz drei konkrete Fehlerquellen, die durch veraltete Dokumente entstehen können, und schlagen Sie zwei Maßnahmen vor, um sie zu mindern. (Hinweis: Denken Sie an statische Fakten, Preisänderungen und neue Sicherheitswarnungen.)

2) Ein RAG-System gibt eine Antwort mit Zitaten aus mehreren Dokumenten, die sich widersprechen. Welche Strategien könnten Sie dem Generator an die Hand geben, damit er Widersprüche erkennt oder explizit kennzeichnet? (Hinweis: Explizites Verweisen auf Quellen, Unsicherheitsformulierungen, Zurückhaltung bei schlüssigen Aussagen.)

3) In welchem Maße hilft ein dichter Vektorindex (DPR) gegenüber einer reinen Schlüsselwortsuche (BM25) bei semantisch formulierten Anfragen? Diskutieren Sie Vor- und Nachteile je nach Domäne und Datenqualität.

Diese Denkaufgaben sind bewusst offen; es gibt keine pauschalen Lösungen, aber sie sollen dazu anregen, die technischen Mechanismen mit organisatorischen Anforderungen zu verbinden und die verbleibenden Unsicherheiten von RAG-basierten Systemen kritisch zu prüfen.