Einführung
In dieser Vorlesung geht es um ein zentrales praktisches Problem moderner Sprachmodelle: das Phänomen, dass Modelle gelegentlich überzeugend formulierte, aber falsche oder nicht belegbare Aussagen generieren. Solche Fehlinformationen werden in der Fachliteratur meist als "Halluzinationen" bezeichnet. Die folgenden Abschnitte erklären, warum das geschieht, warum die Antworten oft plausibel wirken, wie man Halluzinationen erkennen kann und welche Ansätze es zur Reduktion gibt. Wo möglich stütze ich mich auf wissenschaftliche Publikationen und technische Berichte; offene Forschungsfragen werden deutlich benannt (siehe Quellenangaben am Ende).
Teil 1 (20 Minuten): Grundverständnis mit Analogien und Beispielen
Stellen Sie sich ein modernes Sprachmodell wie einen sehr gut trainierten Autocomplete-Dienst vor. Sein Trainingsziel ist nicht, "Wahrheit" zu garantieren, sondern die nächstwahrscheinliche Fortsetzung eines Textes zu prognostizieren, basierend auf Mustern im Trainingsmaterial. Daraus folgt, dass das Modell Sätze erzeugt, die statistisch konsistent und stilistisch passend sind, auch wenn die behaupteten Fakten nicht mit der Realität übereinstimmen. Dieser Mechanismus erklärt grundlegend, warum Modelle "erfinden" können: sie erzeugen kohärente Fortsetzungen, nicht geprüfte Tatsachenaussagen (vgl. OpenAI, 2023; Bender et al., 2021).
Ein alltägliches Beispiel: Wenn ein Modell nach der Entstehung einer wissenschaftlichen Theorie gefragt wird und die Trainingsdaten nur lückenhaft sind, kann es eine komplett kohärente, aber falsche Entstehungsgeschichte konstruieren, die in Ton und Struktur plausibel wirkt. Die Plausibilität entsteht, weil das Modell Sprachmuster und typische Erklärungsstrukturen gelernt hat; Plausibilität ist aber nicht dasselbe wie Faktentreue.
In der Forschung wird außerdem herausgestellt, dass Sprachmodelle menschliche Fehlinformationen nachahmen können: wenn das Trainingsmaterial Fehlinformationen enthält, hat das Modell keinen inhärenten Mechanismus, diese systematisch zu korrigieren (vgl. Lin et al., 2022). Das bedeutet: Ein Modell spiegelt teilweise Verteilungen und Fehler aus seinen Daten wider.
Teil 2 (20 Minuten): Tieferer Blick und Fachbegriffe
Um die Ursachen und Gegenmaßnahmen sachlich zu fassen, sind einige Fachbegriffe wichtig. "Decoding" bezeichnet die Methode, mit der das Modell aus Wahrscheinlichkeitsverteilungen konkrete Textausgaben erzeugt (z. B. greedy, beam search, sampling, Temperatursteuerung). Einige Decoding-Strategien erhöhen die Wahrscheinlichkeit, dass das Modell sichere, aber potentiell faktisch falsche Aussagen macht; andere fördern Vielfalt, was wiederum überraschende Fehler erzeugen kann. Die Trainingsloss‑Funktion (typischerweise Next‑Token‑Prediction) belohnt vor allem Konsistenz mit den Trainingsmustern, nicht notwendigerweise faktische Richtigkeit (OpenAI, 2023).
Ein weiterer wichtiger Begriff ist "Grounding". Grounding beschreibt, ob eine Aussage des Modells auf verifizierbaren Quellen beruht oder rein intern aus Sprachmustern generiert wird. Ansätze zur Verbesserung der Grounding-Qualität umfassen Retrieval-basierte Verfahren: das Modell nutzt externe Wissensquellen zur Ermittlung von Fakten, bevor es antwortet. Forschungsarbeiten zu Retrieval-gestützten Modellen dokumentieren, dass eine gezielte Integration von relevanten Dokumenten die Factuality verbessern kann, ohne jedoch Halluzinationen vollständig zu eliminieren (Lewis et al., 2020).
"RLHF" (Reinforcement Learning from Human Feedback) ist ein Trainingsverfahren, das Modelle auf Präferenzen von Menschen abstimmt, etwa auf Verständlichkeit oder Sicherheitsregeln. Technische Berichte großer Modelle weisen aus, dass RLHF das Verhalten in Dialogen verbessert, aber nicht alle Arten von Halluzinationen zuverlässig verhindert; Modelle bleiben anfällig für unbeabsichtigte falsche Aussagen, besonders bei anspruchsvollen oder außerhalb des Trainingsdatenbereichs liegenden Faktenfragen (OpenAI, 2023).
Warum wirken falsche Antworten oft überzeugend? Drei zusammenwirkende Faktoren sind dabei entscheidend: erstens die hohe sprachliche Kohärenz moderner Modelle; zweitens die Neigung, definitive Formulierungen zu verwenden (ohne unsicher zu relativieren); drittens das Fehlen intrinsischer Faktenprüfungsmechanismen in der Next‑Token‑Vorhersage. Die Literatur sieht hier einen Konsens, dass diese Faktoren zusammen die Entstehung überzeugend klingender Fehlinformationen begünstigen (Bender et al., 2021; OpenAI, 2023).
Teil 3 (10 Minuten): Anwendungen, Grenzen und Denkaufgaben
In der Praxis bedeuten diese Eigenschaften: Sprachmodelle sind nützlich für Formulierungshilfen, Ideengenerierung, Übersetzungen und erste Recherchen, dürfen aber bei faktisch kritischen Entscheidungen nicht ohne Überprüfung eingesetzt werden. Technische Gegenmaßnahmen, die in der Forschung und Industrie diskutiert und zum Teil implementiert werden, umfassen Retrieval-Augmented Generation (RAG), gezielte Feintuning‑Datensätze mit höherer Faktentreue, sowie System-Designs, die Modellantworten mit Quellenangaben koppeln. Diese Maßnahmen reduzieren die Rate von Halluzinationen, schaffen sie jedoch nicht vollständig ab; die Forschung hierzu ist aktiv und es gibt noch offene Fragen zur Messbarkeit und zur Vergleichbarkeit von Methoden (Lewis et al., 2020; OpenAI, 2023).
Praktische Prüfregeln für Anwenderinnen und Anwender sind: lassen Sie sich Quellen nennen und prüfen Sie diese unabhängig; verlangen Sie präzise Formulierungen statt allgemeiner Behauptungen; verwenden Sie Retrieval-basierte Systeme, wenn verifizierbare Fakten nötig sind; und behandeln Sie umfassende oder Entscheidungskritische Auskünfte als vorläufig, bis sie extern verifiziert sind. Diese Regeln sind pragmatische Empfehlungen, die sich aus dem derzeitigen Stand der Forschung ableiten lassen (vgl. OpenAI, 2023; Lewis et al., 2020).
Kleine Denkaufgaben zum Nachdenken: 1) Überlegen Sie, welche Arten von Fragen ein Sprachmodell mit hoher Sicherheit beantworten kann, und welche eher erhöhte Prüfung erfordern. 2) Formulieren Sie eine Anfrage an ein Modell so um, dass es Quellen angeben und Unsicherheit kommunizieren muss. 3) Prüfen Sie an einem Beispiel, wie sich die Antwort ändert, wenn dieselbe Frage mit und ohne Retrieval-Unterstützung gestellt wird. Diese Aufgaben dienen dazu, Sensibilität für das Problem zu schärfen; konkrete Effekte hängen vom eingesetzten Modell und der Systemkonfiguration ab.
Offene Forschungsfragen und Unsicherheiten: Es besteht kein vollständiger Konsens über das genaue Zusammenspiel aller Ursachen für Halluzinationen und über die beste Kombination von Gegenmaßnahmen für unterschiedliche Anwendungsfälle. Insbesondere ist noch nicht abschließend geklärt, wie sich skalierende Modellgrößen auf die Art von Halluzinationen auswirken und welche Evaluationsmetriken die praktische Faktentreue zuverlässig abbilden. Diese Lücken werden von der Community aktiv untersucht (Kennzeichnung von Unsicherheiten gemäß den Quellen).