Vorlesung 19: RLHF — Warum menschliches Feedback für Sprachmodelle?

Teil 1 (20 Minuten) — Grundidee, Motivation und anschauliche Beispiele

Große Sprachmodelle werden durch Vortraining auf großen Textmengen so trainiert, dass sie das nächste Wort vorhersagen können. Dieses Ziel allein macht die Modelle zu guten Mustergenerierern, aber nicht automatisch zu guten Gesprächspartnern oder zuverlässigen Helfern für spezifische menschliche Ziele. Rein durch Vorhersage trainierte Modelle können Antworten liefern, die faktisch falsch, gefährlich, unhöflich oder schlicht für einen bestimmten Nutzungszweck ungeeignet sind.

Die Grundidee von RLHF (Reinforcement Learning from Human Feedback) ist, Menschen zu nutzen, um ein Modell darin zu leiten, welche der möglichen Antworten erwünscht sind. Eine hilfreiche Analogie ist das Training eines Assistenten: Zuerst lernt der Assistent allgemeine Sprache (Vortraining). Dann gibt man ihm beispielhafte Anweisungen und korrigiert Antworten (Supervised Fine-Tuning). Schließlich beurteilen Menschen alternative Antworten und sagen, welche besser sind; daraus wird ein Bewertungsmaß (Reward) gelernt, und das Modell wird so angepasst, dass es Antworten erzeugt, die laut diesem Maß höher bewertet werden. Diese mehrstufige Vorgehensweise ist in der Praxis gebräuchlich und wurde in technischen Berichten und Artikeln beschrieben (vgl. Ouyang et al., 2022; Christiano et al., 2017).

Konkretes Beispiel: Für die Aufgabe "Fasse diesen Text kurz zusammen" kann ein vortrainiertes Modell lange, unklare oder irrelevante Zusammenfassungen produzieren. Menschen vergleichen paarweise verschiedene Zusammenfassungen und wählen die bessere aus. Aus diesen Paarentscheidungen wird ein Belohnungsmodell trainiert, das eine bessere Approximation menschlicher Präferenzen liefert. Anschließend wird das Sprachmodell mit Hilfe von RL-Methoden so angepasst, dass es Antworten mit höherem Belohnungswert produziert. In Veröffentlichungen wurde berichtet, dass sich auf diese Weise die wahrgenommene Qualität und Nützlichkeit der Antworten verbessert (vgl. Stiennon et al., 2020; Ouyang et al., 2022).

Warum ist menschliches Feedback nötig? Kurz zusammengefasst: Weil Menschen komplexe, oft nicht formal definierte Präferenzen haben (z. B. Angemessenheit, Kürze, Freundlichkeit, Genauigkeit), die schwer in eine Verlustfunktion für das Vortraining zu kodifizieren sind. Menschliches Feedback liefert direkte Signale über diese Präferenzen, die ein reines Vorhersageziel nicht liefert.

Teil 2 (20 Minuten) — Technischer Tiefgang und Fachbegriffe

Die RLHF-Pipeline lässt sich in drei Hauptschritte gliedern, wie in technischen Arbeiten beschrieben (Christiano et al., 2017; Ouyang et al., 2022):

1) Supervised Fine-Tuning (SFT): Auf Grundlage menschlicher Demonstrationen oder korrigierter Antworten wird das Modell zunächst per überwachtem Lernen an gewünschtes Verhalten angenähert. Dieser Schritt stabilisiert das Modell und liefert eine gute Ausgangs-Policy für spätere Optimierung.

2) Reward Modeling: Menschen vergleichen paarweise Modellantworten oder bewerten Antworten auf einer Skala. Aus diesen Vergleichsdaten wird ein separates Modell trainiert, das für eine gegebene Eingabe und Ausgabe einen numerischen "Reward" vorhersagt. Dieses Belohnungsmodell ist eine Schätzung menschlicher Präferenzen und ersetzt im RL-Prozess die direkte, aber teure menschliche Bewertung.

3) Reinforcement Learning (Policy Optimization): Das Sprachmodell (Policy) wird mit einer RL-Methode angetrieben, um Aktionen (Wortfolgen) zu erzeugen, die laut dem Belohnungsmodell hohe Scores erhalten. In der Praxis wird häufig Proximal Policy Optimization (PPO) oder eine verwandte policy-gradient-Methode verwendet. Dabei ist es üblich, eine Regularisierung einzubauen, etwa eine Kullback-Leibler-(KL-)Strafe gegenüber der Ausgangs-Policy, damit das Modell nicht zu stark von dem SFT-Stand wegdriftet und dadurch seine Sprachqualität verliert (vgl. Ouyang et al., 2022).

Wichtige Fachbegriffe (kurze Definitionen):

Policy: Das Modell, das basierend auf einer Eingabe eine Verteilung über mögliche Ausgaben erzeugt. Im Kontext von Sprachmodellen ist die Policy die Wahrscheinlichkeitsverteilung über nächste Token.

Reward Model (Belohnungsmodell): Ein Modell, das eine numerische Bewertung vorhersagt, die menschliche Präferenzen approximiert. Das Reward Model wird aus menschlichen Paarvergleichsdaten oder Bewertungen trainiert (Christiano et al., 2017).

Preference Data (Präferenzdaten): Paarweiser Vergleich oder Bewertungsdaten, die Menschen erzeugen, indem sie zwei oder mehrere Antworten vergleichen und die bessere auswählen. Solche Daten sind die Grundlage für das Training des Reward Models.

Policy Optimization / PPO: RL-Algorithmen, die die Policy so ändern, dass erwarteter Reward maximiert wird. PPO ist in der Praxis gebräuchlich, weil es stabilere Updates erlaubt als einfache Policy-Gradient-Verfahren.

KL-Regularisierung: Eine Zusatzbedingung, die dafür sorgt, dass die aktualisierte Policy nicht zu weit von der Ausgangs-Policy abweicht. Diese Regularisierung mindert Qualitätsverluste und verhindert zu starke Exploits des approximativen Reward Models (Ouyang et al., 2022).

Wesentliche Vorteile, die in der Literatur berichtet werden: RLHF kann Modelle in Richtung gewünschter Verhaltensweisen bringen, die schwer formalisierbar sind; es verbessert die Nutzbarkeit in Dialog- und Instruktionsaufgaben und reduziert bestimmte unerwünschte Antworten, sofern das Reward Model und die Präferenzdaten repräsentativ sind (Ouyang et al., 2022; Stiennon et al., 2020).

Gleichzeitig existieren technische Fallen und Limitationen, die in der Forschung diskutiert werden: Reward Hacking (das Modell findet eine Strategie, die hohen geschätzten Reward liefert, aber menschliche Intuition nicht erfüllt), Verlässlichkeit des Reward Models (es kann systematisch falsche Präferenzen lernen), Skalierbarkeit (menschliche Bewertungen sind teuer), Bias in den Präferenzen (menschliche Gutachter sind nicht neutral) und Distributional Shift (die Policy erzeugt Antworten außerhalb der Verteilung, auf denen das Reward Model trainiert wurde). Viele dieser Punkte werden explizit in den grundlegenden Arbeiten thematisiert (Christiano et al., 2017; Ouyang et al., 2022).

Zur Einordnung: Reinforcement-Learning-Grundbegriffe wie Reward, Policy und Value sind in Lehrbüchern formalisiert (Sutton & Barto, 2018). RLHF nutzt diese Konzepte, ersetzt aber die klassische, explizit definierte Reward-Funktion meist durch ein gelerntes, menschenbasiertes Reward Model.

Teil 3 (10 Minuten) — Anwendungen, Grenzen und Denkaufgaben

Konkrete Anwendungen: Ein prominentes Beispiel ist das System InstructGPT/ähnliche Instruct-Versionen großer Sprachmodelle, die mittels RLHF gezielt dafür optimiert wurden, Anweisungen besser zu befolgen und hilfreicher zu antworten (siehe Ouyang et al., 2022; OpenAI Blog zur Instruct-Reihe). In der Forschung wurde RLHF außerdem erfolgreich eingesetzt, um automatische Textzusammenfassung an menschliche Präferenzen anzupassen (Stiennon et al., 2020) und in zahlreichen anderen Instruktions- und Dialogszenarien.

Wesentliche Grenzen und offene Probleme:

- Messbarkeit und Generalisierbarkeit: Das Reward Model ist eine Näherung; wenn die Policy neue, unerwartete Strategien verfolgt, kann das Reward Model diese falsch bewerten (Distributional Shift). Diesen Punkt betonen sowohl methodische Arbeiten (Christiano et al., 2017) als auch Anwendungen (Ouyang et al., 2022).

- Kosten und Skalierbarkeit: Hochwertige menschliche Präferenzdaten sind teuer zu erheben. In der Literatur werden verschiedene Kompromisse diskutiert, etwa aktive Auswahl der Bewertungsbeispiele oder den Einsatz von annotator-Modelle, aber eine vollständige Lösung fehlt.

- Bias und Divergenz menschlicher Präferenzen: Präferenzen sind kulturell und kontextabhängig; ein Reward Model spiegelt die Vorurteile der Themengestalter und Gutachter wider. Dies ist ein dokumentiertes Risiko bei der Anwendung von RLHF.

- Sicherheit und "Reward Hacking": Ein Modell kann Wege finden, den approximierten Reward zu maximieren, ohne das zugrundeliegende menschliche Ziel zu erfüllen. Solche Failure Modes sind sowohl praktisch dokumentiert als auch theoretisch erwartet (Christiano et al., 2017; Diskussionen in Ouyang et al., 2022).

Kurze Denkaufgaben (zur Diskussion oder als kurze Arbeitsaufträge):

1) Sie sollen ein Reward Model für höfliche E-Mail-Antworten entwerfen. Welche Fragen würden Sie Gutachtern stellen, um Paarvergleichsdaten zu generieren, und welche Risiken sehen Sie dabei? (Erwartete Überlegung: Präzision der Anweisungen an Gutachter, Definition von Höflichkeit, Repräsentativität und Bias.)

2) Nennen Sie eine mögliche Form von "Reward Hacking" für eine Zusammenfassungsaufgabe und schlagen Sie eine Maßnahme vor, sie zu mindern. (Beispielüberlegung: Modell erzeugt sehr kurze, inhaltsarme Zusammenfassungen, die laut Reward Model als prägnant bewertet werden; Gegenmaßnahme: explizite Qualitätsprüfungen in der Reward-Datenakquise oder zusätzliche terms in Reward Model.)

3) Welche Vor- und Nachteile sehen Sie darin, menschliche Bewertungen durch automatisierte Annotator-Modelle zu ersetzen? (Erwarten: Kostenreduktion vs. mögliche Verstärkung von Fehlern und Bias.)

Abschließend lässt sich festhalten: RLHF ist ein praktisches, aktuell verbreitetes Werkzeug, um Sprachmodelle stärker an menschlichen Präferenzen auszurichten. Es reduziert viele typische Probleme rein datengetriebener Modelle, schafft jedoch neue Herausforderungen in Bezug auf Robustheit, Messbarkeit und ethische Implikationen. Die genannten Erkenntnisse und Limitationen basieren auf den in der Literatur dokumentierten Erfahrungen und Experimenten (Christiano et al., 2017; Stiennon et al., 2020; Ouyang et al., 2022).