Vorlesung 18: Fine‑Tuning

Teil 1 (ca. 20 Minuten) — Grundidee, Analogien und Beispiele

Foundation-Modelle und große Sprachmodelle werden in einem aufwändigen Vortraining mit allgemeinen Textaufgaben trainiert, typischerweise mit der Zielsetzung, das nächste Token vorherzusagen oder ähnliche allgemeine Sprachaufgaben zu lösen. Dieses Vortraining vermittelt dem Modell ein breites, statistisches Verständnis von Sprache, Syntax und vielerlei Fakten, ähnlich einer allgemeinen Ausbildung oder Schulbildung. Dennoch ist diese allgemeine Ausbildung nicht ausreichend, wenn konkrete, spezialisierte Aufgaben erwartet werden, wie etwa medizinische Diagnosen in Textform, juristische Vertragsanalyse oder Unternehmens‑spezifische Kundensupport-Flows.

Eine hilfreiche Analogie ist die Aus- und Weiterbildung eines Menschen: Vortraining entspricht einer allgemeinen Hochschulausbildung, in der breite Grundlagen vermittelt werden; Fine‑Tuning ist vergleichbar mit einer beruflichen Weiterbildung oder Facharztausbildung, in der spezifische Fähigkeiten, Terminologie und Vorgehensweisen trainiert werden. Ohne diese Spezialisierung wird eine Person mit breitem Wissen möglicherweise Anforderungen in einem anspruchsvollen Fachgebiet nicht zuverlässig erfüllen.

Praktisch zeigt sich das daran, dass das Vortraining ein Modell für sehr viele mögliche Texte und Aufgaben „brauchbar“ macht, aber nicht unbedingt optimal für eine einzelne, klar definierte Aufgabe. Beispiele aus der Forschung illustrieren dies: BERT wurde durch Vortraining stark in allgemeinen Sprachrepräsentationen, aber die besten Resultate für Aufgaben wie Fragebeantwortung oder Textklassifikation ergab man erst nach zusätzlichem Task-spezifischem Training (Fine‑Tuning) auf Beschriftungsdaten (Devlin et al., 2018). Ebenso zeigt die Arbeit zu großen Autoregressiven Modellen, dass Vortraining gute Few‑Shot-Fähigkeiten liefert, jedoch in vielen praktischen Anwendungsszenarien zusätzliche Anpassung nötig ist, um gewünschte Verhaltensweisen stabil und reproduzierbar zu erreichen (Brown et al., 2020).

Wichtige Gründe, warum Vortraining allein oft nicht ausreicht, sind daher: (1) Zielabweichung zwischen Pretraining‑Aufgabe und konkreter Zielaufgabe, (2) Domänenverschiebung zwischen Trainingskorpus und Zielanwendung, und (3) Bedarf an Verhaltensanpassung, etwa bei Sicherheits- und Format-Anforderungen. Diese Punkte werden in der Fachliteratur wiederholt als zentrale Motive für Fine‑Tuning und weitere Adaptionsmethoden genannt (Bommasani et al., 2021).

Wesentliche Literaturhinweise: Vaswani et al. (2017); Devlin et al. (2018); Brown et al. (2020); Bommasani et al. (2021).

Teil 2 (ca. 20 Minuten) — Methoden und Fachbegriffe sauber eingeführt

Begrifflich unterscheidet man in der Praxis mehrere Varianten der Spezialisierung eines vortrainierten Modells. Die wichtigsten sind: vollumfängliches Fine‑Tuning, domänenadaptives Vortraining, parameter‑effiziente Methoden (Adapter, LoRA, Prompt‑Tuning), Instruction‑Tuning und RLHF (Reinforcement Learning from Human Feedback). Ich erläutere jede Methode, ihre Funktionsweise und typische Vor‑ und Nachteile.

Vollumfängliches Fine‑Tuning bedeutet, dass nahezu alle Gewichte des vortrainierten Modells anhand eines beschrifteten Datensatzes weiter trainiert werden. Das ist konzeptionell einfach und führt oft zu sehr guten Ergebnissen für eine spezifische Aufgabe, benötigt jedoch viel Rechenaufwand und Speicher, weil für jede neue Aufgabe eine komplette Kopie der Modellgewichte entstehen kann (Goodfellow et al., 2016).

Domänenadaptives Vortraining (auch „continued pretraining“ genannt) beschreibt eine Zwischenstufe: man trainiert das Modell vor dem letzten Fine‑Tuning weiter mit großen, unlabeled Texten aus der Ziel‑Domäne, um die Sprachverteilung des Modells an diese Domäne anzunähern. Dies kann die Effektivität nachfolgender task-spezifischer Anpassungen verbessern, insbesondere wenn die Domäne stark von den allgemeinen Trainingsdaten abweicht (Bommasani et al., 2021).

Parameter‑effiziente Methoden ändern nicht alle Gewichte, sondern fügen kompakte Modulstrukturen oder Anpassungsvektoren hinzu. Beispiele sind Adapters, bei denen kleine Zusatzschichten zwischen bestehenden Schichten eingeschoben und nur diese trainiert werden (Houlsby et al., 2019); LoRA (Low‑Rank Adaptation), das Gewichtsupdates durch niedrigrangige Faktorisationen einschränkt, sodass wenige Parameter geändert werden (Hu et al., 2021); und Prompt‑Tuning, bei dem feste oder lernbare Eingabe‑Prompts vorangestellt werden, statt das Modell intern zu verändern (Lester et al., 2021). Diese Ansätze sparen Speicher und erlauben, viele verschiedene Spezialisierungen zu verwalten, ohne für jede Spezialisierung das gesamte Modell zu duplizieren.

Instruction‑Tuning bezeichnet das Fine‑Tuning auf Datensätze, die das Verhalten unter Anleitung (Instruktionen) trainieren, also Beispiele enthalten wie eine Eingabeaufgabe und die gewünschte, oft natürlichsprachliche Form der Ausgabe. Studien und Entwicklungsberichte zeigen, dass Instruction‑Tuning Modelle robuster beim Befolgen von Anweisungen macht (Ouyang et al., 2022). Ein verwandter Schritt ist RLHF, bei dem Menschenvorlieben genutzt werden, um ein Modellverhalten über Reinforcement‑Learning‑Techniken zu optimieren; dies adressiert insbesondere weiche Präferenzen und sicherheitsrelevante Aspekte, die in einfachen Supervised‑Setups schwer abzubilden sind (Ouyang et al., 2022).

Wichtige Fachbegriffe und Herausforderungen: „Distributional Shift“ (Domänenverschiebung zwischen Trainingsdaten und Einsatzdaten), „Overfitting“ (das Anpassen an Besonderheiten des Trainingsdatensatzes, wodurch Generalisierung sinkt), „Catastrophic Forgetting“ (das Vergessen von zuvor gelernten Fähigkeiten beim weiteren Training), „Parametereffizienz“ (Anteil veränderter Parameter) und „Calibration“ (wie gut Modellunsicherheiten mit tatsächlicher Fehlerwahrscheinlichkeit übereinstimmen). Catastrophic Forgetting wurde in der Literatur als reales Phänomen beschrieben und es gibt Verfahren, die diesem Problem mit Regularisierung oder speziellen Speichermechanismen begegnen (Kirkpatrick et al., 2017). Overfitting und Regularisierung sind grundlegende Konzepte in der maschinellen Lernlehre (Goodfellow et al., 2016).

Bei methodischen Entscheidungen spielen praktische Kriterien eine Rolle: verfügbare Beschriftungsdaten, Rechenbudget, Bedarf an Datenschutz‑Isolierung (z. B. Daten dürfen das Basis‑Modell nicht verändern), Wartbarkeit mehrerer Modellvarianten und Anforderungen an Nachvollziehbarkeit oder Sicherheitsgarantien. Dokumentationen von Anbietern fassen praktische Richtlinien zu Datenformaten, Validierung und Kosten/Nutzen von Fine‑Tuning zusammen (OpenAI Fine‑Tuning Guide).

Wesentliche Literaturhinweise: Houlsby et al. (2019); Hu et al. (2021); Lester et al. (2021); Ouyang et al. (2022); Kirkpatrick et al. (2017); Goodfellow et al. (2016); Bommasani et al. (2021); OpenAI Fine‑Tuning Guide.

Teil 3 (ca. 10 Minuten) — Anwendungen, Grenzen und Denkaufgaben

Anwendungen, die besonders vom Fine‑Tuning profitieren, sind dort zu finden, wo spezifische, reproduzierbare Format‑ oder Fachanforderungen bestehen. Beispiele sind Textklassifikation mit konkreten Labelsets (z. B. Sentiment, Themenklassifikation), Named‑Entity Recognition und weitere Sequenz‑Labeling-Aufgaben im Fachkontext, Frage‑Antwort‑Systeme mit hohem Anspruch an Präzision, Text‑Zusammenfassung für spezielle Textarten (medizinische Berichte, Rechtstexte) und generative Systeme, die formale Ausgabeformate einhalten müssen (z. B. strukturierte Antworten, JSON‑Schemas). Für viele dieser Aufgaben erhöht Fine‑Tuning die Genauigkeit und Konsistenz gegenüber reinem Prompting oder reinem Vortraining (Devlin et al., 2018; Brown et al., 2020; Ouyang et al., 2022).

Grenzen und Nachteile von Fine‑Tuning sind ebenfalls wichtig: Es kann zu Overfitting auf den Trainingsstil führen, wodurch die Robustheit gegenüber leicht veränderten Eingaben sinkt. Fine‑Tuning kann außerdem zu Catastrophic Forgetting früherer Fähigkeiten führen, wenn nicht geeignete Maßnahmen ergriffen werden; das heißt, ein Modell verliert mitunter allgemeinere Kenntnisse, während es sich an eine spezielle Aufgabe anpasst (Kirkpatrick et al., 2017). Weiterhin entstehen datenschutzrechtliche und sicherheitsrelevante Risiken, wenn Trainingsdaten sensible Informationen enthalten und das Modell diese Informationen in Antworten reproduziert oder unter bestimmten Eingaben „memorisierte“ Trainingsfragmente wiedergibt; die Forschung zeigt, dass große Modelle unter bestimmten Bedingungen Teile ihres Trainingskorpus wiedergeben können (Bommasani et al., 2021). Fine‑Tuning kann auch hohen Rechenaufwand erfordern und ist organisatorisch aufwendig, wenn viele spezialisierte Varianten verwaltet werden sollen.

Kleine Denkaufgaben zur Festigung des Gelernten:

1) Stellen Sie sich vor, Sie sollen ein vortrainiertes Modell für ein medizinisches Frage‑Antwort‑System anpassen, und Sie haben wenige gekennzeichnete Beispiele sowie Zugriff auf viele unlabeled medizinische Texte. Welche Schritte würden Sie priorisieren und warum? (Hinweis: domänenadaptives Vortraining kann die Verteilung angleichen; Adapter- oder LoRA‑Methoden sind parameter‑effizient, reduzieren Speicherbedarf für mehrere Spezialisierungen und können helfen, Datenschutzrisiken zu begrenzen.)

2) Angenommen, ein feinjustiertes Modell beginnt, in Antworten vertrauliche Daten aus dem Trainingskorpus zu reproduzieren. Welche Maßnahmen sind möglich, um dieses Risiko zu reduzieren? (Hinweis: Datenbereinigung, Differential Privacy beim Training, Verwendung parameter‑effizienter Module statt vollumfänglicher Fine‑Tunes, und evaluative Tests auf Memorisation‑Risiken werden in der Literatur diskutiert.)

3) Überlegen Sie, wann Prompt‑Engineering und Instruction‑Tuning einerseits und vollumfängliches Fine‑Tuning andererseits vorzuziehen sind. Welche betrieblichen Bedingungen (z. B. Ressourcen, Anzahl der Spezialisierungen, Anforderungen an Verifizierbarkeit) beeinflussen diese Entscheidung?

Abschließend ist wissenschaftlicher Konsens, dass Fine‑Tuning ein zentrale Methode bleibt, um vortrainierte Sprachmodelle für spezifische praktische Anforderungen nutzbar zu machen; gleichzeitig sind die Auswahl der Methode und das Management der damit verbundenen Risiken entscheidend und kontextspezifisch (Bommasani et al., 2021; Ouyang et al., 2022).

Wesentliche Literaturhinweise: Devlin et al. (2018); Brown et al. (2020); Ouyang et al. (2022); Bommasani et al. (2021).