Vorlesung 17 — Vortraining

Teil 1 (ca. 20 Minuten): Grundverständnis — Wie Pretraining funktioniert (Anschaulich)

Beim Vortraining eines großen autoregressiven Sprachmodells wie GPT geht es im Kern um eine einzige, klare Lernaufgabe: dem Modell wird eine sehr große Menge an Texten gezeigt, und es lernt, für jede Wort- oder Tokenfolge das nächste Token möglichst gut vorherzusagen. Diese Aufgabe wird formal als Maximierung der bedingten Wahrscheinlichkeit des nächsten Tokens gegeben den vorhergehenden Tokens formuliert; in der Praxis geschieht das über Optimierung (Gradientenabstieg) eines Wahrscheinlichkeitsmodells, wie ausführlich in den Veröffentlichungen zu GPT-2 und GPT-3 beschrieben ist (Radford et al., 2019; Brown et al., 2020).

Eine einprägsame Analogie: Stellen Sie sich ein Kind vor, das Millionen von Büchern liest und dabei immer wieder versucht, das nächste Wort in einem Satz zu erraten. Je häufiger es liest und je mehr verschiedene Textsorten es sieht, desto besser wird es darin, typische Fortsetzungen zu erkennen — bei Grammatik, gängigen Phrasen, Erzählmustern und auch bei Fakten, die oft in dieser Form auftauchen. Genauso lernt ein statistisches Modell: Es erkennt Wahrscheinlichkeitsmuster in Daten, nicht „Bedeutung“ im philosophischen Sinn, sondern Repräsentationen und Regeln, die in den Daten wiederkehren.

Warum ist die einfache Aufgabe der „nächsten Token‑Vorhersage“ so mächtig? Weil natürliche Sprache hochstrukturiert ist: Formen der Syntax, semantische Regularitäten, Ko-Referenzen und oft auch Weltwissen erscheinen in wiederkehrenden Mustern über enorme Textmengen hinweg. Studien und Übersichten zeigen, dass Modelle, die auf dieser Aufgabe trainiert werden, interne Repräsentationen entwickeln, die Informationen über Syntax und Semantik kodieren (Rogers et al., 2020; Marvin & Linzen, 2018). Sie lernen nicht abstrakte Regeln explizit, sondern statistisch robuste Muster, die sich für viele Aufgaben als nützlich erweisen.

Wichtiger Hinweis zur Datengrundlage: In der Praxis verwenden Forscher und Entwickler große, heterogene Datensätze (Common Crawl, Web-Scrapes, Bücher, Wikipedia u. Ä.), wie in den Beschreibungen zu GPT-2 und GPT-3 dokumentiert. Die Modelle „sehen“ also viele verschiedene Schreibstile und in vielen Fällen auch fehlerhafte, voreingenommene oder veraltete Informationen. Diese Dateneigenschaften prägen, was die Modelle lernen.

Teil 2 (ca. 20 Minuten): Technische Vertiefung — Fachbegriffe und Mechanik

Ausgangspunkt und Zielgröße: Die Trainingsaufgabe wird formal als Minimierung der negativen Log-Likelihood (oder äquivalent Kreuzentropie) der tatsächlich folgenden Tokens unter dem Modell formuliert. Für eine Sequenz x1…xT lautet die Zielgröße summiert über t: −log p(x_t | x_1…x_{t-1}). Das bedeutet praktisch, das Modell produziert für jede Teilsequenz eine Wahrscheinlichkeitsverteilung über das nächste Token (die Ausgabe eines Softmax), und die Parameter werden so angepasst, dass die Wahrscheinlichkeit der tatsächlich vorkommenden Fortsetzung steigt. Diese Vorgehensweise wird in den maßgeblichen Publikationen zu Transformer-basierten Sprachmodellen erklärt (Brown et al., 2020; Radford et al., 2019).

Architekturbezug: Die heute üblichen großen Modelle für diese Aufgabe basieren auf der Transformer-Architektur, die Selbstaufmerksamkeit nutzt, um Abhängigkeiten innerhalb der Eingabesequenz zu modellieren; die Originalbeschreibung finden Sie in Vaswani et al., 2017. Die konkrete Lernarbeit — Gradientenberechnung und -anpassung der Gewichte — nutzt dieselben Verfahren (Backpropagation, stochastische Optimierer), die in der Vorlesungsreihe bereits behandelt wurden. Hier entsteht das „Gedächtnis“ des Modells in Form der gelernten Gewichte, die Muster aus den Beispielen verallgemeinern.

Warum = Vorhersage ⇒ Sprachverständnis (nicht metaphysisch, sondern funktional): Mehrere Forschungslinien belegen, dass die Vorhersageaufgabe Repräsentationen erzeugt, die nützlich für viele downstream-Aufgaben sind. Konkret zeigen gezielte Tests, dass Modelle syntaktische Abhängigkeiten und teilweise semantische Relationen vorhersagen können, obwohl sie nie direkt auf diese Aufgaben trainiert wurden (Marvin & Linzen, 2018; Rogers et al., 2020). Ferner zeigen empirische Arbeiten zu Skalierung und Generalisierung, dass mit größerer Modell- und Datenmenge Fähigkeiten entstehen, die in kleineren Modellen nicht sichtbar waren (Kaplan et al., 2020; Wei et al., 2022). Diese Befunde stützen den wissenschaftlichen Konsens, dass next-token‑Training eine leistungsfähige Methode ist, um breit anwendbare sprachliche Repräsentationen zu erlernen.

Grenzen des Lernsignals und was es nicht garantiert: Die Vorhersageaufgabe ist rein statistisch. Das Modell optimiert Vorhersagegenauigkeit auf Trainingsdatenverteilungen; daraus folgt nicht automatisch, dass das Modell zuverlässiges, kausales oder faktenbasiertes Wissen besitzt oder dass es verantwortungsvolle, konfliktfreie Antworten liefert. Probleme wie Halluzinationen (das Erfinden von Fakten), die Reproduktion von Vorurteilen aus Trainingsdaten und fehlende Robustheit gegenüber Distribution-Shift sind in der Literatur dokumentiert (Lin et al., 2022; Bender et al., 2021). Methoden wie feinabgestimmtes Training und menschliches Feedback (z. B. InstructGPT/Training mit humanem Feedback) werden eingesetzt, um das Verhalten nach dem Vortraining zu verbessern, adressieren aber nicht alle strukturellen Grenzen des Vortrainingszieles (Ouyang et al., 2022).

Skalierung und Effekte: Arbeiten zu Skalierungsgesetzen zeigen quantitative Beziehungen zwischen Modellgröße, Datenmenge, Rechenaufwand und Vorhersagefehler; daraus folgt, dass größere Modelle und mehr Daten typischerweise besser generalisieren, bis hin zu unerwarteten neuen Fähigkeiten bei sehr großer Skalierung (Kaplan et al., 2020; Wei et al., 2022). Dabei ist wichtig zu betonen, dass solche Beobachtungen empirisch sind und keine Garantie für unbegrenzte Verbesserungen darstellen; außerdem steigen Kosten und ökologischer Fußabdruck mit der Größe.

Teil 3 (ca. 10 Minuten): Anwendungen, Grenzen und Denkaufgaben

Konkrete Anwendungen, in denen Vortraining zentral ist: Textgenerierung (Autovervollständigung, kreative Texte), Dialogsysteme (Chatbots), maschinelle Übersetzung, Fragebeantwortung und Assistenzsysteme, Codegenerierung und Informationsextraktion. In vielen Fällen wird das vortrainierte Modell anschließend feinjustiert oder mittels Instruktions‑ bzw. Feedback‑Verfahren angepasst, um es für eine konkrete Aufgabe nutzbarer zu machen (Brown et al., 2020; Ouyang et al., 2022).

Typische Grenzen und Risiken im praktischen Einsatz: (1) Die Modelle können falsche oder nicht belegte Aussagen mit hoher Sicherheit produzieren (Halluzinationen). (2) Sie spiegeln gesellschaftliche Vorurteile und andere Verzerrungen aus den Trainingsdaten wider. (3) Sie sind empfindlich gegenüber der Art der Eingabe (Prompt‑Design) und gegenüber Verschiebungen zwischen Trainings- und Einsatzdaten. (4) Datenschutzrisiken und direkte Reproduktion sensibler Inhalte können auftreten, wenn diese in Trainingsdaten vorhanden waren. Diese Problemfelder werden in der Forschung breit diskutiert (Bender et al., 2021; Lin et al., 2022).

Drei kurze Denkaufgaben zur Vertiefung:

Erste Aufgabe: Nehmen Sie einen kurzen, offenen Satzanfang (z. B. „Die Temperatur stieg, weil…“) und überlegen Sie, welche Fortsetzungen besonders wahrscheinlich sind. Diskutieren Sie, welche Arten von Wissen das Modell braucht, um die wahrscheinlichste Fortsetzung zu wählen, und welche Arten von Wissen nicht aus statistischer Regularität allein folgen würden.

Zweite Aufgabe: Formulieren Sie ein Beispiel, bei dem zwei verschiedene, aber häufig vorkommende Textquellen widersprüchliche Fakten wiedergeben könnten (z. B. unterschiedliche Jahrzahlen). Überlegen Sie, wie ein vortrainiertes Modell eine Antwort erzeugt und welche Postprocessing‑Maßnahmen oder zusätzlichen Daten nötig wären, um verlässlichere Informationen zu erhalten.

Dritte Aufgabe: Diskutieren Sie kurz, welche Maßnahmen (z. B. Datenbereinigung, gezielte Feinabstimmung, menschliches Feedback) realistisch sind, um ein Modell vor der Bereitstellung zu prüfen und mögliche Schäden zu reduzieren. Welche Limitationen bleiben dennoch bestehen?

Abschließend sei noch einmal hervorgehoben: Der wissenschaftliche Konsens sieht in der next-token‑Vorhersageaufgabe ein überraschend effektives, aber inhärent statistisches Lernsignal. Sie erzeugt leistungsfähige Repräsentationen, aber nicht automatisch verlässliches, erklärbares oder moralisch unproblematisches Verhalten; die Praxis erfordert zusätzliche Maßnahmen, Evaluation und Transparenz (Brown et al., 2020; Bender et al., 2021; Ouyang et al., 2022).