Vorlesung 11: Warum RNNs nicht ausreichten — Die Entwicklung zum Transformer
Teil 1 (20 Minuten) — Verständliche Einführung mit Analogien und Beispielen
Sprachmodelle haben das Ziel, gesprochene oder geschriebene Sprache als Folge von Wörtern oder Zeichen zu verarbeiten und Vorhersagen zu treffen, etwa das nächste Wort oder die Übereinstimmung von Satzteilen. Früher waren viele dieser Modelle auf sequentielle Architekturen aufgebaut: Recurrent Neural Networks (RNNs) und ihre weiterentwickelten Varianten wie LSTM oder GRU. Die Grundidee bei RNNs ist, dass das Modell bei jedem neuen Wort eine Art "Kurzzeitgedächtnis" aktualisiert — eine versteckte Zustandsrepräsentation, die Informationen aus der bisherigen Wortfolge zusammenfasst.
Eine eingängige Analogie ist die einer Nachricht, die entlang einer Kette von Personen weitergeflüstert wird. Jede Person hört die bisherige Botschaft und ergänzt oder verändert sie. So versucht das RNN, mit jedem neuen Eingangswort eine aktualisierte Zusammenfassung zu behalten. Dieses Vorgehen hat Vorteile: Es ist natürlich sequentiell und benötigt pro Zeitschritt nur eine kompakte interne Repräsentation.
Allerdings treten zwei praktische Probleme auf, wenn Texte sehr lang werden. Erstens kann sich wichtige Information über viele Zeitschritte hinweg „verwischen“ oder „verrinnen“, das heißt, frühere Details gehen in der kompakten Zustandsrepräsentation verloren. Zweitens ist das sequentielle Weiterreichen ein Engpass für das Training: Gradienten, die während des Lernens rückwärtspropagiert werden, müssen viele Schritte passieren, was numerisch problematisch sein kann und das Training verlangsamt. Diese Phänomene sind in der Fachliteratur ausführlich diskutiert (vgl. Bengio et al., 1994; Pascanu et al., 2013).
Forscher reagierten darauf mit technischen Verbesserungen: LSTM- und GRU-Zellen führten Mechanismen ein, die Informationen gezielter speichern oder vergessen können, etwa durch "Gates", die entscheiden, was behalten wird (Hochreiter & Schmidhuber, 1997). Dies milderte einige Probleme, löste sie aber nicht vollständig, insbesondere wenn Modelle sehr lange Textbezüge oder vielfältige, weit auseinanderliegende Abhängigkeiten lernen sollten.
Ein zweites Bild zur Veranschaulichung: Stellen Sie sich eine Bibliothekarin vor, die nur ein Notizblatt hat, um sich alle bisher gelesenen Bücher zu merken. Bei kurzen Texten reicht das Blatt, bei langen Reihen von Büchern geht die Präzision verloren. LSTM/GRU sind wie ein Notizblatt mit Fächern: bessere Organisation, aber immer noch begrenzter Platz. Die Frage war: Wie kann ein Modell direkt und effizient auf beliebige bisherige Stellen zugreifen, ohne nacheinander alles durchgehen zu müssen?
Teil 2 (20 Minuten) — Fachbegriffe und tiefergehende Erklärung
Um zu verstehen, warum der Transformer ein grundsätzlich anderes Modell ist, müssen wir einige Begriffe sauber einführen. "Backpropagation Through Time" (BPTT) bezeichnet die Methode, mit der Gradienten in RNNs berechnet werden: Das Netzwerk wird über die Zeitschritte entfaltet, und die Gradienten werden entlang dieser zeitlichen Kette zurückgerechnet. Dabei können Gradienten sehr klein (vanishing gradients) oder sehr groß (exploding gradients) werden; beides erschwert das Lernen längerfristiger Abhängigkeiten (Bengio et al., 1994; Pascanu et al., 2013).
LSTM (Long Short-Term Memory) erweitert das RNN durch die Einführung eines Zellzustands und von Gates, die kontrollieren, welche Information hineingeht, welche beibehalten und welche ausgegeben wird. Dieses Design reduziert das Problem verschwindender Gradienten und erlaubt das Stabilisieren bestimmter Informationen über längere Schritte (Hochreiter & Schmidhuber, 1997). In der Praxis verbesserten LSTM-gestützte Sequenz-zu-Sequenz-Modelle die Qualität von Übersetzungen und anderen Aufgaben (Sutskever et al., 2014).
Ein weiterer wichtiger Schritt war die Einführung von Aufmerksamkeitsmechanismen ("attention"). Bei der damals einflussreichen Arbeit zur neuronalen Maschinenübersetzung wurde gezeigt, dass ein modellinterner Mechanismus, der explizit Teile der Eingabe gewichtet, die Performance deutlich verbessert. Anstatt alles in einem kompakten Vektor zusammenzufassen, kann das Modell direkt auf relevante Teile der Eingabe "schauen" (Bahdanau et al., 2014). Dieses Prinzip hebt die Notizblatt-Analogie: statt nur ein Blatt zu haben, kann das System gezielt in einem Regal nachschlagen.
Der Transformer setzte diesen Gedanken konsequent um und ersetzte die sequentielle Kernstruktur vollständig durch "Self-Attention" (Selbstaufmerksamkeit). Self-Attention berechnet, für jedes Positionselement in einer Sequenz, wie stark es mit jedem anderen Element interagiert. Technisch werden für jedes Token sogenannte Abfrage-, Schlüssel- und Wert-Vektoren (Query, Key, Value) berechnet; die Kompatibilität von Query und Key liefert die Gewichte, mit denen die Values zu einer neuen Repräsentation gemischt werden (Vaswani et al., 2017).
Wichtige Fachbegriffe, kurz definiert: "Self-Attention" bezeichnet das Verfahren, bei dem Elemente einer Sequenz wechselseitig gewichtet werden; "Multi-Head Attention" bedeutet, dass mehrere unabhängige Attention-Köpfe gleichzeitig verschiedene Aspekte von Beziehungen lernen; "Positional Encoding" ist ein Mechanismus, der dem Transformer Informationen über die Reihenfolge der Tokens zuführt, da die reine Attention-Operation selbst keine Reihenfolge kodiert (Vaswani et al., 2017).
Zwei technische Konsequenzen sind entscheidend: Erstens ist Self-Attention in einer gegebenen Schicht direkt zwischen allen Paaren von Positionen wirksam — lange Abhängigkeiten müssen nicht sequentiell "weitergereicht" werden, sondern können in wenigen Schritten modelliert werden. Zweitens erlaubt die Struktur eine umfangreiche Parallelisierung beim Training, weil die Berechnung nicht streng zeitschrittlich sequenziell erfolgen muss. Diese Aspekte erklären, warum Transformer-Modelle für viele Sprachaufgaben sowohl effizienter trainierbar als auch leistungsfähiger sind als klassische RNN-basierte Modelle (Vaswani et al., 2017).
Gleichzeitig ist wichtig zu erwähnen: Attention hat Kosten. Die naive Self-Attention skaliert quadratisch mit der Sequenzlänge in Bezug auf Rechenzeit und Speicher, weil für jedes Paar von Positionen eine Gewichtung berechnet wird. Diese Einschränkung ist Gegenstand intensiver Forschung, um sie für sehr lange Texte handhabbar zu machen (Vaswani et al., 2017). Außerdem benötigen Transformer-Modelle große Datenmengen und Rechenressourcen, um ihr Potenzial auszuspielen; dies ist ein praktisches, kein rein theoretisches Problem.
Teil 3 (10 Minuten) — Anwendungen, Grenzen und Denkaufgaben
Konkrete Anwendungen veranschaulichen den Unterschied: Bei maschineller Übersetzung konnten frühe RNN-Sequenz-zu-Sequenz-Modelle bereits sinnvolle Ergebnisse erzielen (Sutskever et al., 2014), doch Qualitäts- und Effizienzsprünge wurden erst mit Attention-Mechanismen und später mit Transformern erreicht. Transformer-Modelle dominierten danach zahlreiche Aufgaben in NLP, etwa Textklassifikation, Fragebeantwortung, Texterzeugung und vieles mehr (Vaswani et al., 2017).
Grenzen und offene Punkte sind zugleich Realität: Die quadratische Kostenstruktur von Self-Attention erschwert sehr lange Kontexte; außerdem sind Transformer-Modelle daten- und rechenintensiv. Forschungsarbeiten versuchen, diese Einschränkungen zu adressieren, etwa durch sparsames oder approximatives Attention-Design, hybride Architekturen oder effiziente Trainingsverfahren. Hier besteht weiterhin aktiver Forschungsbedarf; es gibt keinen abschließenden Konsens darüber, welche Lösungen langfristig am besten sind.
Zur Festigung des Gelernten drei kurze Denkaufgaben, die Sie selbst oder in Gruppen durchgehen können: Erstens: Nehmen Sie einen langen Satz mit einem Pronomen, dessen Bezugswort viele Wörter entfernt steht (z. B. "Die Wissenschaftlerin, die den Bericht verfasst hatte, zeigte uns später, dass er fehlerhaft war."). Überlegen Sie, welche Mechanismen ein RNN, ein LSTM und ein Transformer nutzen würden, um korrekt zuzuordnen, wer mit "er" gemeint ist, und welche Schwächen jeweils auftreten könnten. Zweitens: Stellen Sie sich vor, Sie müssen ein Modell so trainieren, dass es Informationen aus beliebig weit entfernten Textstellen miteinander verknüpft. Welche Aspekte der Architektur (Speicherkapazität, direkter Zugriff auf vorherige Positionen, Trainingseffizienz) sind für Sie am wichtigsten und warum? Drittens: Diskutieren Sie Vor- und Nachteile der Parallelisierbarkeit von Transformern gegenüber sequentiellen RNNs — sowohl für das Training (Batch-Größe, Hardware-Ausnutzung) als auch für die Inferenz (Latenz, Streaming-Anforderungen).
Abschließend noch ein Hinweis zur Einordnung: Die Verschiebung von RNNs hin zu Attention-basierten Modellen ist eine gut belegte Entwicklung in der Forschungsliteratur und in praktischen Systemen (Bahdanau et al., 2014; Vaswani et al., 2017). LSTM/GRU waren wichtige Schritte und sind in vielen Anwendungen weiterhin relevant, doch der Transformer hat in mehreren Bereichen grundlegende Vorteile gezeigt. Gleichzeitig bleiben praktische Grenzen und aktive Forschungsfragen bestehen; es handelt sich nicht um eine endgültige Lösung aller Probleme der Sprachverarbeitung.