Vorlesung 12: Self Attention

Teil 1 (20 Minuten): Selbstverständlich — Was ist Self Attention und wie lässt es sich anschaulich erklären?

Self Attention ist eine Rechenoperation in Transformer-Modellen, mit der jedes Wort (oder Token) im Eingabetext seine Relevanz zu allen anderen Wörtern bestimmt und daraufhin eine gewichtete Darstellung errechnet. Anschaulich können Sie sich Self Attention wie ein Gespräch in einem Gremium vorstellen: Jedes Mitglied (Wort A) fragt die anderen Mitglieder (Wörter B, C, D ...) nach ihrer Meinung zur aktuellen Fragestellung. Die Antworten werden gewichtet zusammengefasst, sodass Mitglied A am Ende nicht nur seine eigene Perspektive kennt, sondern eine kontextualisierte Sicht, die relevante Hinweise aus dem gesamten Gremium enthält. Dieses Bild wird in der technischen Literatur mehrfach verwendet, unter anderem in einführenden Visualisierungen und Erläuterungen zur Transformer-Architektur (vgl. Jay Alammar, "The Illustrated Transformer").

Konkreter: Für jedes Wort berechnet das Modell drei Vektoren: Query (Q), Key (K) und Value (V). Die Query eines Wortes wird mit den Keys aller Wörter verglichen; die Stärke dieser Vergleiche bestimmt mittels einer Softmax-Verteilung die Gewichte, mit denen die Values der anderen Wörter gemittelt werden. Mathematisch lässt sich dies kurz zusammenfassen als Attention(Q,K,V) = softmax(QK^T / sqrt(d_k)) V — diese Formel stammt aus der ursprünglichen Transformer- Beschreibung und ist etabliert im wissenschaftlichen Konsens zur Architektur (Vaswani et al., "Attention Is All You Need").

Ein Beispiel: Im Satz "Die Katze, die der Hund verfolgte, sprang über den Zaun", benötigt das Modell beim Wort "sprang" Informationen darüber, welche Entität gesprungen ist. Self Attention erlaubt es, dass das Token für "sprang" stark auf das Token "Katze" achtet, obwohl dazwischen mehrere Tokens liegen. Diese direkte Verbindung ist ein zentraler Grund, warum Transformer-basierte Modelle seit 2017 große Fortschritte in Sprachaufgaben erzielen konnten.

Wichtig ist: Self Attention ist keine symbolische Regel, sondern ein lernbarer Mechanismus. Die linearen Projektionen, die Queries, Keys und Values erzeugen, werden während Trainingsprozessen mit Gradientenverfahren angepasst, sodass sich die Gewichte der Aufmerksamkeit in Abhängigkeit der Zielaufgabe formen (z. B. Übersetzung, Masked-Language-Modelling bei BERT usw.; vgl. Devlin et al., "BERT").

Teil 2 (20 Minuten): Tiefer einsteigen — Begriffe, Mechanik, Stärken und Grenzen

Grundbegriffe und Mechanik

Die zentralen Fachbegriffe lauten Token, Embedding, Query, Key, Value, Scaled Dot-Product Attention, Multi-Head Attention und Positional Encoding. Ein Token ist eine Grundeinheit (Wort, Wortteil), ein Embedding ist ein Vektor, der die Bedeutung dieses Tokens im Modellraum darstellt. Aus Embeddings werden mittels lernbarer Matrizen die drei Vektoren Q, K, V gebildet. Der Skalar Q·K (Skalarprodukt) misst rohe Kompatibilität; durch Division durch sqrt(d_k) (Skalierung) wird die numerische Stabilität verbessert; die Softmax-Funktion normiert die Kompatibilitäten zu Wahrscheinlichkeiten, die auf Values angewendet werden.

Multi-Head Attention bedeutet, dass das Modell dieselbe Operation parallel in mehreren "Köpfen" ausführt, wobei jeder Kopf auf andere Arten von Relationen fokussieren kann (z. B. syntaktische Beziehungen, semantische Kerne, Lokalbezüge). Die Ergebnisse der Köpfe werden wieder zusammengeführt und transformiert. Dieser Mechanismus erlaubt es, verschiedene Aspekte von Kontext gleichzeitig zu modellieren, anstatt alle Informationen zu einer einzigen Repräsentation zu komprimieren (Vaswani et al.).

Warum Aufmerksamkeit der Schlüssel zum Sprachverständnis ist

Der wissenschaftliche Konsens sieht Self Attention als entscheidend dafür an, wie moderne Sprachmodelle langfristige und flexible Abhängigkeiten erfassen. Während rekurrente Netze Informationen sequenziell weiterreichten und daher Pfadlängen über lange Distanzen wuchsen, schafft Self Attention in einer Schicht direkte Verbindungen zwischen beliebigen Positionen. Das verkürzt die effektive Pfadlänge für Informationsfluss und erleichtert die Modellierung weiter entfernter Zusammenhänge (Vaswani et al.; Zusammenfassungen und Reviews zu Transformers bestätigen diesen Vorteil).

Wie entscheidet das Modell praktisch, welche Wörter wichtig sind?

Entscheidend sind zwei Faktoren: die gelerntes Geometrie des Repräsentationsraums und das Trainingsziel. Die linearen Projektionen formen Queries und Keys so, dass relevante Paare hohe Skalarprodukte erzeugen. Welche Paare relevant sind, definiert das Trainingssignal: Beim Übersetzen ist z. B. die Ausrichtung von Subjekt und Verb wichtig, bei Fragebeantwortung die Beziehung zwischen Fragewort und relevantem Satzteil. Das Modell lernt, solche Muster zu erkennen, indem Gradienten die Projektionsmatrizen so anpassen, dass das Ergebnis der downstream-Verluste schlechter oder besser wird (vgl. Vaswani; Devlin et al.).

Wichtig zu betonen und oft missverstanden: hohe Attention-Gewichte sind nicht automatisch ein vollständiger Beweis dafür, dass ein Token "die Ursache" einer Entscheidung ist. Arbeiten in der Literatur zeigen, dass Attention-Gewichte informative Hinweise liefern können, aber nicht immer eine vollständige oder eindeutige Erklärung darstellen (vgl. Jain & Wallace, "Attention is not Explanation"). Insofern besteht eine Unsicherheit darüber, wie weit Attention allein als Interpretation herangezogen werden darf; hier besteht aktive Forschung.

Vorteile und technische Grenzen

Vorteile von Self Attention sind unter anderem: (1) direkte Verbindung beliebiger Token zueinander, was lange Abhängigkeiten effizienter modelliert; (2) gute Parallelisierbarkeit auf moderner Hardware, weil Berechnungen für alle Positionen gleichzeitig erfolgen können; (3) Fähigkeit, verschiedene Beziehungsarten via Multi-Head zu erfassen; (4) Übertragbarkeit auf viele Aufgaben (Maschinelles Übersetzen, Frage-Antwort, Textklassifikation), wie praktische Erfolge mit BERT und ähnlichen Modellen zeigen (Devlin et al.).

Gleichzeitig bestehen technische Grenzen: Die Standard-Implementation hat quadratische Laufzeit- und Speicherkomplexität in Bezug auf die Sequenzlänge (O(n^2) für n Tokens), was bei sehr langen Texten oder großen Batch-Größen zu praktischem Engpass führt. Aus diesem Grund entwickelt die Forschung effizientere Varianten und Approximationen (Überblicke und Surveys zu effizienten Transformern dokumentieren diesen Arbeitszweig; vgl. Tay et al., "Efficient Transformers: A Survey").

Teil 3 (10 Minuten): Anwendungen, Grenzen und kurze Denkaufgaben

Konkrete Anwendungen: Self Attention ist Kernbestandteil moderner Sprachmodelle und ermöglicht hervorragende Ergebnisse in Übersetzung, Texterzeugung, Frage-Antwort-Systemen, Textzusammenfassung und semantischer Suche. Modelle wie BERT verwenden Self Attention in einer bidirektionalen Vorverarbeitung, um kontextualisierte Tokenrepräsentationen zu erzeugen, die sich in vielen NLP-Aufgaben fein anpassen lassen (Devlin et al.).

Grenzen und Vorsicht: Selbst wenn Self Attention starke kontextuelle Repräsentationen liefert, bleiben Probleme wie Datenbias, mangelnde Weltwissen-Modellierung ohne explizites Training, Speicherbegrenzungen bei langen Eingaben und Interpretationsfragen offen. Insbesondere ist die Aussage, dass ein hoher Attention-Gewicht gleichbedeutend mit "Ursache" oder "Erklärung" ist, wissenschaftlich nicht allgemeingültig bestätigt; es gibt Untersuchungen, die diese Beziehung infrage stellen (Jain & Wallace).

Kleine Denkaufgaben zum Mitnehmen:

1) Nehmen Sie den Satz "Anna gab Maria ihren Buchhalter." Überlegen Sie, welche Tokens für die Auflösung von "ihren" wichtig sein könnten. Wie würde Self Attention die Entscheidung unterstützen können? (Hinweis: Das Modell muss Pronomen-Bezug über Kontext entscheiden.)

2) Stellen Sie sich einen sehr langen historischen Text vor (z. B. mehrere Tausend Tokens). Warum ist ein rein rekurrentes Modell hier im Vorteil oder Nachteil gegenüber Self Attention? Formulieren Sie präzise jeweils einen Vor- und einen Nachteil.

3) Denken Sie an ein Szenario, in dem das höchste Attention-Gewicht auf ein irrelevantes Wort fällt, das die menschliche Intuition ausschließt. Welche Erklärungen könnten Sie dafür geben? (Mögliche Antworten: Artefakte durch Trainingsdaten, Mehrdeutigkeit im Embeddingraum, Interaktion mit nachfolgenden Schichten.)

Diese Aufgaben sollen die abstrakte Beschreibung mit konkreten, intuitiven Überlegungen verbinden und aufzeigen, wo Self Attention sehr stark ist — und wo weiterhin Forschungsbedarf besteht.

Quellen