Vorlesung 16: Multi-Head Attention

Teil 1 (ca. 20 Minuten): Verständliche Einführung mit Analogien und Beispielen

Ziel dieses Abschnitts:

Ich erkläre, warum moderne Transformer-Modelle nicht nur eine einzelne Attention-Funktion verwenden, sondern mehrere sogenannte Attention-Heads parallel betreiben. Dabei verwende ich leicht verständliche Analogien und konkrete Satzbeispiele, um das Prinzip und seine Wirkung im Sprachverständnis nachvollziehbar zu machen. Die technische Grundlage (Skalierte Punktprodukt-Attention, lineare Projektionen) wird nur soweit erwähnt, wie es für das Verständnis der Idee nötig ist; für formale Details verweise ich auf die Originalbeschreibung des Transformer-Modells (Vaswani et al., 2017).

Stellen Sie sich vor, Sie hören einem Orchester zu. Jedes Instrument trägt Informationen bei: die Violine kann die Melodie tragen, das Cello legt das Fundament, und das Schlagzeug gibt Rhythmus. Wenn Sie nur auf ein Instrument hören, entgeht Ihnen vieles vom Gesamtklang. Genauso betrachtet Multi-Head Attention die Eingabesequenz nicht nur einmal, sondern aus mehreren "Perspektiven" gleichzeitig. Jeder Attention-Head ist wie ein individuelles Instrument: er fokussiert auf bestimmte Arten von Beziehungen oder Muster in einem Satz.

Betrachten wir ein konkretes Beispiel: „Die Katze, die der Hund jagte, war schwarz.“ Um die Wortbeziehung richtig zu verstehen, müssen wir mindestens zwei Aufgaben erfüllen: die syntaktische Beziehung (welches Subjekt gehört zu welchem Verb) und die Referenzauflösung (auf welches Nomen bezieht sich „die“ bzw. „die Katze“ im Kontext). Ein einzelner Attention-Mechanismus kann zwar beide Aufgaben theoretisch abdecken, aber mehrere Heads können diese Aufgaben parallel und spezialisiert bearbeiten: ein Head lernt typische Subjekt–Verb-Verbindungen, ein anderer Head fokussiert auf Einbettungen und Appositionen, ein dritter auf Pronomenauflösung. Dadurch entsteht eine reichere und robustere Repräsentation des Satzes.

Kurz zusammengefasst: Multi-Head Attention ermöglicht es, in parallelen, spezialisierten „Kanälen“ verschiedene Arten von Zusammenhängen zu erfassen. Diese Parallelarbeit ist besonders nützlich für natürliche Sprache, weil Sprache viele gleichzeitige Beziehungen enthält (Syntax, Semantik, Anaphern, Umgangssprache, Idiome). Die Praxis hat gezeigt, dass diese Architektur wesentlich zur starken Leistung von Transformern in Sprachaufgaben beigetragen hat (Vaswani et al., 2017).

Teil 2 (ca. 20 Minuten): Vertiefung und Einführung der wichtigsten Fachbegriffe

Ziel dieses Abschnitts:

Ich führe die zentralen Fachbegriffe ein, erkläre formal, was jeder Attention-Head tut, und stelle Befunde zur Funktionalität von Heads aus empirischer Forschung vor.

Formal arbeitet jeder Attention-Head mit eigenen linearen Projektionen der Eingabevektoren. Im Kern besteht eine Attention-Berechnung aus drei Elementen, die in der Literatur als Query (Q), Key (K) und Value (V) bezeichnet werden. Die skalierte Punktprodukt-Attention berechnet die Kompatibilität zwischen Query und Key, skaliert das Ergebnis und wendet eine Softmax-Funktion an, um Gewichtungen über die Values zu bilden. Kurz notiert: Attention(Q,K,V) = softmax(Q K^T / sqrt(d_k)) V. Beim Multi-Head-Mechanismus werden diese Q/K/V-Projektionen mehrfach ausgeführt — einmal pro Head mit eigenen Gewichtsmatrizen — die resultierenden Kopf-Ausgaben werden anschließend zusammengefügt (concatenate) und nochmals linear transformiert, so dass das Modell verschiedene Unterräume der Repräsentationen gleichzeitig untersuchen kann (Vaswani et al., 2017).

Das Schlüsselkonzept ist also die Spezialisierung durch unterschiedliche Projektionen: jeder Head sieht die Eingabe aus einem anderen „linearen Blickwinkel“. Praktisch bedeutet das, dass ein Head Muster erkennt, die sich in einem bestimmten Projektionsunterraum als lineare Beziehungen zeigen, während ein anderer Head andere Muster herausfiltert. Diese Eigenschaft erlaubt es dem Modell, parallel und effizient mehrere Arten von Abhängigkeiten zu modellieren.

Welche Arten von Mustern zeigen Attention-Heads in der Praxis? Empirische Analysen und Visualisierungen haben mehrere wiederkehrende Beobachtungen geliefert. Ein systematischer Befund ist, dass manche Heads klare linguistische Rollen übernehmen: einige Heads zeigen starke Fokussierung auf syntaktische Beziehungen wie Subjekt–Verb oder Objekt–Verb; andere Heads korrelieren mit Wortwiederholung, Präpositionen oder Satzzeichen. Solche Beobachtungen wurden in Analysen von vortrainierten Transformern dokumentiert und mit Visualisierungstools zugänglich gemacht (Clark et al., 2019; Vig, 2019). Gleichzeitig zeigen Untersuchungsergebnisse, dass nicht alle Heads eine deutlich interpretierbare Funktion haben; viele Heads sind redundant oder verteilen ihre Aktivität diffus über Token (Michel et al., 2019).

Ein wichtiges experimentelles Ergebnis in der Forschung lautet: Es gibt sowohl stark spezialisierte als auch redundante Heads. Michel und Kollegen haben gezeigt, dass sich in einigen Modellen viele Heads entfernen lassen, ohne dass die Gesamtleistung wesentlich sinkt. Daraus folgt nicht, dass die verbleibenden Heads beliebig austauschbar sind, sondern dass das Modell sowohl über spezialisierte als auch über teilweise redundante Mechanismen verfügt. Dieses Ergebnis ist relevant für Modellkompression und für das Verständnis, wie Lernkapazität im Transformer organisiert wird (Michel et al., 2019).

Wichtig ist außerdem die Abwägung bei Interpretationen: Visualisierungen von Attention-Gewichten geben Hinweise auf mögliche Funktionen einzelner Heads, aber sie sind keine beweisfähige Erklärung dafür, dass ein Head kausal für eine bestimmte Vorhersage verantwortlich ist. Interpretierbarkeitsforschung diskutiert, wie zuverlässig Attention-Gewichte als Erklärungswerkzeug sind. Visualisierungstools helfen, Hypothesen zu bilden und zu testen, sie ersetzen jedoch nicht kontrollierte Eingriffs- oder Störungsanalysen (Vig, 2019; Vaswani et al., 2017).

Teil 3 (ca. 10 Minuten): Anwendungen, Grenzen und Denkaufgaben

Ziel dieses Abschnitts:

Ich zeige, wie Multi-Head Attention in realen Anwendungen wirkt, nenne Grenzen der aktuellen Erkenntnisse und schlage kleine Denkaufgaben vor, um das Gelernte zu festigen.

In konkreten Anwendungen zeigen Transformermodelle mit Multi-Head Attention deutliche Vorteile. Beim maschinellen Übersetzen helfen mehrere Heads, unterschiedliche Wort- und Phrasen-Alignments parallel zu repräsentieren; beim Fragebeantworten können einige Heads relevante Kontextstellen hervorheben, während andere syntaktische Beziehungen sichern; bei Textzusammenfassung und Dialogsystemen ermöglichen die verschiedenen Heads das Erfassen von Informationshierarchien und Diskursbeziehungen. Diese praktischen Erfolge gehen auf die kombinierte Fähigkeit zurück, mehrere Zusammenhänge simultan zu modellieren, wodurch die resultierenden Repräsentationen in höheren Schichten reichhaltiger sind (Vaswani et al., 2017; Clark et al., 2019).

Gleichzeitig gibt es Grenzen und offene Fragen. Erstens: Nicht jeder Head ist leicht interpretierbar; Interpretationen beruhen oft auf Korrelationen in Visualisierungen und müssen experimentell verifiziert werden. Zweitens: Die Forschung zeigt Redundanzen, was Fragen nach Effizienz und minimalen Architekturen aufwirft; der genaue Beitrag einzelner Heads zur allgemeinen Leistungsfähigkeit ist Gegenstand aktueller Untersuchungen (Michel et al., 2019). Drittens: Die beobachteten linguistischen Muster sind nicht notwendigerweise universell über alle Modelle und Tasks; sie können abhängig sein von Architekturgröße, Trainingsdaten und Optimierungsdetails (Clark et al., 2019).

Um das Verständnis zu vertiefen, drei kurze Denkaufgaben:

1) Nehmen Sie den Satz „Der Mann, den die Frau sah, winkte.“ Welche zwei Arten von Beziehungen würden Sie erwarten, dass verschiedene Attention-Heads abdecken, damit ein Modell die Satzstruktur korrekt erfasst? Denken Sie dabei an die Kopplung von Relativsatz-Referenzen und der Hauptsatzstruktur.

2) Betrachten Sie das Wort „Bank“ in „Er sitzt auf der Bank“ versus „Er arbeitet bei der Bank“. Welche Rolle könnte Multi-Head Attention beim Auflösen der Polysemie übernehmen, und wie würden unterschiedliche Heads daran beteiligt sein?

3) Überlegen Sie ein Experiment: Entfernen Sie in einer vortrainierten Transformer-Schicht systematisch einzelne Heads und beobachten Sie die Veränderung der Leistung in einer Downstream-Aufgabe (z. B. Named Entity Recognition). Was würden starke Performance-Einbrüche versus geringe Effekte über die Rollen der entfernten Heads aussagen? (Hinweis: Michel et al., 2019, haben solche Head-Pruning-Analysen durchgeführt und berichten von sowohl kritischen als auch redundanten Köpfen.)

Abschließend lässt sich sagen: Multi-Head Attention ist kein Selbstzweck, sondern eine gestalterische Entscheidung, die es Transformern erlaubt, multiple Beziehungen simultan zu modellieren und damit reichhaltigere Kontexte für Sprachverarbeitung zu erzeugen. Interpretationen einzelner Heads sind nützlich, aber Teil eines weiter laufenden Forschungsprozesses zur Robustheit, Effizienz und Erklärbarkeit dieser Mechanismen.