Vorlesung 13 — Embeddings: Wie werden Wörter in Zahlen übersetzt?

Einleitung

In dieser Vorlesung klären wir, was "Embeddings" sind, wie aus Wörtern dicke Zahlenvektoren werden, warum ähnliche Begriffe im Vektorraum nahe beieinander liegen und weshalb Embeddings mehr sind als einfache Wörterbücher. Die Darstellung stützt sich auf den wissenschaftlichen Konsens aus der Forschung zur Verteilungsmäßigen Semantik und auf etablierte technische Veröffentlichungen (u. a. zu Word2Vec, GloVe, Transformer- und BERT-Modellen). Wo Unsicherheiten oder offene Forschungsfragen bestehen, weise ich explizit darauf hin.

Teil 1 (20 Minuten) — Grundidee, einfache Analogien und Beispiele

Zeit: ~20 min

Embeddings sind numerische Darstellungen (Vektoren) von Wörtern oder anderen Spracheinheiten. Die zentrale Idee: ordne jedem Wort einen Punkt in einem mehrdimensionalen Raum zu, sodass die geometrischen Beziehungen zwischen Punkten sprachliche Beziehungen widerspiegeln. Diese Idee baut auf der sogenannten distributionellen Hypothese auf: Wörter, die in ähnlichen Kontexten vorkommen, haben ähnliche Bedeutungen (dieser Grundsatz ist Ausgangspunkt vieler Arbeiten zu Wortvektoren, vgl. etwa [Mikolov et al., 2013] und [Pennington et al., 2014]).

Analogie 1 — Landkarte: Stellen Sie sich vor, Sie haben eine Landkarte, auf der Städte nach Ähnlichkeit statt nach geographischer Lage angeordnet sind. Städte mit ähnlichem Klima oder ähnlicher Kultur würden nahe beieinander liegen. Bei Embeddings ist das Wort der "Ort" und die "Nachbarschaft" entspricht ähnlichem Gebrauch im Sprachgebrauch.

Analogie 2 — Farbton-Raum: Farben werden oft als Punkte in einem dreidimensionalen Raum (z. B. RGB) dargestellt; ähnlich gelagerte Farbtöne liegen nahe beieinander. Ebenso liegen in einem Embedding-Raum semantisch nahe Wörter (z. B. "Hund", "Katze", "Haustier") beieinander.

Konkretes Beispiel: In frühen Embedding-Modellen zeigte sich eine auffällige Eigenschaft: einfache Vektoroperationen entsprechen oft sprachlichen Relationen. Das berühmte Beispiel lautet sinngemäß: Vektor("King") − Vektor("Man") + Vektor("Woman") ≈ Vektor("Queen") (siehe [Mikolov et al., 2013]). Dieses Beispiel illustriert, dass Beziehungen zwischen Wörtern als Richtungen im Raum repräsentiert werden können.

Wie entstehen diese Punkte? Kurz zusammengefasst: durch einen Lernprozess, der auf großen Textmengen basiert und darauf abzielt, Kontexte vorherzusagen oder statistische Zusammenhänge von Wortpaaren zu erklären. Modelle wie Word2Vec lernen beispielsweise, welches Wort im Umfeld eines Zielworts wahrscheinlich ist. Andere Verfahren wie GloVe bauen auf globalen Co‑Occurrences (wie oft zwei Wörter gemeinsam auftreten) auf und fassen diese Information in Vektoren zusammen (vgl. [Mikolov et al., 2013], [Pennington et al., 2014]).

Wichtige Punkt: Embeddings sind nicht einfach "Wörterbuch-Einträge" (eine Liste von Eigenschaften). Sie sind dichte, kontinuierliche Repräsentationen, die semantische und teilweise syntaktische Informationen in der Geometrie des Raumes kodieren.

Teil 2 (20 Minuten) — Tiefer einsteigen: Fachbegriffe und Mechanismen

Zeit: ~20 min

Wir führen jetzt zentrale Fachbegriffe ein und erläutern, wie die gebräuchlichsten Verfahren technisch arbeiten — ohne formale Herleitung, aber präzise genug, um die Mechanik zu verstehen.

Distributionelle Hypothese

Die distributionelle Hypothese besagt, dass Bedeutungsähnlichkeit durch Ähnlichkeit im Gebrauch (Kontext) erkennbar ist. Moderne Embedding-Methoden operationalisieren dies, indem sie Statistiken über Kontextwort-Paare verwenden, um Vektoren zu optimieren. Die Idee findet sich als Grundannahme in vielen Arbeiten zu Wortvektoren (z. B. [Mikolov et al., 2013]; [Pennington et al., 2014]).

Statische vs. kontextuelle Embeddings

- Statische Embeddings: Jedes Wort hat genau einen Vektor unabhängig vom Kontext. Beispiele: Word2Vec (skip-gram, CBOW) und GloVe. Solche Vektoren fassen den durchschnittlichen Gebrauch eines Wortes über das Trainingskorpus zusammen (siehe [Mikolov et al., 2013]; [Pennington et al., 2014]).
- Kontextuelle Embeddings: Ein Wort wird je nach Satz oder Umgebung unterschiedlich dargestellt. Sie werden durch kontextabhängige Modelle erzeugt, insbesondere Transformers, wie z. B. BERT. Das Token "Bank" in "Sitzbank" vs. "Geldbank" bekommt unterschiedliche Vektoren, weil das Modell den umgebenden Kontext berücksichtigt (vgl. [Devlin et al., 2018]; [Vaswani et al., 2017]).

Grundprinzipien der Trainingsziele

Zwei gängige Wege, Embeddings zu erhalten:

1) Vorhersagebasierte Methoden: Modelle lernen, für ein Zielwort die umgebenden Kontextwörter vorherzusagen (oder umgekehrt). Word2Vec ist ein Vertreter dieser Klasse. Die Trainingsoptik ist, Wahrscheinlichkeiten so zu maximieren, dass echte Kontextwörter wahrscheinlicher als zufällige Negative werden (vgl. [Mikolov et al., 2013]). Negative Sampling ist ein Verfahren, das dabei hilft, diese Optimierung effizient zu rechnen.

2) Matrixfaktorierung / globale Methoden: Hier werden statistische Co‑Occurrence‑Zählungen (wie oft Wort i zusammen mit Wort j auftritt) in eine Matrix gebracht und diese Matrix wird so faktorisiert, dass dichte Vektoren entstehen, die die wichtigsten Zusammenhänge erklären. GloVe folgt diesem Ansatz, indem sie ein Verlustmaß definiert, das Rekonstruktion von Log-Co‑Occurrences fordert (vgl. [Pennington et al., 2014]).

Geometrie und Ähnlichkeitsmaße

Die räumliche Nähe zweier Wortvektoren wird meist mit dem Kosinusmaß gemessen (Cosine Similarity): es misst den Winkel zwischen zwei Vektoren und ist robust gegenüber unterschiedlicher Normierung. Kleine Winkel (hoher Kosinus) bedeuten große semantische Ähnlichkeit. Diese Metrik wird praktisch verwendet, um "nächste Nachbarn" (nearest neighbors) im Raum zu bestimmen (siehe [Mikolov et al., 2013]).

Warum einfache algebraische Relationen auftauchen

Dass Relationen wie "König − Mann + Frau ≈ Königin" auftreten, lässt sich plausibel darauf zurückführen, dass Trainingsziele konsistente Muster zwischen Wortpaaren fördern. Wenn bestimmte Beziehungen im Korpus regelmäßig auftreten (z. B. Geschlechtsmarker, Zeitformen), manifestieren sich diese als Richtungen oder Subräume im Vektorraum. Die genauen Mechanismen sind Gegenstand aktiver Forschung; es besteht jedoch weitgehend Konsens, dass die Trainingsziele und statistischen Eigenarten korrelierter Wortpaare diese linearen Strukturen begünstigen (vgl. [Mikolov et al., 2013]; [Pennington et al., 2014]).

Kontextuelle Embeddings und Transformer

Transformer-Modelle erzeugen Token‑Repräsentationen durch gestapeltes Self‑Attention und Feed‑Forward‑Netzwerke; diese Repräsentationen sind kontextabhängig und werden durch Pretraining auf großen Textmengen erzeugt. BERT verwendet etwa das Masked Language Model (MLM) als Pretraining‑Ziel, das heißt: Teile eines Satzes werden maskiert und das Modell lernt, die maskierten Tokens aus dem Kontext vorherzusagen. Dadurch entstehen Embeddings, die semantische Feinheiten und Wort‑Sinn im jeweiligen Kontext abbilden (vgl. [Vaswani et al., 2017]; [Devlin et al., 2018]). Für eine zusammenfassende Darstellung der Erkenntnisse zur Funktionsweise von BERT verweise ich auf eine aktuelle Übersicht (A Primer in BERTology; vgl. [Rogers et al., 2020]).

Dimensionen, Normierung, Vortraining und Feinabstimmung

Praktische Entscheidungen beim Erzeugen von Embeddings betreffen die Vektorgröße (typisch zwischen einigen 50 und einigen 1.000 Dimensionen), Normierungsverfahren und ob man vortrainierte Embeddings verwendet oder eigenes Training durchführt. Vortrainierte Embeddings (statisch oder kontextuell) werden oft in nachgelagerten Aufgaben feingetunt, um domänenspezifische Leistungsgewinne zu erzielen (siehe [Devlin et al., 2018]; [Reimers & Gurevych, 2019] für Sätze/Anwendungen).

Offene Fragen und Unsicherheiten

Obwohl viele überraschende Eigenschaften von Embeddings empirisch belegt sind, bleiben Fragen zur vollständigen Interpretation der Geometrie sowie zur Robustheit gegenüber unterschiedlichen Korpora offen. Die Forschung weist darauf hin, dass einige beobachtete Regularitäten modell- und datenspezifisch sind und nicht immer universell gelten (vgl. [Rogers et al., 2020]).

Teil 3 (10 Minuten) — Anwendungen, Grenzen und Denkaufgaben

Zeit: ~10 min

Anwendungen (konkret und belegbar)

Embeddings werden in vielen praktischen Bereichen eingesetzt:

- Semantische Suche: Dokumente werden durch Embeddings beschrieben; Suchanfragen werden auf ähnliche Embeddings abgebildet, um semantisch relevante Treffer zu finden (vgl. z. B. Ansätze mit Sentence-BERT für Sätze und Dokus; [Reimers & Gurevych, 2019]).
- Textklassifikation und Informationsextraktion: Embeddings dienen als Eingabevektoren für Klassifikatoren oder weitere Modelle (allgemeine Praxis u. a. beschrieben in [Devlin et al., 2018]).
- Clustering und Exploration: Themen oder Wortfelder lassen sich durch Clustering im Embedding‑Raum visualisieren und analysieren (konkrete Nutzung in NLP‑Pipelines, vgl. [Pennington et al., 2014]).
- Maschinenübersetzung und weitere NLP‑Aufgaben: Embeddings sind integraler Bestandteil moderner Sprachmodelle, die in vielen Anwendungen bessere Repräsentationen liefern (vgl. [Vaswani et al., 2017]).

Grenzen und Risiken (wissenschaftlich belegt)

- Polysemie: Statische Embeddings fassen verschiedene Bedeutungen eines Wortes in einem Vektor zusammen und können Context‑spezifische Feinheiten nicht trennen; dieses Problem wird durch kontextuelle Embeddings gemildert, aber nicht vollständig beseitigt (vgl. [Devlin et al., 2018]).
- Verzerrungen (Bias): Vortrainierte Embeddings spiegeln systematische Verzerrungen im Trainingskorpus wider; empirische Arbeiten zeigen, dass Gender- und andere Stereotype in Wortvektoren kodiert sein können (siehe [Bolukbasi et al., 2016]). Das ist ein praktisches und ethisches Problem bei Anwendungen.
- Interpretierbarkeit: Die einzelnen Dimensionen sind in der Regel nicht direkt interpretierbar; die Bedeutung liegt in Relationen und Mustern, nicht in isolierten Komponenten (Diskussion in [Rogers et al., 2020]).
- Datenabhängigkeit: Qualität und Eigenschaften der Embeddings hängen stark vom Trainingskorpus ab (Sprache, Domäne, Genre).

Kleine Denkaufgaben für die Übung

1) Nearest-Neighbour‑Experiment: Wählen Sie drei verschiedene Wörter ("Bank", "Apfel", "laufen") und überlegen Sie, welche Nachbarn ein statisches Embedding-Modell vs. ein kontextuelles Modell wahrscheinlich liefert. Diskutieren Sie, warum sich die Nachbarschaften unterscheiden können (Bezug: Polysemie, [Mikolov et al., 2013]; [Devlin et al., 2018]).
2) Analogie‑Probe: Überlegen Sie sich ein analoges Beispiel wie "König − Mann + Frau". Welche Bedingungen im Korpus müssten erfüllt sein, damit eine solche Analogie zuverlässig abgebildet wird? (Hinweis: Regelmäßige, konsistente Muster und ausreichend Daten; [Mikolov et al., 2013]).
3) Bias‑Analyse: Wählen Sie ein kulturelles oder Berufs‑Wortfeld und prüfen Sie, welche Assoziationen Embeddings in Ihrem Datenmaterial zeigen. Welche Folgen könnte das für eine Anwendung haben? (Siehe empirische Untersuchungen zu Verzerrungen, [Bolukbasi et al., 2016].)

Abschließend: Embeddings sind ein zentrales Werkzeug moderner Sprachverarbeitung. Sie verknüpfen statistische Muster im Text mit geometrischen Strukturen, die semantische Beziehungen sichtbar machen. Gleichzeitig sind ihre Grenzen — vor allem bei Bias, Interpretierbarkeit und Datenabhängigkeit — gut dokumentiert und müssen bei jeder Anwendung berücksichtigt werden.