Einführung und Lernziele
Diese Sitzung erklärt, was bei der Inferenz — also beim Erzeugen einer Antwort durch ein Sprachmodell zur Laufzeit — technisch und konzeptionell passiert. Wir fragen, inwiefern das Verhalten von Modellen dem menschlichen Denken ähnelt oder unterscheidet, welche internen und externen Faktoren die Antwortgestaltung beeinflussen und warum die Antwortzeiten variieren. Die Darstellung stützt sich auf etablierte Fachpublikationen und technische Berichte; Unsicherheiten und offene Punkte werden gekennzeichnet.
Teil 1 (20 Minuten): Grundverständnis — Was passiert während einer Antwort?
Stellen Sie sich die Inferenz eines großen Sprachmodells vereinfacht als sehr fortgeschrittenes „Autocomplete“ vor: Das Modell hat beim Training gelernt, für eine gegebene Eingabe (Prompt plus bereits erzeugte Tokens) eine Wahrscheinlichkeitsverteilung über mögliche nächste Token vorherzusagen. Bei der Inferenz wird diese Vorhersage genutzt, um ein nächstes Token auszuwählen; dieses Token wird angehängt und der Vorgang wiederholt, bis ein Endpunkt erreicht ist. Diese grundlegende Arbeitsweise wird in den großen Sprachmodell-Publikationen als autoregressives Vorhersageprinzip beschrieben (Brown et al., 2020).
Technisch durchläuft bei jeder Token-Generierung die aktuelle Eingabe eine Kette von Schichten (Layern) des Modells, die auf gewichteten Transformationsschritten beruhen. Bei Transformern geschieht dies in Form von selbst-attention- und Feedforward-Blöcken (Vaswani et al., 2017). Obwohl die Layer-Struktur parallel auf die Komponenten der Eingabe angewendet werden kann, bleibt die Token-Generierung selbst grundsätzlich sequentiell: jedes nächste Token baut auf der bisherigen Ausgabesequenz auf (Brown et al., 2020).
Welches Bild hilft, das zu verstehen? Eine nützliche Analogie ist ein Orchester mit einem Partitur-Generator: Das Modell hat beim Training Muster beobachtet (ähnlich einem Komponisten, der viele Partituren studiert). Während der Inferenz schlägt es für den nächsten Klang (Token) eine Verteilung vor; die tatsächliche Wahl entspricht dann entweder einer deterministischen Entscheidung (z. B. das lauteste Instrument) oder einer Stichprobe aus dieser Verteilung (z. B. verschiedene plausible Interpretationen). Entscheidet man sich für Stichproben, entsteht Variabilität in den Antworten, selbst bei gleichem Prompt (Holtzman et al., 2019).
Wichtig ist: Das Modell speichert keine expliziten, symbolischen Fakten oder "Meinungen" in menschlichem Sinn; seine internen Gewichte kodieren statistische Regularitäten der Trainingsdaten. Die generierten Antworten sind das Ergebnis dieser gewichteten Mustererkennung und Wahrscheinlichkeitsprognose (Bommasani et al., 2021).
Teil 2 (20 Minuten): Tieferer Einblick und zentrale Fachbegriffe
Autoregressives Vorhersagemodell: Das Modell ist so trainiert, dass es das nächste Token bedingt auf alle vorhergehenden Tokens vorhersagt. Dieses Lernziel unterscheidet die meisten großen Sprachmodelle von anderen Architekturen und begründet, warum Generierung Schritt für Schritt stattfindet (Brown et al., 2020).
Decoding-Verfahren: Die Methode, wie aus der vorhergesagten Wahrscheinlichkeitsverteilung ein konkretes Token gewählt wird, hat großen Einfluss auf Stil, Vielfalt und Korrektheit der Ausgabe. Übliche Verfahren sind Greedy-Decoding (immer das wahrscheinlichste Token wählen), Beam Search (mehrere Kandidatenpfade verfolgen), Temperatur-gesteuertes Sampling und Top-k/Top-p (nucleus) Sampling. Insbesondere Top-p-Sampling wurde als praktikable Methode zur Erzeugung vielseitiger, weniger degenerierter Texte empirisch untersucht (Holtzman et al., 2019).
Kontext- und Cache-Mechanismen: Implementierungen speichern bei der Generierung oft Zwischenergebnisse (Key/Value-Cache) aus früheren Layer-Berechnungen, um wiederholte Arbeit zu vermeiden und so die Inferenz effizienter zu machen. Diese Optimierung ist in Praxis-Implementierungen dokumentiert und beeinflusst Latenz und Speicherauslastung (Hugging Face — Performance & Inference-Dokumentation).
Modellgewichte versus Steuerungsebenen: Die eigentlichen Antworten folgen aus den gelernten Gewichten (Vortraining und ggf. Fine-Tuning), aber zusätzliche Steuerungsschichten — etwa Instruktionsanpassungen, Belohnungsmodelle oder Sicherheitsfilter — können das finale Verhalten moderieren. Verfahren wie Reinforcement Learning from Human Feedback (RLHF) werden spezifisch eingesetzt, um Modellantworten in gewünschte Richtungen zu lenken (Ouyang et al., 2022; OpenAI, GPT-4 Technical Report, 2023).
Rechenkomplexität und Kontextlänge: Die Selbst-Attention innerhalb eines Transformers hat eine rechnerische Komplexität, die mit der Quadratfunktion der Kontextlänge wächst; das bedeutet, dass längere Eingaben deutlich mehr Arbeit pro Inferenz-Schritt verursachen (Vaswani et al., 2017). Aus Forschung und Anwendung folgen Optimierungen (z. B. FlashAttention), die Abwandlungen der Implementierung nutzen, um Speicher- und Laufzeitkosten zu verringern (Dao et al., 2022).
Warum Modelle nicht "wie Menschen denken": Der wissenschaftliche Konsens ist, dass Sprachmodelle leistungsfähige statistische Vorhersagemaschinen sind, die Muster in großen Textmengen lernen. Modelle können komplexe, aufeinanderfolgende Strukturen imitieren und sogar Ketten von Schlussfolgerungen darstellen, insbesondere wenn spezielle Prompting-Techniken wie Chain-of-Thought eingesetzt werden. Das bedeutet jedoch nicht, dass sie dieselben kognitiven Prozesse durchlaufen wie Menschen; Modelle reproduzieren Wahrscheinlichkeiten und gelernte Muster, keine bewusste, semantisch begründete Introspektion (Bommasani et al., 2021; Wei et al., 2022). Chain-of-thought-Prompting kann reasoning-ähnliche Äußerungen hervorbringen, zeigt aber nicht, dass das Modell ein inneres mentales Modell wie ein Mensch besitzt (Wei et al., 2022).
Skalierung und Fähigkeiten: Mit zunehmender Modellgröße und Datenmenge verbessern sich viele Fähigkeiten, doch die Skalierung führt nicht per se zu menschlichem Denken. Skalierungsgesetze beschreiben systematische Leistungsgewinne, jedoch bleiben Grundprinzipien des Lernziels und die probabilistische Natur unverändert (Kaplan et al., 2020).
Teil 3 (10 Minuten): Anwendungen, Grenzen und Denkaufgaben
Anwendungen: Inferenz ist der Kern jeder praktischen Anwendung von Sprachmodellen — Chatbots, Übersetzung, Textgenerierung, Code-Verständnis, Unterstützung bei Recherchen. In jedem Fall bestimmen Prompt-Formulierung, Modellgröße, Decoding-Strategie und eventuell regulatorische oder sicherheitsbezogene Nachverarbeitungen das konkrete Ergebnis (Brown et al., 2020; Ouyang et al., 2022).
Grenzen und Risiken: Modelle liefern kohärente und teilweise sehr überzeugende Texte, die dennoch faktisch falsch oder irreführend sein können. Dies liegt in der Natur statistischer Vorhersagen: Wahrscheinlichkeiten sind keine Garantien für Wahrheit. Darüber hinaus können gefährliche oder ungewollte Outputs durch Trainingsdaten-Bias oder ungeeignete Prompting-Regeln entstehen; deshalb sind Moderation und nachgelagerte Steuerungsmechanismen üblich (Bommasani et al., 2021; OpenAI, GPT-4 Technical Report, 2023).
Denkaufgaben zur Vertiefung (jeweils kurz diskutierbar):
1) Prompt-Experiment: Testen Sie, wie verschiedene Decoding-Parameter (Temperatur, Top-p) die Antwortvariabilität verändern. Beobachten Sie, ob die Korrektheit systematisch abnimmt oder ob nur Stil und Kreativität variieren (Holtzman et al., 2019).
2) Latenz-Analyse: Vergleichen Sie, wie sich die Antwortzeit ändert, wenn Sie dieselbe Anfrage mit kurzer vs. langer Kontextgeschichte stellen. Überlegen Sie, welche Teile der Pipeline (Attention, Feedforward, IO, Filter) am stärksten beitragen könnten (Vaswani et al., 2017; Dao et al., 2022).
3) Kausalanalyse: Formulieren Sie ein Prompt, das eine logische Kette erfordert, und prüfen Sie, ob eine explizite Chain-of-Thought-Prompt die Antwortqualität verbessert. Diskutieren Sie, ob verbesserte Output-Formulierung gleichbedeutend ist mit innerem Verständnis (Wei et al., 2022).
Abschließende Hinweise zur Evidenzlage: Die Beschreibungen hier beruhen auf technischen Papern und technischen Berichten, die die aktuell akzeptierten Mechanismen und Optimierungen darstellen. Einige Implementierungsdetails (z. B. proprietäre Inferenz-Pipelines großer Anbieter) sind nicht vollständig offengelegt; hier bestehen Informationslücken, die zu Unsicherheiten über genaue Laufzeitoptimierungen oder zusätzliche Filter führen können (OpenAI, GPT-4 Technical Report weist auf Implementierungsdetails hin, gibt aber nicht alle Betriebsparameter preis).