Vorlesung 29: Energiebedarf moderner KI‑Modelle — Grenzen der Skalierung
Teil 1 (ca. 20 Minuten): Grundlegendes Verständnis — Warum verbrauchen moderne KI‑Modelle so viel Energie?
Moderne KI‑Modelle, insbesondere große Deep‑Learning‑Modelle, benötigen große Mengen an Rechenleistung. Das ist nicht primär eine Folge von "ineffizientem Code", sondern folgt aus drei sachlichen Faktoren, die zusammenwirken: 1) der Umfang der mathematischen Operationen, 2) die Häufigkeit dieser Operationen während Training und Inferenz und 3) die Infrastruktur drumherum (Rechenzentren, Kühlung, Netzwerke). Die langfristige Entwicklung zeigt einen starken Anstieg des benötigten Rechenaufwands über die letzten Jahre; die Trendanalysen belegen eine exponentielle Zunahme bei der eingesetzten Rechenkapazität in Spitzenprojekten (vgl. OpenAI, "AI and Compute") [OpenAI 2018].
Eine anschauliche Analogie: Training eines großen Modells ist vergleichbar mit dem Bau und der Erprobung eines komplizierten Motors in einer Vielzahl von Varianten. Jeder Trainingsdurchlauf ist ein Testlauf, und je mehr Parameter (»Einstellschrauben«) ein Modell hat, desto mehr Testläufe sind erforderlich, damit der Motor zuverlässig läuft. Anders als beim Motorbau sind bei KI die Zahl der Parameter, die Menge der Trainingsdaten und die Anzahl der Durchläufe (»Epochen«) allerdings sehr groß, weshalb der Energiebedarf steigt.
Wichtig ist die Unterscheidung zwischen Training und Inferenz: Das Training (das Anpassen der Modellgewichte) ist sehr rechenintensiv und oft eine einmalige oder seltene Aktivität in der Lebenszeit eines Modells. Inferenz (Anwenden des Modells auf Eingaben) kann hingegen über lange Zeiträume und in großer Zahl stattfinden und so kumulativ einen erheblichen Energiebedarf verursachen. Ob langfristig Training oder Inferenz den größeren Anteil an Energie ausmacht, hängt vom Einsatzszenario: Bei einem Modell, das millionenfach pro Tag abgefragt wird, kann die Inferenz dominieren; bei Forschungsszenarien mit vielen Trainingsläufen kann das Training dominant sein (Übersicht und Diskussion in Strubell et al. 2019 und Patterson et al. 2021) [Strubell et al. 2019; Patterson et al. 2021].
Schließlich muss man die Rolle der Infrastruktur betonen: Rechenleistung läuft nicht isoliert. Rechenzentren benötigen Energie für Stromversorgung sowie für Kühlung und andere Betriebsaufgaben. Die Effizienz eines Rechenzentrums wird üblicherweise über die Kennzahl PUE (Power Usage Effectiveness) gemessen; eine geringere PUE bedeutet weniger zusätzlichen Overhead zur reinen Rechnerleistung (siehe The Green Grid; IEA) [The Green Grid; IEA 2021].
Teil 2 (ca. 20 Minuten): Technische Tiefe — Wo entsteht der größte Energieverbrauch und welche Fachbegriffe sind dafür zentral?
Die direkte Quelle des Energieverbrauchs bei KI sind die Rechenoperationen. Zwei Begriffe sind hier ein Ausgangspunkt: Modelgrößen (Anzahl der Parameter) und Rechenaufwand (gemessen beispielsweise in FLOPs, also Gleitkommaoperationen). Größere Modelle mit mehr Parametern erzeugen typischerweise mehr FLOPs pro Vorwärts‑ oder Rückwärtsdurchlauf; zusätzlich steigt bei größerem Modell oft die Anzahl der Trainingsbeispiele und Epochen. OpenAI dokumentiert den starken Anstieg des eingesetzten Compute in Spitzenbeispielen über die Jahre (»AI and Compute«) und macht damit die systematische Zunahme des Rechenbedarfs sichtbar [OpenAI 2018].
Hardware‑Layer: Moderne Trainingseinheiten nutzen spezialisierte Beschleuniger wie GPUs oder TPUs. Diese Hardware bietet hohe Rechenleistung pro Watt, aber sie hat auch eine signifikante Fertigungs‑ und Ersatzkomponente (»embodied emissions«), deren detaillierte Quantifizierung derzeit noch lückenhaft ist. Messungen zur Effizienz einzelner Beschleuniger und zur Leistungsfähigkeit in Rechenzentren sind in der technischen Literatur dokumentiert (z. B. Jouppi et al. zu TPUs) [Jouppi et al. 2017].
Infrastruktur‑Layer: Der Gesamtenergiebedarf eines Modells besteht aus der Energie für die Rechenoperationen plus dem Rechenzentrums‑Overhead. PUE ist dabei eine gängige Kennzahl. Zusätzlich ist der lokale CO2‑Ausstoß stark abhängig von der regionalen Strommischung: Diesel, Kohle, Gas oder ein hoher Anteil erneuerbarer Energien verändern die Klimawirkung derselben Strommenge erheblich. Patterson et al. diskutieren die Bedeutung des Standorts und der Stromquelle für die Gesamtemissionen eines Trainingsjobs und schlagen Reporting‑Standards vor, um Vergleichbarkeit zu erhöhen [Patterson et al. 2021].
Energieintensive Phasen: Im Training sind besonders die mehrere Male ausgeführten Rückwärts‑ und Vorwärtsdurchläufe der Netze dominant. Bei modernen Transformern dominieren Matrixmultiplikationen innerhalb der Attention‑ und Feed‑Forward‑Blöcke die FLOPs. Bei großem Datensatz und vielen Trainingsschritten summieren sich diese Operationen zu sehr großen Rechenzeiten. Im Einsatz (Inferenz) steigen die Kosten mit der Anzahl der Anfragen; effiziente Architektur‑ und Systementscheidungen können hier große Einsparungen ermöglichen (z. B. Batch‑Verarbeitung, Caching).
Maßnahmen auf verschiedenen Ebenen zur Effizienzsteigerung: Algorithmisch: Modellkompression (Distillation), Quantisierung (Gleitkomma‑ zu Integer‑Formaten), Pruning (Entfernen unwichtiger Gewichte) und effizientere Architekturen wie sparsere Attention‑Mechanismen. Beispiele und Evaluationen finden sich u. a. in Arbeiten zu DistilBERT und in Übersichtsarbeiten zu effizienten Transformern (Sanh et al. 2019; Tay et al. 2020) [Sanh et al. 2019; Tay et al. 2020].
Systemisch / Infrastruktur: Bessere Hardware, intelligente Auftragsplanung (z. B. zeitliche Verschiebung von Trainingsjobs auf Zeiten mit niedrigeren Netz‑CO2‑Intensitäten), Standortwahl von Rechenzentren sowie verbesserte Kühlung senken den je‑kWh verursachten CO2‑Ausstoß. Ein praktisches Beispiel ist der Einsatz von Machine Learning zur Optimierung der Kühlung in bestehenden Rechenzentren, mit dokumentierten Energieeinsparungen (DeepMind/Google) [DeepMind 2016].
Reporting und wissenschaftliche Praxis: Mehrere Fachbeiträge fordern einheitliche Messungen und Transparenz: Angaben zu Energieverbrauch, Hardwaretyp, Laufzeit, Standort und Energiequellen sind notwendig, um Aussagen zu Umweltwirkungen belastbar machen zu können. Strubell et al. und Patterson et al. heben diese Notwendigkeit hervor und schlagen Berichtsstandards vor (»Green AI«‑Ansatz; Green AI plädiert für die Messung und Veröffentlichung von Energiekennzahlen neben reinen Leistungskennzahlen) [Strubell et al. 2019; Patterson et al. 2021; Schwartz et al. 2019].
Unsicherheiten und Datenlücken: Es existiert bislang kein umfassender, standardisierter Katalog, der für alle großskaligen KI‑Projekte vollständige Angaben zur gesamten Lebenszyklus‑Bilanz (inklusive Fertigung der Hardware, Betrieb, Entsorgung) liefert. Viele Publikationen berichten nur Teildaten (z. B. GPU‑Stunden oder grobe CO2‑Schätzungen). Daher sind Vergleichbarkeit und Aggregation in der Wissenschaft derzeit noch eingeschränkt (Patterson et al. 2021 weisen explizit auf diese Limitationen hin) [Patterson et al. 2021].
Teil 3 (ca. 10 Minuten): Anwendungen, Grenzen und kleine Denkaufgaben
Konkrete Anwendungen verdeutlichen die unterschiedlichen Belastungen: Ein Forschungsprojekt, das viele Trainingsläufe mit verschiedenen Hyperparametern durchführt, hat hohen einmaligen Trainingsverbrauch. Ein in Produktion betriebener Chatdienst mit Millionen Anfragen pro Tag verursacht dagegen laufende Inferenzkosten, die kumulativ groß sein können. Empfehlungs‑ und personalisierte Systeme können besonders energieintensiv sein, weil sie sehr häufige Inferenz und gegebenenfalls auch häufige Modellaktualisierungen erfordern.
Ökologische Auswirkungen lassen sich in zwei Kategorien einteilen: direkte Emissionen durch den Stromverbrauch (abhängig von der Stromerzeugung) und indirekte/strukturelle Effekte wie erhöhter Hardwarebedarf und damit verbundene Herstellungs‑ und Entsorgungsanforderungen. Die IEA hat herausgearbeitet, dass Rechenzentren und Datennetzwerke bereits einen spürbaren Anteil am globalen Stromverbrauch haben und dass Effizienzsteigerungen sowie Verschiebungen in der Nutzung wichtig sind, um das Wachstum der Last abzufedern (IEA 2021) [IEA 2021].
Grenzen der heutigen Praxis: Selbst bei effizienteren Algorithmen bleiben Trade‑offs zwischen Modellleistung und Energieaufwand. Zudem sind viele bestehende Ökosysteme auf kurzfristige Leistungsmetriken optimiert, nicht auf Lebenszyklus‑Emissionen. Die Forderung nach mehr Transparenz, standardisiertem Reporting und Einbeziehung von Energieeffizienz als Messgröße in der Forschung wird von mehreren Autoren als notwendig bezeichnet (Strubell et al., Schwartz et al., Patterson et al.) [Strubell et al. 2019; Schwartz et al. 2019; Patterson et al. 2021].
Drei kurze Denkaufgaben zum Festigen des Gelernten: 1) Nehmen Sie an, Sie betreiben einen Dienst mit 1.000 Anfragen pro Tag. Überlegen Sie, welche Maßnahmen auf Modell‑, System‑ und Infrastruktur‑Ebene am schnellsten zu spürbaren Energieeinsparungen führen könnten und warum. (Hinweis: Caching, Batch‑Inferenz, kleineren Modellen und Quantisierung sind typische Hebel.)
2) Überlegen Sie, welche Informationen Sie mindestens veröffentlichen müssten, um den CO2‑Fußabdruck eines Trainingslaufs vergleichbar zu machen. (Mindestens: Rechenzeit auf spezifizierter Hardware, Standort/Netz‑CO2‑Intensität während Laufzeit, PUE des Rechenzentrums.)
3) Diskutieren Sie, in welchen Fällen es ökologisch sinnvoller sein kann, ein großes Modell mehrfach zu trainieren (z. B. für viele individuelle Anpassungen) statt ein allgemeines Modell zu nutzen, das einmal aufwendig trainiert und dann per Feintuning adaptiert wird. (Das Ergebnis hängt stark von der Häufigkeit der Nutzungen, dem Umfang der Anpassungen und der Möglichkeit der Wiederverwendung ab.)
Abschließende Zusammenfassung: Der Energiebedarf moderner KI‑Modelle ist ein mehrschichtiges Problem, das algorithmische, systemische und politische/organisatorische Lösungen erfordert. Technische Fortschritte bei Hardware und effizienteren Algorithmen können viel bewirken, aber Transparenz und systematisches Reporting sind nötig, um belastbare Vergleiche und damit informierte Entscheidungen zu ermöglichen. Die wissenschaftliche Literatur zeigt Konsens darin, dass Effizienz eine zentrale Messgröße werden muss und dass konkrete Maßnahmen auf allen Ebenen (Algorithmus, Hardware, Rechenzentrum, Strommix) notwendig sind, um die Umweltwirkung zu begrenzen (siehe Strubell et al., Schwartz et al., Patterson et al., IEA) [Strubell et al. 2019; Schwartz et al. 2019; Patterson et al. 2021; IEA 2021].