Teil 1 (20 Minuten): Daten als wichtigste Ressource — Erklärung mit Analogien und Beispielen
Dauer: ca. 20 Minuten
In der Diskussion um künstliche Intelligenz wird oft zuerst über Modelle, Architekturen und Rechenleistung gesprochen. Aus Sicht der Praxis und vieler aktueller Publikationen ist jedoch unstrittig, dass die Daten die zentrale Rolle spielen: Modelle lernen aus Beispielen, und die Qualität, Menge und Zusammensetzung dieser Beispiele bestimmen vielfach, wie gut ein System später in der Praxis funktioniert. Eine gebräuchliche Analogie vergleicht Daten mit Boden für Pflanzen: Selbst die beste Saat und die ausgeklügeltste Bewässerung nützen wenig, wenn der Boden verarmt oder giftig ist. Eine verwandte Analogie ist die von Brennstoff: Modelle sind Motoren, die nur dann Leistung bringen, wenn der Brennstoff – die Trainingsdaten – eine passende Zusammensetzung und Reinheit besitzt.
Konkrete Beispiele machen diese Beziehung sichtbar. Sprachmodelle werden heute aus extrem großen Textsammlungen trainiert; offene Korpora wie «The Pile» dokumentieren, wie vielfältig solche Sammlungen sein können und dass sie erhebliche Mengen unstrukturierter Webdaten, Bücher und anderer Quellen enthalten (Gao et al., 2020). Für multimodale Modelle werden Bild‑Text‑Paare in sehr großen Mengen genutzt; Beispiele dafür sind die LAION‑Datensätze, die gezeigt haben, wie frei verfügbare, webbasierte Bild‑Text‑Paare eine Grundlage für leistungsfähige Bild-Text-Modelle liefern können (Schuhmann et al., 2021). Bei großen, proprietären Modellen wie GPT‑4 beschreiben die Herausgeber, dass eine Mischung aus öffentlich verfügbaren, lizenzierten und von Menschen kuratierten Daten verwendet wird; gleichzeitig bleibt die genaue Zusammensetzung proprietärer Trainingsmengen häufig nicht vollständig öffentlich (OpenAI, 2023).
Aus praktischer Sicht hat sich in den letzten Jahren ein Paradigmenwechsel abgezeichnet zugunsten dessen, was als «data‑centric AI» bezeichnet wird: Statt primär neue Architekturideen zu entwickeln, konzentrieren sich Entwickler und Forscher zunehmend darauf, Trainingsdaten systematisch zu verbessern – durch bessere Etikettierung, Reinigung und Konsistenz der Daten (deeplearning.ai Kursmaterial). Diese Verschiebung ist kein dogmatischer Ausschluss von Modellverbesserungen, sondern ein Hinweis darauf, dass viele Fehlerquellen in ML‑Systemen auf die Daten zurückzuführen sind (Sculley et al., 2015).
Teil 2 (20 Minuten): Vertiefung — Fachbegriffe und Eigenschaften guter Trainingsdaten
Dauer: ca. 20 Minuten
Für eine präzise Diskussion ist es hilfreich, zentrale Fachbegriffe zu klären. Unter Trainingsdaten versteht man die Beispiele, die ein Modell während seines Lernprozesses sieht. Validierungs‑ und Testdaten sind unabhängige Teilmengen zur Auswahl von Hyperparametern bzw. zur abschließenden Bewertung der Generalisierung. Labelqualität bezeichnet die Korrektheit und Konsistenz annotierter Zielwerte. Dataset‑Shift beschreibt die Verschiebung der Verteilung zwischen Trainings‑ und Einsatzdaten; Modelle generalisieren oft schlechter, wenn solche Verschiebungen auftreten (Goodfellow et al., 2016).
Welche Eigenschaften sollte ein Datensatz haben, um als «gut» zu gelten? Erstens ist Genauigkeit und Verlässlichkeit der Labels zentral: systematische Fehlkennzeichnungen führen zu nachhaltig falschen Schlussfolgerungen. Gleichzeitig zeigen experimentelle Arbeiten, dass Deep‑Learning‑Modelle bis zu einem gewissen Grad robust gegenüber zufälligem Label‑Rauschen sind, aber gezielte oder systematische Fehler schwerwiegender wirken können (Rolnick et al., 2017). Zweitens ist Repräsentativität wichtig: Die Trainingsdaten sollten die Vielfalt der realen Einsatzfälle angemessen abbilden. Mangelnde Repräsentation führt zu unfairen oder fehlerhaften Ergebnissen, wie exemplarisch an Studien zu Gesichtserkennungsalgorithmen gezeigt wurde, die bei bestimmten Gruppen deutlich schlechter abschnitten (Buolamwini & Gebru, 2018).
Drittens sind Sauberkeit und Konsistenz der Daten relevant: entfernte Duplikate, fehlerhafte Metadaten oder vermischte Kodierungen erzeugen Rauschen und können das Training ineffizient und fehleranfällig machen. Viertens ist Dokumentation und Provenienz entscheidend: Wissen über Herkunft, Lizenzlage und mögliche Einschränkungen der Daten ist notwendig, um rechtliche und ethische Risiken zu steuern; Arbeiten zur Debatte über große, webbasierte Korpora betonen sowohl die technische Leistungssteigerung als auch die ethischen Fragen rund um Herkunft und Repräsentation (Bender et al., 2021).
Weitere nützliche Begriffe betreffen die Datenmenge versus -qualität‑Debatte. Große Mengen an Rohdaten haben unbestreitbar dazu beigetragen, die Leistung moderner Sprachmodelle zu steigern (siehe C4 im T5‑Projekt und The Pile), doch die Vergrößerung des Datensatzes allein ist kein Allheilmittel: Daten müssen relevant und nicht nur zahlreich sein. Die technischen Berichte großer Modelle dokumentieren Mischungen aus politisch neutralen Texten, lizenzierten Sammlungen und kuratierten Beispielen, und sie weisen gleichzeitig auf Filter‑ und Reinigungsprozesse hin, die vorgenommen wurden (Raffel et al., 2019; OpenAI, 2023).
Praktische Folgen schlechter Daten zeigen sich auf mehreren Ebenen. Auf Modell‑Performance führt schlechte Datenqualität zu niedrigeren Genauigkeiten, instabiler Generalisierung und erhöhter Anfälligkeit für Ausfälle unter neuen Bedingungen. In Produktivsystemen entstehen zusätzliche «technische Schulden»: ständige Nachbesserungen von Datenpipelines, Debugging von Fehlklassifikationen und das Aufrechterhalten manueller Prüfprozesse, wie Sculley et al. beschrieben haben (Sculley et al., 2015). Auf gesellschaftlicher Ebene können verzerrte Trainingsmengen zu diskriminierenden Ergebnissen, Privatsphäreverletzungen und zu Fehlinformationen beitragen; dies ist sowohl technisch als auch ethisch relevant (Buolamwini & Gebru, 2018; Bender et al., 2021).
Zuletzt ist die Frage nach ausreichender Verfügbarkeit hochwertiger Daten nicht abschließend beantwortet. Es existieren große offene Datensammlungen für Text und Bild (The Pile, C4, LAION), und sie haben Forschung und Entwicklung maßgeblich ermöglicht (Gao et al., 2020; Raffel et al., 2019; Schuhmann et al., 2021). Gleichwohl sind viele speziell benötigte Domänendaten — etwa medizinische Bildgebung mit geprüften Diagnosen oder vertrauenswürdige juristische Korpora — nicht uneingeschränkt verfügbar, weil sie selten, reguliert oder teuer sind. Außerdem bestehen Unsicherheiten über die genaue Zusammensetzung kommerzieller Trainingsmengen, weshalb Aussagen über generelle Datenverfügbarkeit mit Vorsicht zu treffen sind (OpenAI, 2023). Hinweise auf konkrete Angriffsflächen wie Modelle, gegen die Mitgliedschafts‑Inferenz‑Angriffe möglich sind, zeigen zusätzlich, dass nicht nur die Menge, sondern auch die Vertraulichkeit der Daten eine Rolle spielt (Shokri et al., 2017).
Teil 3 (10 Minuten): Anwendung, Grenzen und Denkaufgaben
Dauer: ca. 10 Minuten
Um das Gelernte zu verankern, betrachten wir typische Anwendungen und die damit verbundenen Grenzen. Bei automatisierter Bildklassifikation in der Industrie tauchen häufig dieselben Probleme auf: unzureichend repräsentative Trainingsbilder führen zu Ausfällen bei ungewöhnlichen Kamera‑Blicken oder bei bestimmten Materialbeschaffenheiten. Bei Gesichtserkennung hat empirische Arbeit gezeigt, dass unausgewogene Trainingsdaten zu deutlich schlechteren Ergebnissen für Frauen und dunkelhäutige Personen führen; der Fall macht deutlich, dass technisches Versagen und gesellschaftliche Wirkung verbunden sind (Buolamwini & Gebru, 2018). Bei Sprachmodellen äußern sich Probleme als Halluzinationen oder faktisch falsche Antworten; technische Berichte zu großen Modellen dokumentieren, wie unterschiedliche Datenquellen, Reinigungs- und Filterverfahren versucht werden, diese Risiken zu reduzieren, auch wenn nicht alle Probleme vollständig gelöst sind (OpenAI, 2023; Bender et al., 2021).
Ein praxisnahes Vorgehen zur Verbesserung ist daten‑zentriert: statt nur an Architektur und Optimierer zu feilen, lohnt es sich oft, Datenetiketten zu prüfen, Regeln für die Datenerfassung zu standardisieren, Duplikate zu entfernen und systematische Verzerrungen zu analysieren. Solche Schritte sind Teil der empfohlenen Praxis in kursartigen Lehrmaterialien und bei Industrieprojekten, die auf zuverlässige Produktion abzielen (deeplearning.ai; Sculley et al., 2015).
Abschließend drei kurze Denkaufgaben zur Selbstprüfung: Erstens: Sie sollen ein Klassifikationsmodell für medizinische Bilder bauen. Welche Prioritäten setzen Sie: möglichst viele automatisch gesammelte, schlecht gelabelte Bilder oder weniger, aber sorgfältig von Expertinnen geprüfte Fälle? Zweitens: Sie deployen ein Sprachmodell in einem Rechtsberatungs‑Szenario. Welche Anforderungen an Provenienz, Aktualität und Haftung der Daten würden Sie definieren? Drittens: Ein vorhandenes System liefert fehlerhafte Vorhersagen für eine neue Nutzergruppe. Wie würden Sie feststellen, ob es sich um Dataset‑Shift oder um ein Modellproblem handelt, und welche datenbezogenen Maßnahmen würden Sie priorisieren?
Diese Aufgaben sollen nicht mit eindeutigen Antworten schließen; sie sollen zeigen, dass Datenfragen stärker an den Beginn der Systementwicklung gehören. Technikerinnen und Entscheider sollten die Grenzen von Daten bewusst machen: Selbst exzellente Modelle können ohne passende, dokumentierte und geprüfte Daten in der Anwendung versagen. Gleichzeitig besteht Forschungs‑ und Entwicklungsbedarf in Methoden zur effizienten Datenverbesserung, in besserer Dokumentation von Datensätzen und in Verfahren, die Qualität, Fairness und Privatsphäre zusammen berücksichtigen.