21.07.2026 • 49 Min.

Wir werfen in dieser Folge einen Blick unter die Haube: Wie entsteht eigentlich ein Sprachmodell – und woher nimmt es sein „Wissen"? In vier Schritten geht es von den Rohdaten bis zum fertigen Assistenten, und dabei wird klar, an welchen Stellen sich Verzerrungen einschleichen und warum die sich nicht einfach wegprogrammieren lassen. Eine Folge, die hilft, KI-Antworten besser einzuordnen – und die zeigt, wann man ruhig mal genauer hinschauen sollte. Links zu den Studien aus der Episode: Dodge et al. (2021): „Documenting the English Colossal Clean Crawled Corpus.“ EMNLP 2021. Untersuchung des C4-Datensatzes (Basis u. a. für Googles T5-Modell). → Zur Quelle Dodge et al. (2021): „Documenting the English Colossal Clean Crawled Corpus.“ EMNLP 2021. Geografie- und Filter-Befunde (u. a. African American English zu 42 % gefiltert) → Zur Quelle Moon et al. (2025): „Homogenizing effect of LLMs on creative diversity.“ Drei präregistrierte Studien, 2.200 Bewerbungsessays. (Hauptbefund Regression zur Mitte) Sourati et al. (2025): „The Shrinking Landscape of Linguistic Diversity in the Age of Large Language Models.“ Vier Studien, mehrere Modelle. (Kreuzvalidierung: Homogenisierung des Stils) → Zur Quelle Kotek, Dockum, Sun (2023): „Gender bias and stereotypes in Large Language Models.“ ACM Collective Intelligence Conference. (Zuspitzung: Modelle wählen den stereotyp passenden Beruf 3–6× häufiger) → Zur Quelle Sharma et al. (2023): „Towards Understanding Sycophancy in Language Models.“ Anthropic. (Grundlagenstudie zur Schmeichelei, fünf Assistenten) → Zur Quelle Fanous et al. (2025): „SycEval – Evaluating LLM Sycophancy.“ Stanford University. → Zur Quelle Cheng et al. (2026): „ELEPHANT – Evaluation of LLMs as Excessive Sycophants.“ Stanford / CMU / Oxford. Santurkar et al. (2023): „Whose Opinions Do Language Models Reflect?.“ ICML 2023. (Werte-/Meinungsverschiebung im Post-Training) Singhal, Goyal, Xu, Durrett (2023): „A Long Way to Go: Investigating Length Correlations in RLHF.“ Format- und Längen-Bias. → Zur Quelle Bai et al. (2022): „Constitutional AI: Harmlessness from AI Feedback.“ Anthropic. (Ursprung von RLAIF: KI bewertet KI) OpenAI (2025): „Sycophancy in GPT-4o: What happened and what we’re doing about it.“ OpenAI, Mai 2025. (Rückzug eines zu schmeichlerischen Modell-Updates) Dastin, J. (2018): „Amazon scraps secret AI recruiting tool that showed bias against women.“ Reuters. KI-Kompetenz-Center der Bundesverwaltung / Bundesdruckerei (2025): „MÖVE – Modelle für die Öffentliche Verwaltung Evaluieren.“ Präsentation, IT-Planungsrat Fachkongress 2025. (ausdrücklich vorläufige Ergebnisse) MÖVE | Startseite Passend zum Weiterhören: PROMPTgenau "KI-Studien (04): KI und Frauen: Nutzung, Macht und Vorurteile". Vertieft die Verzerrung von der menschlichen Seite. Hinweis: Mehrere Befunde stammen aus Preprints bzw. laufender Forschung und sind als Momentaufnahme zu verstehen. Wo kein direkter Link angegeben ist, lässt sich die Quelle über Titel und Autor:innen recherchieren.