Machine Learning und die Auswertung offener Antworten
Workshop am 24. November 2025, Johannes Gutenberg-Universität Mainz
Der Workshop bietet eine Einführung in die Analyse offener Antworten aus der Perspektive qualitativer Forschung und lotet Möglichkeiten der Unterstützung durch Verfahren des Maschinellen Lernens aus. Neben der manuellen Kodierung werden exemplarisch auch Verfahren wie Clustering, Topic Modeling und der Einsatz großer Sprachmodelle vorgestellt, erprobt und diskutiert.
Im Mittelpunkt steht die Frage, wie sich eine qualitative Forschungshaltung mit KI-basierten Verfahren verbinden lässt und welche Chancen und Herausforderungen damit im Forschungsprozess entstehen.
Machine Learning
Grundlagen
Machine Learning (ML) bezeichnet rechenbasierte Verfahren, die Daten anhand statistischer Regeln strukturieren und für bestimmte Aufgaben modellieren. Bei Texten wird nicht mit Bedeutungen gearbeitet, sondern mit numerischen Mustern, die aus dem Sprachmaterial abgeleitet werden. Die Ergebnisse entstehen durch Berechnungen und Wahrscheinlichkeiten.
Daten
Daten sind eine Grundlage für ML. Sie sind keine neutralen Abbildungen der Wirklichkeit, sondern stets ausgewählte, vorverarbeitete und kontextgebundene Ausschnitte sozialer Praxis. Jedes Modell ist nur so „objektiv“ wie die Annahmen, Strukturen und Verzerrungen, die in seine Daten eingeschrieben sind.
Damit Textmaterial berechenbar wird, wird es in numerische Repräsentationen überführt. Dazu gehören die Tokenisierung (Zerlegung in Einheiten), Bereinigungsschritte wie das Entfernen von Stopwörtern sowie die Vektorisierung (z. B. TF-IDF oder Embeddings).
Diese Schritte bestimmen, welche Eigenschaften des Textmaterials in numerischer Form abgebildet werden und damit Eingang in die Berechnung finden.
Verfahren
Für die Auswertung von offenen Antworten bieten sich grundlegend folgende statistische Verfahren an:
- Clustering zur Gruppierung von Textrepräsentationen auf Basis von Ähnlichkeitsmaßen,
- Topic Modeling (LDA) zur Berechnung wahrscheinlichkeitstheoretischer Wortverteilungen,
- Klassifikation zur modellbasierten Zuordnung zu vorgegebenen Kategorien.
Diese Verfahren erzeugen statistische Strukturen; interpretative Bedeutungszuschreibungen erfolgen im Anschluss durch die Forschenden.
Verstehen
Mit ML findet man statistische Muster, jedoch nicht automatisch Bedeutungen.
Ergebnisse sollten daher stets kritisch geprüft werden. Verfahren der ML-gestützten Auswertung können Verzerrungen verstärken oder neu hervorbringen.
ML-Verfahren können statistische Muster verdichten, ersetzen aber nicht jene verstehenden Zugänge, die Bedeutung aus sozialen, situativen und kulturellen Zusammenhängen heraus erschließen.
Machine Learning und Qualitative Daten
Berechnung und Bedeutung
Künstliche Intelligenz ist nicht gleich Machine Learning. Während KI als Oberbegriff für verschiedenste Formen automatisierten Problemlösens steht, bezeichnet Machine Learning jene statistischen Verfahren, mit denen Modelle aus Daten Muster ableiten. Beide eröffnen der empirischen Sozialforschung neue Möglichkeiten der Analyse und methodischen Weiterentwicklung, werfen jedoch zugleich grundlegende hermeneutische, methodische und epistemologische Fragen auf. Interpretation bleibt an Subjektivität, Kontextwissen und rekonstruktive Verfahren gebunden; algorithmische Modelle verdichten zwar Muster, ersetzen aber keine verstehenden Zugänge zu sozialen Bedeutungen. Zugleich entstehen Risiken wie Bias durch Daten und Vorverarbeitung, Fehlinterpretationen algorithmisch erzeugter Kategorien und ein überhöhtes Vertrauen in die scheinbare Objektivität maschineller Ergebnisse. Daher erfordert der Einsatz solcher Verfahren eine reflektierte und kritisch informierte sozialforschende Praxis.
Digitale Hermeneutik
Mit der zunehmenden Verfügbarkeit großer textbasierter Daten aus digitalen Öffentlichkeiten und offenen Antwortformaten gewinnt Berechnung auch in der qualitativen Sozialforschung an Bedeutung. Rechenbasierte Verfahren strukturieren Daten, verdichten Komplexität und ermöglichen Zugänge, die ohne technische Unterstützung kaum realisierbar wären – ohne jedoch qualitative Forschung zu quantifizieren. Vielmehr bewegen sich interpretative Ansätze zunehmend in einem Feld, das durch digitale Infrastrukturen und algorithmische Vorverarbeitung geprägt ist.
Qualitative Sozialforschung ist nicht quantitätsfrei, arbeitet jedoch mit eigenen Formen der Verdichtung und Kategorisierung. Für Forschende bedeutet dies, hermeneutische und rekonstruktive Kompetenzen mit einem grundlegenden Verständnis für technische Verfahren zu verbinden. Wer mit Clustern, Themen oder maschinell erzeugten Kategorien arbeitet, profitiert davon, deren Entstehungslogik, Annahmen und mögliche Verzerrungen besser zu verstehen.
Die Fähigkeit, Berechnung kritisch zu lesen und reflektiert einzusetzen, wird damit zu einer zentralen Kompetenz, um qualitative und digitale Methoden produktiv zu verschränken.
Referenzen
Baden, C., Pipal, C., Schoonvelde, M., & Van Der Velden, M. A. C. G. (2022). Three Gaps in Computational Text Analysis Methods for Social Sciences: A Research Agenda. Communication Methods and Measures, 16(1), 1–18. https://doi.org/10.1080/19312458.2021.2015574
D’Ignazio, C., & Klein, L. F. (2020). Data feminism. The MIT Press.
Esuli, A., & Sebastiani, F. (2010). Machines that Learn how to Code Open-Ended Survey Data. International Journal of Market Research, 52(6), 775–800. https://doi.org/10.2501/S147078531020165X
Gitelman, L. (Hrsg.). (2013). „Raw data“ is an oxymoron. The MIT Press.
Romele, A. (2020). Digital hermeneutics: Philosophical investigations in new media and technologies. Routledge/Taylor & Francis Group.
Romele, A., Severo, M., & Furia, P. (2020). Digital hermeneutics: From interpreting with machines to interpretational machines. AI & SOCIETY, 35(1), 73–86. https://doi.org/10.1007/s00146-018-0856-2
Schäffer, B., & Lieder, F. R. (2022). Distributed interpretation – teaching reconstructive methods in the social sciences supported by artificial intelligence. Journal of Research on Technology in Education, 1–14. https://doi.org/10.1080/15391523.2022.2148786
Schäffer, B., & Lieder, F. R. (Hrsg.). (2025). Maschinen wie wir?: Wie Künstliche Intelligenz Bildung, Wirtschaft und Gesellschaft herausfordert. Springer Fachmedien Wiesbaden. https://doi.org/10.1007/978-3-658-48522-1
Verständig, D. (2022). Software und ihre Bedeutung für eine erziehungswissenschaftliche Medienforschung. In S. Hofhues & K. Schütze (Hrsg.), Science Studies (1. Aufl., S. 18–25). transcript Verlag. https://doi.org/10.14361/9783839456323-003
Auswertung und Bias
In dieser Übung betrachten wir mit Orange data mining offene Antworten entlang von zwei maschinellen Verfahren, dem Clustering und Topic Modeling und vergleichen die Ergebnisse mit eigenen Interpretationen.
Ziel der Übung: Sichbarmachung, wie Verzerrung (Bias) entstehen kann.
Topic Modeling mit Deepnote
Die Übung zeigt, wie offene Antworten mit ML ausgewertet werden – und wo Verzerrungen entstehen. Der verzerrte Datensatz macht sichtbar, wie TF-IDF, Clustering oder Topic Modeling Bedeutungen vereinfachen, Muster überbetonen und Perspektiven unsichtbar machen.
Auswertung und Bias
In dieser Übung betrachten wir offene Antworten mit zwei maschinellen Verfahren, dem Clustering und Topic Modeling und vergleichen die Ergebnisse mit eigenen Interpretationen.
Ziel der Übung: Sichbarmachung, wie Verzerrung (Bias) entstehen kann.
1) Orange installieren
Ladet Orange über die offizielle Seite herunter und installiert das Add-on Orange3 Text.
Options > Add-ons
Sucht einfach nach "text".
2) Daten laden
Öffnet die Datei dataset.csv in Orange und verbindet es wie folgt:
Corpus → Preprocess Text → Bag of Words.
3) Zwei Analysepfade
Pfad A: Clustering
Bag of Words → TF-IDF → K-Means (k=3)
Fragen
- Welche Antworten landen gemeinsam im Cluster?
- Ergibt das inhaltlich Sinn?
Pfad B: Topic Modeling
Bag of Words → Topic Modeling (3 Topics)
Fragen
- Welche Schlüsselwörter erscheinen im Topic?
- Inwiefern spiegelt das Bedeutungen?
4) Gemeinsame Reflexion
- Was wird durch Software sichtbar, was nicht?
- Welche Bedeutungen hat das Modell nicht erkannt?
- Welche Gruppen oder Probleme wurden algorithmisch unsichtbar?
- Wie beeinflusst Preprocessing (Stopwords, Tokenisierung) das Ergebnis?
- Welche Entscheidungen in der Pipeline erzeugen Bias?
Auswertung in 4 Schritten
Die Auswertung von Textdaten lässt sich schematisch in vier grundlegende Schritte gliedern: Zunächst werden die Daten bereinigt, indem störende oder nicht-informative Elemente entfernt und Schreibweisen vereinheitlicht werden. Anschließend erfolgt die Tokenisierung, bei der das Textmaterial in kleinere Einheiten segmentiert wird. Diese Einheiten werden in der Vektorisierung in numerische Darstellungen überführt, sodass statistische Verfahren darauf angewendet werden können. In der Modellierung schließlich werden rechnergestützte Methoden eingesetzt, um strukturierende Muster oder kategoriale Zuordnungen zu berechnen, die im Anschluss interpretativ ausgewertet werden.
1. Datenbereinigung
Ziel: Aus unstrukturiertem Text analysierbare Daten machen.
Typische Schritte:
- Entfernen von Sonderzeichen, URLs, Emojis (falls nötig)
- Vereinheitlichung (Kleinschreibung)
- Entfernen von Stopwörtern (bewusst reflektieren)
- Lemmatisierung oder Stemming
- Umgang mit Rechtschreibfehlern (je nach Tool automatisch)
Bereinigung ist Interpretation. Was wir entfernen, beeinflusst, was berechnet wird.
Boros, K., & Kmetty, Z. (2024). Identifying missing data handling methods with text mining. International Journal of Data Science and Analytics. DOI: 10.1007/s41060-024-00582-1
2. Tokenisierung
Ziel: Text in sinnvolle Einheiten zerlegen.
- Worte als Tokens („token = Wort“)
- Bei modernen Modellen: Subword-/Bytepair-Tokens
- Bei LDA: Bag-of-Words
- Bei Embeddings: Tokenlisten für semantische Repräsentationen
Tokenisierung zerlegt Sinnzusammenhänge. Kontextverlust ist systemisch.
3. Vektorisierung
Ziel: Text wird in Zahlen übersetzt, damit Machine Learning verarbeiten kann.
Option A: TF-IDF (klassisch, interpretierbar)
- Häufigkeitsbasiert
- Gut für einfache Klassifikation oder Clusterings
- Sehr sensitiv für Schreibweisen und Wortwahl
Option B: Embeddings (modern, semantisch)
- Wörter/Sätze werden als Punkte in einem hochdimensionalen Raum dargestellt
- Semantische Ähnlichkeiten werden erkennbar
- Grundlage vieler aktueller KI-Verfahren (z. B. Sentence-BERT)
Semantische Räume enthalten implizite kulturelle und soziale Einschreibungen.
4. Modellbasierte Analyse
Ziel: Muster finden oder Kategorien zuordnen.
Unsupervised Learning
- K-Means gruppiert Texte nach Ähnlichkeit
- Hierarchical Clustering bietet Interpretationsspielraum durch Dendrogramme
- Topic Modeling (LDA) versucht „Themen“ aus Wortmustern abzuleiten
Supervised Learning
- Klassifikation mit annotierten Daten
- LLM-basierte automatische Kategorisierung
- Einsatz bei großen Datensätzen mit klaren Labeln
Verfahren generieren statistische statt hermeneutischer Kategorien.
MacQueen, J. (1967). Multivariate observations. In Proceedings ofthe 5th Berkeley Symposium on Mathematical Statisticsand Probability (Vol. 1, pp. 281-297).
Evaluation
Das Zentrum für Schul-, Bildungs- und Hochschulforschung bietet bis zum 25. November 2025 eine Evaluation des Workshops an. Ich freue mich über Feedback!
Links zu Einrichtungen
Dienste und Tools
Kontakt
Dan Verständig