In der empirischen Forschung ist es keine Seltenheit, dass verschiedene Studien zum selben Thema völlig unterschiedliche Ergebnisse liefern. Ein prominentes Beispiel ist die Diskussion um den Mindestlohn: Während zahlreiche Studien zu dem Schluss kommen, dass ein höherer Mindestlohn Jobs gefährdet, finden andere keine negativen oder sogar positive Beschäftigungseffekte. Ähnlich uneinheitlich sind die Forschungsergebnisse zu der Frage, was Einwanderung für den sozialen Zusammenhalt bedeutet.
Diese Unterschiede entstehen nicht zufällig, sondern hängen oft von den methodischen Entscheidungen ab, die Forschende bei der Analyse treffen. Dazu zählen etwa die Auswahl der Daten, die Definition der zu untersuchenden Variablen und die gewählten statistischen Methoden. Ein weiterer, weniger sichtbarer Faktor ist die persönliche Haltung der Forschenden zur betreffenden Fragestellung. Ideologische Überzeugungen können – durchaus unabsichtlich – die Art und Weise beeinflussen, wie wissenschaftliche Studien gestaltet und interpretiert werden.
Gleiche Daten, unterschiedliche Ergebnisse
Eine aktuelles IZA-Forschungspapier von IZA-Preisträger George J. Borjas und Nate Breznau beleuchtet dieses Phänomen mithilfe eines außergewöhnlichen Experiments: 71 Forschungsteams, bestehend aus insgesamt 158 Forschenden, sollten auf Basis derselben öffentlich verfügbaren Umfragedaten dieselbe Forschungsfrage beantworten: Wie wirkt sich Einwanderung auf die öffentliche Unterstützung für den Sozialstaat aus?
Jedes Team konnte eigenständig entscheiden, wie es die Daten analysiert. Das betraf die Auswahl der untersuchten Stichproben, die Definition der relevanten Variablen und die statistischen Methoden. Insgesamt entwickelten die Teams 1.253 verschiedene Regressionsmodelle zur Analyse der Daten.
Ideologie beeinflusst Qualität der Forschung
An den Ergebnissen zeigt sich, dass die ideologischen Überzeugungen der Forscherteams eine wichtige Rolle spielten. Teams, die nach eigenen Angaben eine positive Haltung zur Einwanderung hatten, kamen häufiger zu dem Schluss, dass Einwanderung die soziale Kohäsion stärkt. Umgekehrt schätzten Teams mit einer skeptischen Haltung die Effekte negativer ein. Die Unterschiede in den Ergebnissen waren hauptsächlich auf methodische Entscheidungen zurückzuführen, wie etwa die Auswahl der analysierten Daten oder die Struktur der verwendeten Modelle.
Interessanterweise erhielten die Modelle von Teams mit extremen Positionen – sei es stark pro- oder anti-Einwanderung – schlechtere Bewertungen in der Begutachtung durch ihre Kollegen. Teams mit moderaten Ansichten erzielten hingegen höhere Qualitätsscores, was darauf hindeutet, dass sie ausgewogenere und methodisch robustere Ansätze wählten.
Herausforderungen für die Wissenschaft
Die Studie wirft auch ein Licht auf grundlegende Herausforderungen in der Forschung. Wissenschaftler stehen oft unter Zeit- und Ressourcendruck, was dazu führen kann, dass sie sich auf Ergebnisse konzentrieren, die mit ihren eigenen Überzeugungen übereinstimmen, statt zunächst alternative Modelle ausführlich zu prüfen. Diese Gefahr besteht nach Einschätzung der Studienautoren insbesondere in politikbezogener Forschung, wo die Wissenschaftler oft eine starke persönliche Motivation haben.
Der vermehrte Einsatz von Künstlicher Intelligenz (KI) könnte das Problem zusätzlich verschärfen, da die entwickelten Algorithmen und die Auswahl der Trainingsdaten Voreingenommenheiten verstärken könnten. Gleichzeitig bieten KI-Tools aber auch die Möglichkeit, ideologische Verzerrungen zu erkennen und Fehler in der Forschung aufzudecken, was die Objektivität und Glaubwürdigkeit zukünftiger Studien wiederum verbessern könnte.