Fehlerhafte Forschungsergebnisse schaden nicht nur dem Ruf der Wissenschaftler, sondern können schlimmstenfalls zu falschen Politikentscheidungen führen. Da es jedoch an Anreizen für Forscher mangelt, Studien von Kollegen systematisch nachzurechnen, bleiben solche Fehler oft lange unentdeckt. Das IZA setzt sich daher für eine effektivere Förderung von Replikationsstudien ein, etwa im Rahmen darauf spezialisierter Fachzeitschriften oder als Teil der Doktorandenausbildung.
Bereits vor einiger Zeit berichtete der IZA Newsroom über eine medial vielbeachtete Studie zu Teenager-Schwangerschaften, deren Replikation auf falsche politische Schlussfolgerungen hinwies. Nun fanden Forscher aus dem IZA-Netzwerk Datenfehler und methodische Schwächen einer 2005 veröffentlichten Studie der US-Ökonomen David Cutler und Grant Miller.
Hohe Sozialrendite?
Was war passiert? Cutler und Miller hatten errechnet, dass die Filterung und Chlorung von Trinkwasser maßgeblich zum Rückgang der Sterblichkeit in den USA zu Beginn des 20. Jahrhunderts beigetragen habe. Demnach bewirke jeder in die Trinkwasseraufbereitung investierte Dollar einen gesellschaftlichen Nutzen im Wert von mindestens 23 Dollar.
Die in der renommierten Fachzeitschrift Demography erschienene Studie wurde vielfach zitiert, unter anderem in Publikationen der WHO. Historische Erfahrungen aus westlichen Ländern dienen oft als Politikgrundlage für Entwicklungsländer, da es ethisch nicht vertretbar wäre, potenziell lebensrettende Maßnahmen zunächst an Teilen der Bevölkerung zu testen, um ihre Kosteneffektivität präzise evaluieren zu können.
Bei der Untersuchung alternativer Maßnahmen zur Reduzierung der Sterblichkeit fanden Mark Anderson, Kerwin Charles und Daniel Rees heraus, dass Cutler und Miller die relative Wirksamkeit der (unbestritten sinnvollen) Trinkwasseraufbereitung deutlich überschätzt hatten. Zum einen stießen sie auf fehlerhaft übertragene Daten zur Säuglingssterblichkeit, zum anderen stellten sie die Methode zur Berechnung der Gesamtsterblichkeit in Frage.
Konstruktiver Austausch
In der Folge kam es zum „Schlagabtausch“ zwischen den Autorenteams, den beide Seiten als äußerst konstruktiv und professionell lobten. Cutler und Miller stellten sämtliche Daten zur Verfügung und räumten in einem Kommentar die Übertragungsfehler ein, blieben aber bei der Auffassung, ihre Methodik sei nicht zu beanstanden und die Datenkorrektur ändere die Ergebnisse nur unwesentlich – was Anderson, Charles und Rees wiederum zu einer Erwiderung veranlasste.
Die Kontroverse steht exemplarisch für den hohen gesellschaftlichen Wert von Replikationsstudien, die bislang – teils aus Scheu vor der Auseinandersetzung mit anerkannten Fachkollegen – vernachlässigt werden. Zwar bezweifeln manche Experten, dass der Wissenschaftsbetrieb mehr Anreize zur Durchführung von Replikationen bieten müsse. Statt Ergebnisse mit Originaldaten nachzurechnen, sei es zielführender, Konzepte anhand von Daten aus anderen Quellen oder Zeiträumen zu überprüfen. Klar ist jedoch: Die Politik profitiert von jeder Verbesserung ihrer empirischen Grundlage – sei es durch Aufdecken von Fehlern oder auch durch die Bestätigung der vorhandenen Erkenntnisse.
Lesen Sie eine methodisch detailliertere Darstellung in englischer Sprache.