Im (gerade noch) aktuellen Spektrum der Wissenschaft findet sich ein Artikel von Michael Springer über die Selbst(Qualitätssicherung)kontrolle in der Wissenschaft, der sehr anschaulich die Problematik beschreibt, wenn es darum geht, sicherzustellen, dass das, was in wissenschaftlichen Publikationen veröffentlicht wird, auch wirklich stimmt. Wurden die zugrundeliegenden Daten korrekt erhoben oder hat man dabei unsauber gearbeitet oder womöglich wichtige Daten ausgelassen, weil sie nicht mit der vorgefassten Meinung übereinstimmten? Wurden aus den Daten die richtigen Schlussfolgerungen gezogen oder wären auch noch andere Interpretationen möglich gewesen? Kann das Experiment wiederholt und durch eine unabhängige Gruppe überprüft werden (Reproduzierbarkeit)? Das sind typische Fragen, mit denen man sich bei der Beurteilung einer wissenschaftlichen Studie auseinandersetzen muss. Weil die eigenen Kollegen, mit denen der Wissenschaftler oder die Wissenschaftlerin jedoch in Konkurrenz um Forschungsgelder steht – dies am besten beurteilen können, wurde der Peer-Review-Prozess eingeführt, den Michael Springer im Text weiter unten gut beschreibt.

Aber auch Mai Thi Nguyen-Kim hat sich in einem Video mit dem Thema befasst. Ein paar Kernaussagen:

  • Es gibt Wissenschaft und es gibt Wissenschaftler. Und das Problem mit Wissenschaftlern: sie sind Menschen. Ich habe nichts gegen Menschen. Einige meiner besten Freunde sind Menschen. Aber Menschen können nie zu 100% sachlich sein.
  • Menschen haben dieses komische Zeug, Emotionen. Deshalb gibt es in der Wissenschaft Vorkehrungen, … damit Wissenchaft auch wirklich sachlich ist
  • Methoden sind das, was eine Studie besser oder schlechter macht
  • Auch als Laie sollte man immer, so gut es eben geht, wissenschaftliche Methoden nachzuvollziehen, um Wissenschaft einordnen zu können. Wissenschaftliche Ergebnisse alleine sagen nicht viel aus, solange man die wissenschaftliche Methode nicht kennt.
  • Wissenschaft ist erst dann legitim, wenn sie ordentlich veröffentlicht ist. Eine Veröffentlichung muss zuerst das Peer-Review bestehen. Das Peer-Review ist kein perfekter Prozess.
  • Mit einem harten, aber sachlichen Diskurs wird in der Wissenschaft viel offener umgegangen als anderswo.
  • Es ist gut, dass nicht einzelne Autoritäten sich durchsetzen können, sondern dass die Gesamt-Datenmenge stimmen muss.
  • Warum sollten wir Expertinnen oder Experten in den Medien einfach so vertrauen? … Keiner der Punkte, die ich genannt habe (die wissenschaftliche Methode zur Qualitätskontrolle) hat mit Expertise zu tun. … Expertise ist kein Kriterium für Vertrauenswürdigkeit.
  • Wissenschaftler können auch politische Ideologien haben, die ihre Sachlichkeit trüben. (Sie nennt verschiedene Beispiele von Wissenschaftlern, die sich aufgrund von Ideologien Meinungen bildeten, die keiner wissenschaftlichen Überprüfung standgehalten hätten.)
  • Wenige Experten mit verqueren Meinungen (ein Chemie(!)-Nobelpreisträger, der AIDS leugnet) können einen Riesenschaden anrichten, weil die Medien alles lieben, was aus der Reihe tanzt. … Sucharit Bhakti, der gerade mit einem Expertenstatus, aber wissenschaftlich unhaltbaren Falschaussagen gerade viele Bücher verkauft. (Die Universitäten von ihm und seiner Frau haben sich mehr oder wenig deutlich von den beiden distanziert.)
  • Es geht mir nicht in den Kopf, warum innerhalb der Wissenschaft jede noch so kleine Ungenauigkeit fünfmal hinterfragt wird und alles wasserfest belegt werden muss, aber wenn Professoren diese Bubble verlassen und an die breite Öffentlichkeit treten, wird dann nicht mehr kontrolliert und überprüft, denn hier gilt ja Meinungsfreiheit. (Dazu haben wir einen Artikel geschrieben: Ich brauche keine Fakten, denn ich habe eine Meinung
  • Wir Journalisten müssen besser darin werden, vernünftigen Stimmen mehr Aufmerksamkeit zu geben.
  • Vertrauen ist gut, Kontrolle ist besser.
  • Wer garantiert uns, dass nicht ein Experte seine einzelne Meinung als anerkannte Expertise verkauft?
  • Deshalb ist es so wichtig, dass das kritische Qualitätsmanagement, das innerhalb der wissenschaftlichen Community betrieben wird, auch in der Wissenschaftskommunikation greift, die sich an die breite Bevölkerung richtet. Wissenschaft beruht nicht auf Vertrauen, sondern auf Hinterfragen, Kontrolle und Überprüfung. Das ist das, was Wissenschaft so verlässlich macht.
  • Solange in der Wissenschaftskommunikation nicht dieselben Standards an Sachlichkeit und Verlässlichkeit gelten, wie in der Wissenschaft selbst, bringen mehr Wissenschaftler in den Medien nicht mehr Aufklärung, sondern mehr Verwirrung.

Michael Springer, Selbstkontrolle mit kleinen Fehlern

Der Peer-Review-Prozess gilt als der Goldstandard fürs Publizieren. Wer innerhalb der Wissenschaftsgemeinde wüsste besser Bescheid als die engsten Kollegen (englisch: peers), um methodische Irrtümer, schlampigen Umgang mit Daten oder gar bewusste Täuschung auszuschließen? Wer könnte einen Artikel zuverlässiger einem Review unterziehen, das heißt fachkundig bewerten?
Erstaunlicherweise ist es noch gar nicht so lange her, dass Facharbeiten ganz ohne interne Vorprüfung das Licht der Öffentlichkeit erblickten. Erst in den 1970er Jahren bürgerte sich die Teilnahme von Experten am Veröffentlichungsprozess ein. Aber wenn es heute heißt »Eine neue Studie hat gezeigt …«, darf man getrost annehmen: Die Arbeit wurde einem Peer- Review unterzogen.

Wie funktioniert das? Typischerweise legen die Redakteure der jeweiligen Fachzeitschrift den Artikelentwurf zwei bis drei Prüfern vor, die ihn binnen einer vorgegebenen Zeit begutachten sollen, oft inklusive mehrfacher Rückkopplung mit den Autoren. Die Gutachter tun das anonym und ehrenamtlich, das heißt unbezahlt. Allerdings gehen manche Zeitschriften allmählich dazu über, den Reviewern, ihre Zustimmung vorausgesetzt, wenigstens namentlich zu danken – denn deren Belastung steigt mit der wachsenden Publikationsflut. Den Redakteuren fällt es immer schwerer, geeignete und willige Experten zu finden (Nature Astronomy 4, S. 633, 2020).

Angenommen, die Gutachter haben den Artikel mit ein paar Änderungen freundlich durchgewinkt, doch bald finden andere Forscher mehr als ein Haar in der veröffentlichten Suppe. Sie entdecken beispielsweise verdächtig »schöne« – statistisch zu wenig streuende – Daten, identische Abbildungen in unterschiedlichen Zusammenhängen oder Plagiate aus anderen Artikeln. Das ist nicht nur höchst peinlich für die ursprünglichen Gutachter. Der Artikel muss dann außerdem in aller Form zurückgezogen werden. Eine solche »Retraction« scheint zu besagen: Bitte vergesst komplett, dass wir das je veröffentlicht haben.

Weniger Vorwürfe müssen sich die Reviewer machen, wenn andere Teams die publizierten Resultate später trotz wiederholter Versuche nicht zu replizieren vermögen. Oft ist ein monate- oder gar jahrelanger Streit die Folge, in dem die einen den anderen vorwerfen, deren Befunde beruhten auf unsachgemäß angewandten Methoden. Wenn die Replikationsversuche hartnäckig scheitern, obsiegen die Zweifler, und letztlich wird der Widerruf unvermeidlich.

Mit der rapide wachsenden Flut an Fachartikeln steigt auch die Häufigkeit von Zurücknahmen – und damit lohnt es sich, die Retractions, statt sie schamhaft dem Vergessen zu überantworten, systematisch auszuwerten, um aus Fehlern zu lernen. Vor allem sollte jeder Fall mit einer Information über die Gründe versehen werden, meint Quan-Hoang Vuong von der Phenikaa University in Hanoi.

Der vietnamesische Wissenschaftssoziologe hat mehr als 2000 Retractions daraufhin untersucht, ob sie Auskunft über ihre Vorgeschichte gaben.

In jedem zweiten Fall wurde nicht erwähnt, wer den Artikel zurückgezogen hatte – alle Autoren? Ein Koautor? Die Redaktion? Zehn Prozent lieferten gar keine Begründung (Nature 582, S. 149, 2020).

Vuong schlägt vor, jeder Retraction vier Daten beizugeben: Wer hat sie veranlasst? Was war der Grund (methodischer Fehler, Plagiat, absichtlicher Betrug)? Waren sich Redakteure und Autoren darin einig? Stellte sich erst nachträglich die Nichtreproduzierbarkeit heraus?

Denn, so Vuong mit Recht, Retractions sind an sich nichts Schlechtes. Sie korrigieren menschliches Fehlverhalten und stärken den Wissenschaftsprozess. Auch aus Schaden wird man klug.


Newsletter abonnieren
Um immer auf dem Laufenden zu bleiben und Informationen über Möglichkeiten zu erhalten, uns zu unterstützen, melde dich hier für den Newsletter an.

Wird verarbeitet …
Erledigt! Sie sind auf der Liste.

Spende

Deine Spende hilft uns, ReclaimTheFacts durch bezahlte Werbung in sozialen Medien bekannter zu machen.

5.00 CHF