Die meiste Forschung, die ich veröffentliche, ist falsch. Und damit bin ich einverstanden

Computational Guy nimmt die "Reproduzierbarkeitskrise" auf

Die Wissenschaft steckt in einer Krise. Eine Krise der Reproduzierbarkeit. Große Ergebnisse, die in großen Fachzeitschriften von großen Namen veröffentlicht wurden, können nicht von anderen reproduziert werden. Ergebnisse, die als „Tatsachen“ betrachtet werden, haben sich als Illusion herausgestellt. Die Bemühungen eines großen Teams, zahlreiche Studien zu Psychologie und Krebsmedikamenten zu reproduzieren, konnten die Mehrzahl der ursprünglichen Ergebnisse nicht reproduzieren. Diese Misserfolge haben in der gesamten Wissenschaft zu einem scharfen Atemzug geführt: „Sind wir es auch? Können wir unsere Ergebnisse reproduzieren? "

Dies alles sorgt für großartige Schlagzeilen, Leitartikel und Denkanstöße in den Glanzzeitschriften der Wissenschaft. Und zunehmend in nationalen Zeitungen. Die leidenschaftliche Rhetorik ruft oft den Gedanken hervor, dass der Tod der Wissenschaft (*) uns alle nacheinander besuchen wird ...

In das Labor taucht eine hoch aufragende Gestalt mit Kapuze auf. Ihr Gesicht ist dunkel, die Finger lang und die Knochen weiß, und sie dreht eine scharfe Pipette.

"SIE", der Tod der Wissenschaft, weist auf den Laborleiter hin. DIE MEISTEN AUSWIRKUNGEN, DIE SIE GEFUNDEN HABEN, GIBT ES NICHT. "

"Wirklich?", Quietscht der Laborkopf. "Ich wusste es nicht. Sie sehen, der P-Wert war kleiner als ..."

"Ich halte dich gleich dort auf. DEINE ZEIT IST GEKOMMEN. Ich komme, um dich auf die andere Seite zu bringen. "

"Was, Cambridge?"

„NO YOU IVORY TOWER FOOL. DIE ANDERE ANDERE SEITE “

"Oh Gott sei Dank. Cambridge ist eine Müllkippe. "

Aber warum um alles in der Welt erwarten wir, dass die Wissenschaft immer Recht hat? Stellen Sie sich vor, alle veröffentlichten Artikel hätten Recht! Stellen Sie sich vor, wie schnell sich die Gesellschaft entwickeln würde! (Für gut oder für schlecht, wer weiß). Anscheinend haben wir die grundlegende Perspektive für ein wissenschaftliches Ergebnis vergessen: Glauben Sie nicht, dass es wahr ist. Nehmen Sie veröffentlichte Artikel nicht zum Nennwert.

Wie grundlegend ist diese Perspektive? So einfach, dass es eines der ersten Dinge ist, die wir unseren Studenten beibringen. Beim ersten Kontakt mit Zeitschriftenartikeln haben die Schüler zwei Reaktionen: (1) Ich verstehe kein Wort davon. Kann ich bitte mein Lehrbuch zurückhaben? (Antwort: nein, da das Lehrbuch falsch ist). Und (2) es wurde veröffentlicht, also muss es wahr sein. Wir schulen sie, dass das Unsinn ist. Wir schulen sie darin, über Papiere nachzudenken, wie sie höchstwahrscheinlich falsch sind. Wie kann man sich nicht der Autorität unterwerfen, sondern konstruktiv skeptisch sein - um bei einem Papier grundlegende Fragen zu stellen: „Ergeben sich die Behauptungen aus den tatsächlichen Ergebnissen?“; "Was hätte besser gemacht werden können?"; "Was könnte als nächstes getan werden?"

Und nicht, weil wir glauben, dass die Autoren des Papiers uns anlügen. Oder Mist. Aber weil die Wissenschaft schwer ist. Experimente sind schwer. Es gibt viele unkontrollierte, oft unbekannte Variablen. Wir lehren also, dass eine einzelne Arbeit über eine Reihe von Experimenten nicht als Wahrheit angesehen werden kann. Dafür müssen wir die Ergebnisse reproduzieren.

Haben wir diese Lektionen selbst vergessen? Erlebt die Wissenschaft eine Art kollektive Amnesie?

Vielleicht habe ich eine andere Ansicht, weil ich ein Computerwissenschaftler bin - indem ich mit Mathematik und Computercode Modelle von Neuronen und Gehirnteilen aufbaue: Ich erwarte, dass die Forschung falsch ist. Weil ich erwarte, dass meine Forschung falsch ist. Bevor ich überhaupt angefangen habe. (Dies ist übrigens der Grund, warum die Computerforscher auf jedem Gebiet - Systembiologie, Neurowissenschaften, Evolution usw. - so ein elender Haufen sind).

Modelle sind von Anfang an falsch. Ein Modell versucht, eine Essenz eines interessanten Problems zu erfassen - wie beispielsweise Neuronen ihre Eingaben in Ausgaben umwandeln. Ein Modell erfasst nicht jedes Detail des Systems, das es zu emulieren versucht - dies wäre eine Torheit, da dies so wäre, als würde man eine Karte eines Landes erstellen, indem man ein perfektes maßstabsgetreues Modell aller Unebenheiten und Unebenheiten erstellt. Schön anzusehen; nutzlos für die Navigation. Modelle sind also vom Design her falsch: Sie lassen die Details aus. Sie wollen nützlich sein. Und da unsere Modelle Vermutungen zum wahren Wesen des Problems sind, werden die meisten von ihnen völlig falsch und nicht nützlich sein. Wir gehen davon aus, dass unsere Modelle versagen werden. vor allem, wenn es um so komplexe Dinge wie das Gehirn oder menschliches Verhalten geht.

Modelle sind hier auch statistische Modelle. In der Statistik geht es im Wesentlichen darum, die komplexe, unübersichtliche reale Welt in kleinen Zahlen zusammenzufassen, die so klein sind, dass wir hoffen können, sie zu verstehen. Wenn in einer Studie ein geringeres Demenzrisiko festgestellt wird, wenn Sie als Kind weniger Zeit damit verbringen, sich in den Kopf zu schlagen (wenn Sie zusehen, wie mein Kleinkind seinen Teddy auf den Kopf schlägt), dann ist dies eine einzelne Zahl, eine Zusammenfassung der Beziehung zwischen zwei Größen (Menge an Demenz; Menge an jugendlichem Bonce-Bashing). Diese einzige Zahl verkürzt die chaotische Komplexität von Hunderten oder Tausenden von Datenpunkten - von Messungen der Demenz von Hunderten von Menschen und unabhängig davon, wie sehr sie sich als Kind in den Kopf geschlagen haben. Diese Nummer ist falsch. Wir wissen, dass es falsch ist. Wir wissen nicht, wie sehr es falsch ist. Wenn ein bisschen falsch, dann ist der Effekt des verringerten Risikos immer noch da. Wenn viel falsch ist, dann ist der Effekt nicht da.

Hier ist das Wichtige: Es spielt keine Rolle, was der statistische Test sagt. Aus dem Test geht hervor, dass die Anzahl in Anbetracht der Datenmenge und unserer Annahmen zu den Daten wahrscheinlich in einen bestimmten Bereich fällt. Dazu gehört unter anderem, dass die Daten korrekt gemessen wurden (wenn nicht, dann ist die Zahl natürlich falsch). Und dass wir den richtigen Weg gewählt haben, um die Daten auf einfache Zahlen zu vereinfachen (wenn dies nicht der Fall ist, hat die Zahl keine Beziehung zur Realität). Und vor allem, dass es in der realen Welt tatsächlich wirklich einen Effekt gibt. Dass es tatsächlich existiert. Ist dies nicht der Fall, spielt es keine Rolle, wie gut unsere Statistiken sind.

Die weltliche Wahrheit ist, dass vieles, was nicht reproduziert werden kann, darauf zurückzuführen ist, dass die ursprünglichen Studien entweder Miststatistiken verwendeten oder Pech hatten. (Und in einigen Fällen die Unfähigkeit der ursprünglichen Autoren, ihre eigenen Ergebnisse zu verstehen). Kein Schummeln, keine falschen Daten, keine völlige Lüge. Aufgrund der Krise hatten wir jetzt viele Warnungen davor, die falschen statistischen Tests durchzuführen. über die richtigen Tests, aber ohne genügend Proben; und über unser unbewusstes Verlangen, die Daten zu quälen, bis sie zu einem Ergebnis führen. Alle brauchen Beachtung. Alle werden die Wissenschaft verbessern.

(Schließlich ist es sehr wichtig, dass die Tests von experimentellen Arzneimitteltests reproduzierbar sind, da die Lebensdauer von diesen Tests abhängt. Und im Fall von Arzneimitteln, die an bestimmten Zelltypen getestet wurden, scheint die Unfähigkeit, die Ergebnisse zu reproduzieren, ebenso auf die Ursachen zurückzuführen zu sein Zellen sind falsch beschriftet - sie sind nicht das, was auf der Dose steht, in die sie gekommen sind.)

Selbst dann scheint die Krise größtenteils eine Perspektive zu sein, keine Statistik. Wir müssen uns an eine einfache Wahrheit erinnern: Jedes Papier ist eine Idee - es heißt: "Hey, sieh dir das an, das könnte cool sein." Nicht "Das ist die Wahrheit."

Der Tod der Wissenschaft war vor ein paar Wochen aufgetaucht, um sich mit mir zu unterhalten

"Ich habe dir gesagt, dass du nicht genug Proben hast."

"Kumpel, ich analysiere einige bereits vorhandene Daten, um Ideen zu testen, nach Hinweisen zu suchen und einen Angriffswinkel auf das Gehirn zu erhalten. Ich kann nicht wissen, dass ich nicht genug Samples habe, bis ich die gesuchte Effektgröße kenne. Außerdem weiß ich, dass alles, was ich finde, falsch ist. Weißt du, mir geht es gut. "

"OH"

"HAST DU CUPCAKES?"

(*) Danke, Terry

Mehr wollen? Folgen Sie uns bei The Spike

Twitter: @markdhumphries