Die meisten von mir veröffentlichten Forschungsergebnisse werden falsch sein. Und damit bin ich einverstanden

Die Einstellung eines Computationalisten zur „Reproduzierbarkeitskrise“

Die Wissenschaft befindet sich in einer Krise. Eine Krise der „Reproduzierbarkeit“. Große Ergebnisse, die in großen Zeitschriften von großen Namen veröffentlicht wurden, können nicht von anderen reproduziert werden. Ergebnisse, die als „Fakten“ betrachtet werden, haben sich als Illusion herausgestellt. Die Bemühungen großer Teams, zahlreiche Studien zu Psychologie und Krebsmedikamenten zu reproduzieren, konnten den Großteil der ursprünglichen Ergebnisse nicht reproduzieren. Diese Fehler haben in der Wissenschaft zu einem scharfen Atemzug geführt: „Sind wir es auch? Können wir unsere Ergebnisse reproduzieren? “

Dies alles sorgt für großartige Schlagzeilen, Leitartikel und Denkanstöße in den Glamour-Journalen der Wissenschaft. Und zunehmend in nationalen Zeitungen. Die leidenschaftliche Rhetorik ruft oft den Gedanken hervor, dass der Tod der Wissenschaft (*) uns alle nacheinander besuchen wird…

In das Labor stürzt eine hoch aufragende Gestalt mit Kapuze, das Gesicht in Dunkelheit verdeckt, lange Finger, weiße Knochen und eine geschärfte Pipette.

"SIE", der Tod der Wissenschaft, zeigt auf den Laborleiter. "SIE HABEN IN IHREN EXPERIMENTEN NICHT GENUG PROBEN VERWENDET." Die meisten Auswirkungen, die Sie gefunden haben, existieren nicht. "

"Ja wirklich?" quietscht der Laborkopf, "Ich wusste nicht, Sie sehen, der P-Wert war kleiner als ..."

„Ich werde dich direkt dort aufhalten. DEINE ZEIT IST GEKOMMEN. Ich bin gekommen, um dich auf die andere Seite zu bringen. "

"Was, Cambridge?"

„Nein, du Elfenbein-Turmfohlen. DIE ANDERE ANDERE SEITE “

"Oh Gott sei Dank. Cambridge ist eine Müllkippe. “

Aber warum um alles in der Welt erwarten wir, dass die Wissenschaft immer Recht hat? Stellen Sie sich vor, alle veröffentlichten Artikel wären richtig! Stellen Sie sich vor, wie schnell die Gesellschaft voranschreiten würde! (Zum Guten oder zum Schlechten, wer weiß). Es scheint, als hätten wir die grundlegende Perspektive eines wissenschaftlichen Ergebnisses vergessen: Glauben Sie nicht, dass es wahr ist. Nehmen Sie veröffentlichte Artikel nicht zum Nennwert.

Wie grundlegend ist diese Perspektive? So einfach, dass es eines der ersten Dinge ist, die wir unseren Studenten beibringen. Wenn die Schüler zum ersten Mal Zeitschriftenartikeln ausgesetzt werden, haben sie zwei Reaktionen: (1) Ich verstehe kein Wort davon. Kann ich bitte mein Lehrbuch zurückhaben? (Antwort: nein, weil das Lehrbuch falsch ist). Und (2) es ist veröffentlicht, also muss es wahr sein. Wir trainieren sie, dass dies Unsinn ist. Wir schulen sie darin, wie man über Papiere nachdenkt, wie sie höchstwahrscheinlich falsch sind. Wie kann man sich nicht der Autorität unterwerfen, sondern konstruktiv skeptisch sein - einem Papier grundlegende Fragen stellen: „Folgen die Behauptungen aus den tatsächlichen Ergebnissen?“; "Was hätte besser gemacht werden können?"; "Was könnte als nächstes getan werden?"

Und nicht, weil wir glauben, dass die Autoren des Papiers uns anlügen. Oder Mist. Aber weil die Wissenschaft schwer ist. Experimente sind schwer. Es gibt viele unkontrollierte, oft unbekannte Variablen. Wir lehren also, dass ein einzelnes Papier über eine Reihe von Experimenten nicht als Wahrheit angesehen werden kann. Dafür müssen wir die Ergebnisse reproduzieren.

Haben wir diese Lektionen selbst vergessen? Erlebt die Wissenschaft irgendeine Form von kollektiver Amnesie?

Vielleicht, weil ich Computerwissenschaftler bin und mithilfe von Mathematik und Computercode Modelle von Neuronen und Gehirnstücken baue, habe ich eine andere Ansicht: Ich erwarte, dass die Forschung falsch ist. Weil ich erwarte, dass meine Forschung falsch ist. Bevor ich überhaupt damit angefangen habe. (Dies ist übrigens der Grund, warum die Computerforscher in allen Bereichen - Systembiologie, Neurowissenschaften, Evolution usw. - so elend sind).

Modelle sind von Anfang an falsch. Ein Modell versucht, eine Essenz eines interessanten Problems zu erfassen - wie Neuronen beispielsweise ihre Eingaben in Ausgaben umwandeln. Ein Modell erfasst nicht jedes Detail des Systems, das es zu emulieren versucht - dies wäre Torheit, da dies wie das Erstellen einer Landkarte wäre, indem ein perfektes Modell für jede Beule, jeden Winkel und jede Ecke erstellt wird. Schön anzusehen; nutzlos für die Navigation. Modelle sind also von Natur aus falsch: Sie lassen die Details aus. Sie wollen nützlich sein. Und weil unsere Modelle Vermutungen über die wahre, zugrunde liegende Essenz des Problems sind, werden die meisten von ihnen völlig falsch und nicht nützlich sein. Wir erwarten, dass unsere Modelle versagen. besonders wenn es um etwas geht, das so komplex ist wie das Gehirn oder wie menschliches Verhalten.

Modelle bedeuten hier auch statistische Modelle. In der Statistik geht es im Wesentlichen darum, die komplexe, chaotische reale Welt in kleinen Zahlen zusammenzufassen, die so klein sind, dass wir hoffen können, sie zu verstehen. Wenn eine Studie ein geringeres Risiko für Demenz ankündigt, wenn Sie als Kind weniger Zeit damit verbringen, sich in den Kopf zu schlagen (wenn mein Kleinkind seinen Teddy auf den Kopf schlägt), dann ist dies eine einzelne Zahl, eine einzelne Zusammenfassung der Beziehung zwischen zwei Größen (Menge an Demenz; Menge an jugendlichem Bonce-Bashing). Diese einzelne Zahl reduziert die chaotische Komplexität von Hunderten oder Tausenden von Datenpunkten - von Messungen der Demenz von Hunderten von Menschen und getrennt davon, wie sehr sie sich als Kind in den Kopf geschlagen haben. Diese Nummer ist falsch. Wir wissen, dass es falsch ist. Wir wissen nicht, wie sehr es falsch ist. Wenn ein bisschen falsch, dann ist der Effekt eines verringerten Risikos immer noch da. Wenn viel falsch ist, dann ist der Effekt nicht da.

Hier ist das Wichtige: Es spielt keine Rolle, was der statistische Test sagt. Der Test sagt uns, dass die Anzahl angesichts der Datenmenge und unserer Annahmen über die Daten wahrscheinlich in einen bestimmten Bereich fallen wird. Dazu gehört unter anderem, dass die Daten korrekt gemessen wurden (wenn nicht, ist die Anzahl natürlich falsch). Und dass wir den richtigen Weg gewählt haben, um die Daten auf einfache Zahlen zu vereinfachen (wenn wir dies nicht getan haben, hat die Zahl keine Beziehung zur Realität). Und vor allem, dass es in der realen Welt tatsächlich einen Effekt gibt. Dass es tatsächlich existiert. Wenn es nicht existiert, spielt es keine Rolle, wie gut unsere Statistiken sind.

Die weltliche Wahrheit ist, dass vieles, was nicht reproduziert werden kann, darauf zurückzuführen ist, dass die ursprünglichen Studien entweder Miststatistiken verwendeten oder Pech hatten. (Und in einigen Fällen die Unfähigkeit der ursprünglichen Autoren, ihre eigenen Ergebnisse zu verstehen). Kein Schummeln, keine gefälschten Daten, kein regelrechtes Lügen. Aufgrund der Krise haben wir jetzt viele Warnungen erhalten, die falschen statistischen Tests durchzuführen. über die richtigen Tests, aber ohne genügend Proben; und über unseren unbewussten Wunsch, die Daten zu foltern, bis sie ein Ergebnis gestehen. Alle müssen beachtet werden. Alles wird die Wissenschaft verbessern.

(Es ist schließlich sehr wichtig, dass Tests von experimentellen Drogentests reproduzierbar sind, da die Lebensdauer von diesen Tests abhängt. Und bei Arzneimitteln, die an bestimmten Zelltypen getestet wurden, scheint die Unfähigkeit, die Ergebnisse zu reproduzieren, ebenso auf das zurückzuführen zu sein Zellen werden falsch etikettiert - sie sind nicht das, was auf der Dose steht, in die sie gekommen sind.)

Selbst dann scheint die Krise größtenteils eine Perspektive zu sein, keine Statistik. Wir müssen uns an eine einfache Wahrheit erinnern: Jedes Papier ist eine Idee - es heißt: „Hey, sieh dir das an, das könnte cool sein.“ Nicht "Das ist die Wahrheit."

Der Tod der Wissenschaft kam vor ein paar Wochen, um mit mir zu sprechen

"Ich habe dir gesagt, dass du nicht genug Proben hast."

„Kumpel, ich analysiere einige bereits vorhandene Daten, um Ideen zu testen, nach Hinweisen zu suchen und einen Angriffswinkel auf das Gehirn zu erhalten. Ich kann nicht wissen, dass ich nicht genug Samples habe, bis ich die gesuchte Effektgröße kenne. Außerdem weiß ich, dass alles, was ich finde, falsch ist. Also, weißt du, mir geht es gut. “

"OH"

"HABEN SIE TASCHEN?"

(*) Danke, Terry

Mehr wollen? Folgen Sie uns bei The Spike

Twitter: @markdhumphries