Vom Gipfel zur Grube

Mit Entschuldigung an Ghost.

Das ist also passiert.

Kurz gesagt: Brian Wansink ist Professor an der Cornell University. Seine Arbeit wurde auf ihre Ungenauigkeit geprüft. Ich habe einige kleine persönliche Beiträge zu dieser Prüfung geleistet. Andere haben viel mehr gemacht. Die aufgedeckten Inkonsistenzen umfassen Mittelwerte und Standardabweichungen, die nicht existieren können, Datenverteilungen, die nicht existieren (oder nur unter lächerlichen Bedingungen existieren), ungewöhnlich wiederholte Stichprobengrößen, Selbstplagiate, statistische Anomalien, Rebhuhn, Birnbaum usw.

Wenn Sie sich nicht für Metawissenschaft oder forensische Statistik interessieren oder mir auf Twitter nicht folgen, haben Sie möglicherweise gar nichts davon gehört.

Denn wenn es dich nicht interessiert, ist es furchtbar langweilig. Und da sind Zahlen. So viele Zahlen.

Was wir bis jetzt nicht wussten, war, wie die Wurst hergestellt wurde. Woher kommen diese Inkonsistenzen? Was repräsentieren sie? Ich verbringe nicht zu viel Zeit mit Fragen wie diesen, da ich - wie gesagt - weder einen Durchsuchungsbefehl noch eine Kristallkugel habe.

Nun, zu diesem schwindelerregenden Haufen von Ungenauigkeiten und Verwirrung kann dieser Artikel einen Einblick in den Forschungsprozess geben, nicht nur in die Forschungsergebnisse, mit denen wir uns bereits befasst haben.

Grundsätzlich können wir jetzt die Wurstfabrik besichtigen, und sie ist so hübsch wie ein Bosch-Gemälde eines perforierten Dickdarms. Wir wussten, dass die Würste schlecht waren, aber jetzt können wir auch sagen warum. Es ist, weil es alte Pferde und Fahrradreifen und Bangkok Sommermüllmitten im Fleisch gibt.

Es wird viel darüber gesagt, deshalb werde ich hier drei Punkte ansprechen, auf die andere Leute möglicherweise nicht eingehen.

(1) Ersparen Sie mir die wohlmeinende Goof-Routine

Ein Zitat aus diesem Artikel, das nicht die gleiche Aufmerksamkeit erhält wie die anderen (wie zum Beispiel "Datenquälerei" ... das ist ein Zitat, das ein paar Meilen auf sich ziehen wird), stammt von einem Doktoranden, der einige Zeit in Wansinks Labor verbracht hat.

Dies ist eine ausgereifte und einfühlsame Meinung, aber sie deutet auf etwas hin, das meine Zähne knirscht - dass all diese Forschungsturbulenzen das traurige Ergebnis irgendeiner Suche der Icarianer nach Hilfe sind. „Ich versuche nur zu helfen, Boss, ehrlich. Es tut mir leid wegen der schrecklichen Litanei von Stuff-Ups. Ich gebe mein Bestes, um Menschen zu helfen. "

Cool. Ich bin sicher, du bist ein Heiliger. Die Tatsache bleibt bestehen, wenn Sie schreckliche Nachforschungen mit dem besten Willen der Welt anstellen, sind Sie immer noch ein wesentlicher Teil des Problems. In vielerlei Hinsicht sind Sie gefährlicher als ein kompletter Bastard, der den Forschungsprozess auf direktere und weniger ehrliche Weise pervertieren könnte.

Warum? Warum ist es so problematisch, so zu helfen?

Es ist egoistisch. Sie priorisieren Ihre eigenen Meinungen gegenüber den Meinungen kontrollierter Beobachtungen. Sie sagen, Sie sind schlauer als die Daten. Und im Großen und Ganzen besser aufgestellt, um die Realität zu diktieren als andere Menschen, die ihre eigenen Daten einbringen, die sorgfältig anhand eines Forschungsplans analysiert werden, der nicht „zu toppen ist, bis er auf blutigen Stümpfen taumelt“. Sie sagen wörtlich: "Es ist egal, was wir finden, ich weiß, was die Leute brauchen."

Es ist auch egoistisch, weil das Veröffentlichen vieler schrecklicher Forschungsergebnisse in der Regel eindeutig gut für Ihre Karriere und eindeutig schlecht für die Wissenschaft ist.

Es ist monumental kurzsichtig. Ich kann hier nicht vollständig umreißen, ohne in den Wahnsinn abzusteigen, wie viele gute Ideen, die sorgfältig durchgeführten Experimenten unterzogen wurden, in den Bereichen Ernährung, Lebensmittelwissenschaft, Diätetik usw. fehlgeschlagen sind. Sieben-Schritte-Vorwärts-Sechsundzwanzig-Schritte-Zurück, was die frustrierende Natur von FAST ALLER Verhaltensforschung ist. Wenn Sie der Meinung sind, dass die Rutschgefahr aller anderen Forschungen nicht auf Sie zutrifft, sind Sie ein gewaltiger Esel.

Es ermöglicht eine sehr zynische Flucht. Wenn Sie ein Fanatiker auf der Seite der Gerechten sind ("Ich unterstütze Kinder, die Gemüse essen! Ich unterstütze Spaziergänge im Park!"), Ist die Wahrscheinlichkeit sehr viel größer, dass die Menschen Sie sanft behandeln, wenn sich die Phasen im Exkremental- / Beatmungskontinuum ändern (*). ) und Ihre Forschung wird auf den Prüfstand gestellt.

Bewusst gemacht, ist dies eine erstaunlich zynische Positionierung. Wissenschaftler stürzen sich wie ein Hurrikan der Kategorie 5 voller Messer auf Forschungsergebnisse, die von Wahnsinnigen gegen Impfungen und Goons mit fossilen Brennstoffen stammen. Das Gleiche wird niemals zutreffen, wenn Sie ein Papier mit dem Titel „Umarmungen, frisches Obst oder Umarmungen UND frisches Obst? Das Leben von Kindern verbessern, weil es schön ist oder weil es vier Pläne gibt, Gemüse in die Armen zu legen. Die besten Absichten sind ein wunderbares Bett, auf dem die Blüten wachsen können, wenn sie nicht in der Lage sind, Synapsen zu knacken, und ein Zufluchtsort, wenn die Blüten schreien und sich in nekrotischen Staub verwandeln.

(2) Erzählungen. Erzählungen überall.

So oft in dieser Geschichte sehen wir die Rolle der Erzählung. Wo ist die gute Geschichte? Was verkauft sich? Was werden die Leute genießen? Was wird diese Geschichte klarer machen?

Wir gehen auf diese Frage ein und aus - welche Rolle sollte eine gute Geschichte in der Wissenschaftskommunikation spielen? Ist es nötig? Können wir es zu weit bringen?

Meine Antwort darauf lautet im Allgemeinen: Normalerweise haben wir nicht genug Material, um eine Geschichte zu erzählen. Gute Forschungsprogramme stellen verwandte, fokussierte Fragen, bis schließlich Informationen auftauchen, die Sie erzählen können. In diesen Tagen hat jedoch jeder Datensatz seine eigene wunderbare Geschichte zu erzählen. Und in Situationen wie der Gegenwart könnte mit der vorherigen Anwendung von ein paar hundert strategisch platzierten Tritten eine gute alte Geschichte geschrieben werden.

Wenn Sie Geschichten erzählen wollen, gut. Kaufen Sie einen Moleskine und einen nervigen Hut, sitzen Sie in einem nachdenklichen Café, schreiben Sie Nächte, genießen Sie das Essen von Top Ramen und folgen Sie J.K. Rowling auf Twitter. Tausendtausend Plätze gibt es auf der Welt für Geschichtenerzähler. Finden Sie eine davon und legen Sie die Regressionsmodelle mit mehrstufigem Zimtgeschmack beiseite.

(3) Sie haben nicht gesaugt ... und das ist beängstigend

Wenn ich eine wissenschaftliche Studie mit 20 Variablen durchführe und dann nur die drei, die "funktioniert" haben, melde, ist es für jeden sehr schwierig, dies jemals herauszufinden.

Niemand prüft meine anfängliche Arbeit, niemand prüft sie. Im Allgemeinen wird niemand meinen gesamten und unlackierten Datensatz sehen. Wenn ich zwischen Forschungsgruppen positioniert bin, umso besser, wenn ich mit meiner eigenen Datenerfassung umzugehen habe und so weiter.

Oh, und wenn ich gelegentlich gefragt werde, ob meine Studienberichte korrekt sind, kann ich immer nur Ja sagen. Es gibt keine Beweislast oder ähnliches. Ich kann es einfach behaupten.

Wenn ich dazu aufgefordert werde, kann ich einfach die Daten für die drei interessierenden Variablen erstellen. Die 17 Variablen, die ich nicht gemeldet habe, werden aus dem Rücken genommen und erschossen.

Das Bemerkenswerte an diesem Fall ist, dass (A) ein Journalist den Verstand und die Hartnäckigkeit besaß, um tatsächliche Beweise für schlechte Laborpraktiken zu erhalten, was ich niemals tun konnte und was möglicherweise beispiellos ist, und (B) die Beweise für schreckliche Ungenauigkeiten in der gemeldete Daten gingen diesem voraus.

Grundsätzlich nutzten diese Leute alle wunderbaren „kreativen“ Möglichkeiten, um die Forschung zu optimieren, um gut auszusehen, und machten dabei einen so schlechten Job, dass es jemand bemerkte. Diese Papiere scheiterten buchstäblich an schlechter Forschungspraxis. Erinnern Sie sich an die Quantenkartoffeln, bei denen ein Gruppenpaar gleichzeitig 23, 25 oder 26 Mitglieder hatte? Was für ein Clownauto fährst du, wenn du nicht HINZUFÜGEN kannst?

Bereit für den schrecklichen Teil?

Was bedeutet das für die Leute, die hinzufügen KÖNNEN?

Wie viele Forschungsgruppen machen etwas Ähnliches, berichten aber genau über die Daten, die sie zusammengestellt haben, um eine gute Geschichte zu schreiben?

Wissen wir, wie wir sie finden können? Kann die Schwarze Flagge sie finden?

Die Antwort ist nein, wir können nicht. Unehrliche Forschung, über die genau berichtet wurde, ist die gewaltige Eismasse unterhalb dieser sichtbaren Spitze. Wir können es nicht sehen, wir können nur wirklich schließen, dass es da ist. Die Art und Weise, dies zu beheben, ist eine Änderung im akademischen Umfeld und in der Veröffentlichungspraxis, und nicht das Ausgehen und Kämmen von mehr veröffentlichten Artikeln für Dummköpfe und Krimskrams.

Ich habe erst vor ein paar Tagen gesagt, dass diese ganze traurige, endlose Saga des Forschungswehs, diese Silmarillion von Blöcken, immer noch unerklärlicherweise die Fähigkeit bewahrt hat, mich zu überraschen.

Und hier sind wir wieder und ich bin überrascht.

(*) Wenn die Scheiße den Lüfter trifft. Es ist spät. Verwöhn mich.