Vom Gipfel zur Grube

Mit Entschuldigungen an Ghost.

Das ist also passiert.

Lange Rede, kurzer Sinn: Brian Wansink ist Professor an der Cornell University. Seine Arbeit wurde auf Ungenauigkeit geprüft. Ich habe einige kleine persönliche Beiträge zu dieser Prüfung geleistet. Andere haben viel mehr gemacht. Zu den aufgedeckten Inkonsistenzen gehören Mittelwerte und Standardabweichungen, die nicht existieren können, Datenverteilungen, die nicht existieren können (oder nur unter lächerlichen Bedingungen existieren), seltsam wiederholte Stichprobengrößen, Selbstplagiate, statistische Anomalien, Rebhuhn, Birnbaum usw.

Wenn Sie sich nicht für Metawissenschaften oder forensische Statistiken interessieren oder mir auf Twitter nicht folgen, haben Sie vielleicht überhaupt nichts davon gehört.

Denn wenn es dich nicht interessiert, ist es schrecklich langweilig. Und es gibt Zahlen. So viele Zahlen.

Was wir bis jetzt nicht wussten, war, wie die Wurst hergestellt wurde. Woher kommen diese Inkonsistenzen? Was repräsentieren sie? Ich verbringe nicht zu viel Zeit mit solchen Fragen, weil ich - wie ich bereits sagte - weder einen Durchsuchungsbefehl noch eine Kristallkugel habe.

Nun, zu diesem schwindelerregenden Haufen von Ungenauigkeiten und Verwirrung kann dieser Artikel einen Einblick in den Forschungsprozess geben, nicht nur in die Forschungsergebnisse, mit denen wir uns bereits befasst haben.

Grundsätzlich können wir jetzt in die Wurstfabrik sehen, und sie ist so hübsch wie ein Bosch-Gemälde eines perforierten Dickdarms. Wir wussten, dass die Würste schlecht waren, aber jetzt können wir auch sagen warum. Es ist, weil es alte Pferde und Fahrradreifen und Bangkok Sommermüllmitten im Fleisch gibt.

Es wird viel darüber gesagt, deshalb werde ich hier drei Punkte ansprechen, zu denen andere Leute möglicherweise nicht kommen.

(1) Ersparen Sie mir die wohlmeinende Goof-Routine

Ein Zitat aus diesem Artikel, das nicht die gleiche Aufmerksamkeit wie die anderen erhält (wie zum Beispiel "Datenfolter" ... das ist ein Zitat, das ein paar Meilen weiterkommen wird), stammt von einem Doktoranden, der Zeit in Wansinks Labor verbracht hat.

Dies ist eine reife und einfühlsame Meinung, aber sie deutet auf etwas hin, das mir die Zähne zusammenbeißt - dass all diese Forschungsunruhen das traurige Ergebnis einer Art Icarian-Suche nach Hilfe sind. „Ich versuche nur zu helfen, Boss, ehrlich. Es tut mir leid wegen der schrecklichen Litanei der Sachen. Ich gebe mein Bestes, um Menschen zu helfen. “

Cool. Ich bin sicher, du bist ein Heiliger. Die Tatsache bleibt bestehen, wenn Sie schreckliche Forschung mit dem besten Willen der Welt betreiben, sind Sie immer noch ein großer Teil des Problems. In vielerlei Hinsicht sind Sie gefährlicher als ein kompletter Bastard, der den Forschungsprozess auf direktere und weniger ehrliche Weise verfälschen könnte.

Warum? Warum ist es so ein Problem, so zu "helfen"?

Es ist egoistisch. Sie priorisieren Ihre eigenen Meinungen gegenüber den Meinungen kontrollierter Beobachtungen. Sie sagen, dass Sie schlauer sind als die Daten. Und im weiteren Sinne besser positioniert, um die Realität zu diktieren als andere Menschen, die ihre eigenen Daten mitbringen, die sorgfältig über einen Forschungsplan analysiert werden, der nicht „geschlagen wird, bis er auf blutigen Stümpfen schwankt“. Sie sagen wörtlich: "Es ist egal, was wir finden, ich weiß, was die Leute brauchen."

Es ist auch egoistisch, weil das Veröffentlichen vieler schrecklicher Forschungsergebnisse normalerweise eindeutig gut für Ihre Karriere und eindeutig schlecht für die Wissenschaft ist.

Es ist monumental kurzsichtig. Ich kann hier nicht vollständig umreißen, ohne in den Wahnsinn abzusteigen, wie viele gute Ideen, die sorgfältig durchgeführten Experimenten unterzogen wurden, in den Bereichen Ernährung, Lebensmittelwissenschaft, Diätetik usw. nicht erfolgreich waren. Wenn Sie denken, Sie sind schlauer als die Daten, ignorieren Sie die zwanzig. Sieben Schritte vorwärts, sechsundzwanzig Schritte zurück, was die frustrierende Natur von FAST ALLER Verhaltensforschung ist. Wenn Sie der Meinung sind, dass die Rutschigkeit aller anderen Forschungen für Sie einfach nicht zutrifft, sind Sie ein massiver Esel.

Es ermöglicht eine sehr zynische Flucht. Wenn Sie ein Eiferer auf der Seite der Gerechten sind („Ich unterstütze Kinder, die Gemüse essen! Ich unterstütze Spaziergänge im Park!“), Sind die Menschen weitaus eher sanft zu Ihnen, wenn sich das Exkremental- / Beatmungskontinuum in einer Phase ändert (*) ) und Ihre Forschung wird unter die Lupe genommen.

Wissentlich gemacht, ist dies eine erstaunlich zynische Positionierung. Wissenschaftler steigen wie ein Hurrikan der Kategorie 5 voller Messer auf gekochte Forschung von Anti-Impf-Wahnsinnigen und Verrückten fossiler Brennstoffe herab. Dasselbe wird niemals zutreffen, wenn Sie ein Papier mit dem Titel „Umarmungen, frisches Obst oder Umarmungen UND frisches Obst? Das Leben von Kindern verbessern, weil es schön ist 'oder' Vier Pläne, Gemüse in die Armen einzufügen '. Die besten Absichten sind ein wunderbares Bett, in dem die Blüten mit totaler Inkompetenz durch Synapsenknacken wachsen können, UND eine praktische Flucht in das Handdrücken, wenn die Blüten schreien und sich in nekrotischen Staub verwandeln.

(2) Erzählungen. Überall Erzählungen.

So oft in dieser Geschichte sehen wir die Rolle der Erzählung. Wo ist die gute Geschichte? Was verkauft sich? Was werden die Leute genießen? Was wird diese Geschichte klarer machen?

Wir beschäftigen uns mit dieser Frage: Welche Rolle sollte eine gute Geschichte in der Wissenschaftskommunikation spielen? Ist es nötig? Können wir es zu weit bringen?

Meine Antwort darauf lautet im Allgemeinen: Normalerweise haben wir nicht genug Material, um eine Geschichte zu erzählen. Gute Forschungsprogramme stellen verwandte, fokussierte Fragen, bis schließlich Informationen auftauchen, die Sie erzählen können. Heutzutage hat jeder Datensatz seine eigene wunderbare Geschichte zu erzählen. Und in Situationen wie der Gegenwart könnte man mit der vorherigen Anwendung von ein paar hundert strategisch platzierten Tritten eine gute alte Geschichte erzählen.

Wenn Sie Geschichten erzählen wollen, gut. Kaufen Sie einen Moleskine und einen nervigen Hut, sitzen Sie in einem nachdenklich aussehenden Café, schreiben Sie Nächte, essen Sie gerne Top Ramen und folgen Sie JK Rowling auf Twitter. Auf der Welt gibt es tausendtausend Orte für Geschichtenerzähler. Finden Sie eines davon und legen Sie die mehrstufigen Regressionsmodelle mit Zimtgeschmack weg.

(3) Du hast beim Saugen versagt ... und das ist beängstigend

Wenn ich eine wissenschaftliche Studie durchführe, in der 20 Variablen aufgezeichnet werden, und dann nur die drei Variablen berichte, die "funktioniert" haben, ist es für niemanden sehr schwierig, dies jemals herauszufinden.

Niemand prüft meine anfängliche Arbeit, niemand prüft. Im Allgemeinen wird niemand meinen gesamten und ungeschminkten Datensatz sehen. Wenn ich zwischen Forschungsgruppen positioniert bin, meine eigene Datenerfassung abwickle und so weiter, umso besser.

Oh, und wenn ich gelegentlich gefragt werde, ob meine Studienberichte korrekt sind, kann ich immer nur Ja sagen. Es gibt keine Beweislast oder ähnliches. Ich kann einfach behaupten.

Wenn ich herausgefordert werde, kann ich einfach die Daten für die drei interessierenden Variablen erstellen. Die 17 Variablen, die ich nicht gemeldet habe, werden aus dem Rücken genommen und aufgenommen.

Das Bemerkenswerte an diesem Fall ist, dass (A) ein Journalist geistig und hartnäckig war, um tatsächliche Beweise für schlechte Laborpraktiken zu erhalten, was ich niemals tun konnte und möglicherweise beispiellos war, und (B) die Beweise für schreckliche Ungenauigkeiten in der gemeldete Daten gingen diesem voraus.

Im Grunde genommen haben diese Leute, während sie all die wunderbaren „kreativen“ Möglichkeiten nutzten, um Forschung zu betreiben, um gut auszusehen, so schlechte Arbeit geleistet, dass jemand es bemerkte. Diese Papiere scheiterten buchstäblich an schlechter Forschungspraxis. Erinnern Sie sich an die Quantenkartoffeln, bei denen ein Gruppenpaar gleichzeitig 23, 25 oder 26 Mitglieder hatte? Was für ein Clownauto fährst du, wenn du nicht addieren kannst?

Bereit für den schrecklichen Teil?

Was bedeutet das für die Leute, die hinzufügen können?

Wie viele Forschungsgruppen machen etwas Ähnliches, berichten aber genau über die Daten, die sie zusammengestellt haben, um eine gute Geschichte zu schreiben?

Wissen wir, wie wir sie finden können? Kann die Schwarze Flagge sie finden?

Die Antwort ist nein, wir können nicht. Unehrliche Forschung berichtet genau, ist die riesige Masse des Eises unter dieser sichtbaren Spitze. Wir können es nicht sehen, wir können nur wirklich schließen, dass es da ist. Der Weg, dies zu beheben, ist eine Änderung des akademischen Umfelds und der Veröffentlichungspraxis, und nicht das Herausgehen und Kämmen von mehr veröffentlichten Artikeln für Dummköpfe und Stuff-ups.

Ich habe erst vor ein paar Tagen gesagt, dass diese ganze traurige unendliche Geschichte des Forschungswehs, diese Silmarillion von Blöcken, immer noch unerklärlich die Fähigkeit bewahrt hat, mich zu überraschen.

Und hier sind wir wieder und überrascht bin ich.

(*) Wenn die Scheiße den Ventilator trifft. Es ist spät. Verwöhn mich.