scite: Vertraue, aber überprüfe

Ich habe meine Schüler angelogen.

OK, vielleicht nicht lügen. Nicht genau. Aber ich habe unabsichtlich Fehlinformationen mitgeteilt.

Als Psychologieprofessor unterrichte ich unter anderem eine Einführung in die Psychologie. Ein Teil dieses Kurses befasst sich mit der sogenannten "abnormalen" Psychologie - psychischen Störungen und deren Behandlung. Ich diskutiere ausführlich die Ätiologie verschiedener psychischer Störungen, einschließlich Depressionen. In meinen Vorlesungsnotizen zur Depression ist ein Verweis auf ein bestimmtes Gen, 5-HTTLPR, vergraben. Ich sage, eine ungewöhnliche Variante dieses Gens scheint mit der Entwicklung einer Depression verbunden zu sein, aber wir sind uns nicht sicher, warum.

Ein kürzlich veröffentlichtes Papier mit einer großen Stichprobe widerlegt jedoch eindeutig das Argument, dass 5-HTTLPR bei Depressionen eine Rolle spielt. Wie der Psychiater Scott Alexander (ein Pseudonym) in seinem Blog argumentiert, ist „[t] his not a research paper. Das ist ein Massaker. “

Um ehrlich zu sein, ich bin mir nicht sicher, wie dieser Leckerbissen in meine Vorlesungen gelangt ist. Ich unterrichte seit fast einem Jahrzehnt und meine Vorlesungsunterlagen und Folien bestehen aus Ergebnissen, die ich in verschiedenen Abschlussklassen, Lesungen und Vorträgen gesammelt habe, sowie Inhalten aus den von mir zugewiesenen Lehrbüchern. Ich vermute, dass dies vielen anderen Forschern ähnelt, die es lehren.

Ich bin kein klinischer Psychologe, und mein Wissen darüber, wie Gene die Entwicklung von psychischen Störungen beeinflussen, ist begrenzt. Als ich meine Vorlesungen vor Jahren zum ersten Mal erstellte, vertraute ich meiner Ausbildung. Ich habe der Literatur vertraut. Ich vertraute dem Peer-Review-Prozess, um unzuverlässige Behauptungen auszumerzen und die Integrität der wissenschaftlichen Literatur zu wahren.

Aber wie wir gesehen haben, ist dieses Vertrauen oft verlegt.

Aus all den Gründen, auf die Alexander hinweist (und ja, Sie sollten wirklich den ganzen Beitrag lesen), ist die Aussicht, dass ein einzelnes Gen für so etwas wie Depression verantwortlich ist (oder diese abmildert), einfach albern. Die Fähigkeit zur Bewertung wissenschaftlicher Aussagen - selbst für einen professionellen Gelehrten und Lehrer auf einem bestimmten Gebiet - ist jedoch stark eingeschränkt. Man muss sich mit einer schwindelerregenden Reihe von Behauptungen aus einer Vielzahl von Quellen vertraut machen. Häufig zitierte Artikel können häufig zitiert werden, weil sie sich gut replizieren oder weil sie einfach eine rudimentäre Tatsache begründen, auf die andere Autoren nebenbei verweisen möchten. Das Bestimmen, welche Zitate ein referenziertes Papier unterstützen oder widersprechen, erfordert einen großen Zeit- und Arbeitsaufwand. In der Tat haben Forscher ganze Forschungsarbeiten auf der Grundlage der Zitieranalyse einer einzelnen Arbeit geschrieben!

Wir arbeiten daran, dies bei scite.ai zu ändern, einem Unternehmen, das es einfach macht, zu überprüfen, ob ein wissenschaftlicher Artikel durch die Analyse von Hunderten von Millionen von Zitaten mithilfe von Deep Learning bestätigt oder widerlegt wurde. Als Twitter letzten Freitag über Alexanders Blogpost aufgeregt war, suchte ich in einem der fraglichen Artikel über Scite (Einfluss des Lebensstresses auf die Depression: Moderation durch einen Polymorphismus im 5-HTT-Gen) nach, um herauszufinden, wie es „aufgeregt“ wurde ”.

Der Scite-Bericht für dieses Papier zeigt, dass die überwiegende Mehrheit (ungefähr 97%) der Zitate dieses Papiers es nur erwähnt, ohne es ausdrücklich zu unterstützen oder zu widersprechen. Dreizehn Zitate stehen in direktem Widerspruch zum Papier und 48 stützen es (siehe Beispiele). Daher sagt die überwiegende Mehrheit der Zitate in der Datenbank von scite nichts über die Richtigkeit der Behauptungen in diesem Papier aus, und eine beträchtliche Anzahl von ihnen weist darauf hin, dass eine oder mehrere der Schlussfolgerungen des Papiers nicht übereinstimmen. Hätte ich diesen Bericht gesehen, hätte ich sicherlich vor Jahren einen Hinweis auf 5-HTT aus meinen Vorlesungen entfernt oder zumindest die vielen widersprüchlichen Punkte dargelegt, die durch Scite aufgetaucht sind.

Während die Zeitung und der Blogbeitrag die Community mit Gefühlen wie „Wie würde ich wissen, ob mein eigenes Forschungsgebiet so falsch ist?“ Beunruhigten, dachte ich an das alte russische Sprichwort „Vertrauen, aber überprüfen“ Hier helfen und ich hoffe, dass dieses Beispiel zeigt, dass wir uns ansehen sollten, wie ein Artikel zitiert wurde, und nicht nur, wie oft. Im Herbst, wenn ich einen Kurs über das Schreiben in den psychologischen Wissenschaften unterrichte, wird Scite einbezogen: Die Schüler werden aufgefordert, die Artikel, die sie in ihren Artikeln zitieren, nachzuschlagen und diese Informationen als Teil ihrer Literaturrezensionen zu verwenden. Wenn ich meine Vorlesungsunterlagen überprüfe, konsultiere ich jetzt regelmäßig Scite-Berichte, um die Behauptungen zu überprüfen, die ich im Unterricht mache.

Sie können das Tool in Ihrem eigenen Bereich hier ausprobieren: https://scite.ai/