Abfall in der Forschungswissenschaft - Wer ist verantwortlich und wie man ihn behebt

Ein Überblick über die systemischen Mängel in der akademischen Forschung

Hallo, mein Name ist Patrick und ich bin süchtig nach Wissenschaft.

2012 absolvierte ich eine Schule für freie Künste und nahm an einem Doktorandenprogramm in Molekularbiologie teil. Ich war so aufgeregt zu beginnen, dass ich den Sommer auf dem Boden des unkonditionierten Studio-Apartments meines Bruders schlief, damit ich meine Füße (und meine Stirn) in einem Labor nass machen konnte.

Mein Bruder sah mich an, als wäre ich verrückt, aber es war mir egal. Molekularbiologische Techniken haben für mich etwas Magisches.

Schon mal was von Optogenetik gehört? Wissenschaftler sind in der Lage, Neuronen genetisch so zu konstruieren, dass sie lichtempfindliche Ionenkanäle exprimieren. Dies ermöglicht es ihnen, Zellen mit extremer zeitlicher und räumlicher Auflösung durch einfaches Leuchten eines blauen Lichts selektiv zu aktivieren.

Was ist mit Immunfluoreszenz? Fluorophore, die leuchten, wenn sie einer vorbestimmten Lichtwellenlänge ausgesetzt werden, können kovalent an einen Antikörper gebunden sein, der auf ein bestimmtes Protein abzielt. Dies ermöglicht es dem Wissenschaftler, den Ort des Zielproteins innerhalb einer Zelle visuell abzubilden.

Die FRET-Mikroskopie ist noch erstaunlicher. Ich werde hier nicht auf die Details eingehen, aber vertrau mir, es lohnt sich, sie zu überprüfen.

Abbildung 1. Immunfluoreszenzmikroskopische Aufnahme von Lungenfibroblasten, die mit den Proteinen Vinculin (grün) und filamentösem Actin (lila) gefärbt wurden. Adaptiert von Singh et al., 2013.

Ich hatte das Glück, einigen unglaublichen Wissenschaftlern und Wissenschaftlern ausgesetzt zu sein, aber ich entschied mich, mein Programm nach dem ersten Jahr zu verlassen, weil mir klar wurde, dass eine erfolgreiche Karriere im akademischen Bereich viel mehr als eine Leidenschaft für die Forschung erfordert. Selbst die erfolgreichsten PIs, mit denen ich zusammengearbeitet habe und die einen Lebenslauf voller renommierter Veröffentlichungen hatten, waren besorgt über die Wahrscheinlichkeit, ihr nächstes Stipendium zu erhalten.

Die Wirtschaftslandschaft der akademischen Wissenschaft ist unversöhnlich und der Wettbewerb um die Finanzierung ist intensiv

Abbildung 2. Karrierewege von promovierten Wissenschaftlern in Großbritannien Nach dem Vorbild der Royal Society „Das wissenschaftliche Jahrhundert, das unseren zukünftigen Wohlstand sichert“
  • 61% der MINT-Absolventen arbeiten außerhalb der akademischen Welt.
  • Eine kürzlich durchgeführte Nature-Umfrage ergab, dass akademische Forscher nur etwa 40% ihrer Zeit mit Forschung verbringen.
  • Im Jahr 2009 schätzte The Lancet, dass 85% der biomedizinischen Forschungsgelder verschwendet wurden.

Moment mal… 85% der biomedizinischen Forschungsgelder werden verschwendet? Im Jahr 2009 entsprach dies über 170 Mrd. USD pro Jahr. Wie ist das überhaupt möglich?

Eine Schlagzeile, die sensationell war, wurde von der wissenschaftlichen Gemeinschaft vielfach kritisiert, und The Lancet folgte diesem Artikel mit einer fünfteiligen Reihe mit dem Titel „Forschung: Wertsteigerung, Abfallreduzierung“. In der Reihe führen die Autoren Ineffizienz auf nebulöse Finanzierungsprioritäten, unzuverlässige Studiendesigns, aufwändige Vorschriften, unvollständige Berichterstattung über die Ergebnisse und mangelnden Zugang zu veröffentlichten Ergebnissen zurück.

Während ich The Lancet für die Anregung eines wichtigen Gesprächs begrüße, verwechseln die Autoren Symptome mit Ursachen und identifizieren die systemischen Mängel in der akademischen Forschung, die die wahre Quelle dieser enormen Verschwendung sind, nicht.

Das Verständnis des Kapitalflusses durch die globale wissenschaftliche Wirtschaft ist der Schlüssel zur Ermittlung der Ursachen von Verschwendung in der akademischen Forschung.

Die akademische Forschung kann in vier Stakeholder unterteilt werden:

Abbildung 3. Überblick über die wissenschaftliche Forschungswirtschaft
  1. Geldgeber
  2. Wissenschaftler
  3. Verlag
  4. Die breite Öffentlichkeit
  • Geldgeber stellen Wissenschaftlern Kapital über Forschungsstipendien zur Verfügung.
  • Wissenschaftler wandeln Zuschussmittel in Rohdaten um und verarbeiten diese Daten dann zu Wissen, das für Verlage verpackt ist.
  • Verlage kuratieren das neu entdeckte Wissen und verbreiten es zum Konsum an die breite Öffentlichkeit.

Im Idealfall würden diese Interessengruppen zusammenarbeiten, um die Wirkung der Forschungsausgaben auf die Erreichung der von der Gemeinschaft festgelegten Ziele zu maximieren. In Wirklichkeit ist jeder Stakeholder ein unabhängiger Wirtschaftsagent, der im Allgemeinen aus Eigeninteresse handelt.

Geldgeber, Forscher und Verleger reagieren auf ihre eigenen persönlichen Anreize auf Kosten der Effizienz des Gesamtsystems.

Geldgeber wissenschaftlicher Forschung interessieren sich für zwei Dinge: 1.) Erreichen organisatorischer Ziele und 2.) Maximierung der Wirkung ihrer wissenschaftlichen Investitionen.

Die Organisationen, die wissenschaftliche Forschung finanzieren, sind unglaublich vielfältig. Jede Institution hat ihre eigenen Ziele, die sie mit ihren Finanzierungsentscheidungen erreichen möchte.

Zum Beispiel kündigte Susan G. Komen 2016 ihre Absicht an, die Zahl der Todesfälle durch Brustkrebs in den USA zu halbieren, indem sie sich auf neue Methoden zur Behandlung von Brustkrebs konzentriert, die derzeit nicht auf Standardtherapien ansprechen. Im Vergleich dazu besteht die Mission des NIH darin, „grundlegendes Wissen über die Natur und das Verhalten lebender Systeme und die Anwendung dieses Wissens zu erlangen, um die Gesundheit zu verbessern, das Leben zu verlängern und Krankheiten und Behinderungen zu verringern“.

Der Mechanismus, mit dem Geldgeber sicherstellen, dass ihr Kapital effektiv zur Erreichung dieser Ziele eingesetzt wird, ist das Forschungsstipendium. Förderorganisationen laden Wissenschaftler ein, Stipendien zu beantragen, indem sie ein vorgeschlagenes Forschungsprojekt detailliert beschreiben. Diese Anträge werden geprüft und die Wissenschaftler, die die rentabelsten Projekte vorschlagen, erhalten eine Auszeichnung.

Leider gibt es keine objektiven Metriken, die die Qualität eines Forschers oder dessen Zuschussantrag genau beurteilen können.

Die Institute versuchen, den subjektiven Charakter dieses Prozesses zu standardisieren, indem sie den Gutachtern Überprüfungskriterien zur Verfügung stellen. Beispielsweise bittet das NIH die Prüfer, einen Zuschussantrag anhand seiner Bedeutung, seiner Ermittler, seiner Innovation, seines Ansatzes und seines Umfelds zu bewerten. Trotz der Bemühungen der Gutachter hat die Forschung gezeigt, dass dies unwirksam ist.

In einem in PNAS veröffentlichten Papier aus dem Jahr 2017 wurde festgestellt, dass zwischen den NIH-Gutachtern keine Einigung über die qualitative oder quantitative Bewertung von Zuschussanträgen besteht:

"Es schien, dass das Ergebnis der Überprüfung des Zuschusses mehr vom Prüfer abhing, dem der Zuschuss zugewiesen wurde, als von den im Zuschuss vorgeschlagenen Untersuchungen."

Da der Erfolg der Karriere eines Wissenschaftlers in hohem Maße von seiner Fähigkeit abhängt, Mittel zu beschaffen, hat das Fehlen objektiver Kennzahlen bei der Beantragung von Finanzhilfen enorme Konsequenzen. Aus der Notwendigkeit heraus hat die Branche in der Regel auf Bibliometrie oder Publikationsgeschichte zurückgegriffen, um die Qualität eines Wissenschaftlers zu beurteilen. Die allgemeine Verwendung der Bibliometrie zum Vergleich von Wissenschaftlern hat sie dazu angeregt, „produktiv“ zu sein und „wirkungsvolle“ Forschung zu betreiben.

Die „Produktivität“ eines Wissenschaftlers ist ein Maß für die Anzahl der von ihm produzierten Veröffentlichungen. Je mehr ein Wissenschaftler veröffentlicht, desto erfolgreicher werden sie betrachtet. So einfach ist das.

Die „Auswirkung“ einer bestimmten Veröffentlichung ist ein etwas pseudowissenschaftlicheres Qualitätsmaß. Die einflussreichste Metrik, die die „Auswirkung“ einer Veröffentlichung definiert, ist der Einflussfaktor der Fachzeitschrift, in der das Papier veröffentlicht wird. Der Einflussfaktor einer Zeitschrift wird basierend darauf berechnet, wie oft die Zeitschrift in einem Jahr von anderen wissenschaftlichen Veröffentlichungen zitiert wird. Dies schafft eine Prestige-Erbe-Hierarchie, in der die tatsächliche Bedeutung einer Zeitschrift in ihrem Wissenschaftsbereich durch ihre Rangfolge der Einflussfaktoren bestimmt wird.

Das Problem bei der Anregung von Forschern, „produktiv“ zu sein und „wirkungsvolle“ Forschung zu betreiben, besteht darin, dass diese Metriken ungenaue Substitute für echte Messungen der wissenschaftlichen Qualität sind. Dies schafft eine Publish-or-Perish-Atmosphäre, die den Datenaustausch nicht mehr anregt und die Wissenschaftler dazu zwingt, ein hohes Volumen an Forschungsergebnissen zu produzieren, die maßgeschneidert sind, um in Zeitschriften mit hohem Einflussfaktor akzeptiert zu werden.

Das Endergebnis der Abhängigkeit der wissenschaftlichen Wirtschaft von der Bibliometrie zur Beurteilung der Qualität eines Forschers ist erschreckend. Negative Ergebnisse und Replikationsstudien sind ein wesentlicher Bestandteil eines gesunden wissenschaftlichen Ökosystems, aber es ist unwahrscheinlich, dass sie zu zahlreichen Zitaten führen, so dass renommierte Zeitschriften wenig Interesse daran haben, sie zu veröffentlichen. In einem Artikel in PLOS aus dem Jahr 2015 wurde geschätzt, dass über 50% der präklinischen biomedizinischen Forschung nicht reproduzierbar sind. Diese erstaunliche Zahl führt dazu, dass jährlich über 28 Mrd. USD verschwendet werden. Dies ohne die „Auswirkungen“ einer nicht reproduzierbaren Wissenschaft zu berücksichtigen, die unentdeckt bleibt und in akzeptiertes Wissen eindringt.

Abbildung 4. Ein Überblick über die Ökonomie der Ausgaben für präklinische Forschung in den USA mit Fehlerkategorien, die zu Irreproduzierbarkeit führten. Adaptiert von Freeman et al., 2015

Die Nutznießer der Unfähigkeit der wissenschaftlichen Wirtschaft, sich von der Bibliometrie zu trennen, sind gewinnorientierte akademische Verlage. Sie sind eine veraltete Institution, deren Wertversprechen der Wissenskuration und -verbreitung mit dem Aufkommen des Internets verschwunden ist. Trotz dieser Tatsache hat die Abhängigkeit der Forschungsförderer vom Impact-Faktor als Maß für die Qualität der Forschung diesen Unternehmen das Gedeihen ermöglicht. Zum Beispiel macht Elsevier 24,1% aller veröffentlichten wissenschaftlichen Arbeiten aus. Im Jahr 2010 erzielten sie einen Umsatz von über 26 Mrd. USD und erzielten eine Gewinnspanne von 36%.

Gemeinnützige akademische Verlage erhalten Anreize von… na ja…. profitieren.

Akademische Fachzeitschriften mit hohem Einflussfaktor erheben für Wissenschaftler eine hohe Einreichungsgebühr und platzieren diese Inhalte dann hinter Gehaltswänden, für deren Zugriff eine unangemessen hohe einmalige Gebühr oder ein institutionelles Abonnement erforderlich ist. Das Ergebnis ist eine ungleiche Verteilung des Zugangs zu Wissen, die ausschließlich auf sozioökonomischen Linien beruht.

Vor kurzem gab es eine Basisbewegung, um Forschungsergebnisse offen zu veröffentlichen. Die Open-Science-Community wächst, aber der großen Mehrheit der Open-Access-Verlage fehlt der akademische Einfluss, um die Nachfrage nach Veröffentlichungen in hochwirksamen Fachzeitschriften erheblich einzudämmen.

Lassen Sie uns überprüfen. Verschiedene Geldgeber möchten ihre institutionellen Ziele erreichen, indem sie ihr Geld effektiv ausgeben. Deshalb laden sie Forscher ein, Stipendien zu beantragen. Es gibt keine genauen Messgrößen, um die Qualität eines Zuschussantrags zu beurteilen. Daher sind Geldgeber gezwungen, minderwertige Messgrößen für die „Produktivität“ und die „Auswirkung“ eines Wissenschaftlers zu verwenden, um zu entscheiden, wo ihr Geld am besten ausgegeben wird. Die Verwendung dieser schlechten Metriken schafft eine Prestigue-Hierarchie akademischer Verlage, die es Fachzeitschriften mit hohem Einflussfaktor ermöglicht, den Zugang zu Wissen einzuschränken und obszöne Gewinne zu erzielen. Das nachgelagerte Ergebnis ist ein Publish-or-Perish-Klima für Wissenschaftler, das Zusammenarbeit und gesunde Forschungspraktiken gegen allgemein nicht reproduzierbare „Produktivität“ und enorme Verschwendung eintauscht.

Großartig ... Danke Pat. Sag mir etwas, was ich nicht weiß. Wie ... wie können wir das beheben?

Nun, das ist der einfache Teil. Folgen Sie dem Kapitalfluss durch die wissenschaftliche Wirtschaft. Es ist eigentlich irgendwie lustig, auf krankhafte Weise. Geldgeber nutzen Forschungsstipendien, um die Wirkung des Kapitals ihrer Institution zu maximieren. Infolgedessen legen sie den Grundstein für perverse Anreize, die zu massiver Verschwendung in der gesamten Wirtschaft führen.

Alles, was wir tun müssen, ist, die Geldgeber der wissenschaftlichen Forschung zu organisieren, um gemeinsam finanzielle Anreize zu setzen, die gesunde Forschungspraktiken belohnen.

Sobald wir das getan haben, können wir einen Teil der 170 Milliarden Dollar, die wir gerade gespart haben, nehmen und einige konfokale Mikroskope kaufen. Denn wenn es eine Sache gibt, die ich sicher weiß. Die Welt braucht mehr Mikroskopiekunst.

Abbildung 5. Giardia