Abfall in der Forschung - Wer ist dafür verantwortlich und wie kann ich ihn beheben?

Ein Überblick über die systemischen Mängel in der akademischen Forschung

Hallo, mein Name ist Patrick und ich bin wissenschaftssüchtig.

2012 absolvierte ich eine Hochschule für Geisteswissenschaften und promovierte in Molekularbiologie. Ich war so aufgeregt, dass ich den Sommer damit verbracht habe, auf dem Boden des nicht klimatisierten Studio-Apartments meines Bruders zu schlafen, damit ich meine Füße (und meine Stirn) in einem Labor nass machen konnte.

Mein Bruder sah mich an, als wäre ich verrückt, aber es war mir egal. Für mich sind molekularbiologische Techniken etwas Magisches.

Schon mal was von Optogenetik gehört? Wissenschaftler sind in der Lage, Neuronen genetisch zu manipulieren, um lichtempfindliche Ionenkanäle zu exprimieren. Dies ermöglicht es ihnen, Zellen mit extremer zeitlicher und räumlicher Auflösung durch einfaches Leuchten mit blauem Licht selektiv zu aktivieren.

Was ist mit Immunfluoreszenz? Fluorophore, die leuchten, wenn sie einer vorher festgelegten Lichtwellenlänge ausgesetzt werden, können kovalent an einen Antikörper gebunden werden, der auf ein bestimmtes Protein abzielt. Dies ermöglicht es dem Wissenschaftler, die Position des Zielproteins in einer Zelle visuell abzubilden.

Noch erstaunlicher ist die FRET-Mikroskopie. Ich werde hier nicht auf die Details eingehen, aber vertraue mir, es lohnt sich, einen Blick darauf zu werfen.

Figure 1. Immunfluoreszenzmikroskopische Aufnahme von Lungenfibroblasten, die mit den Proteinen Vinculin (grün) und filamentösem Actin (lila) gefärbt wurden. Adaptiert von Singh et al., 2013.

Ich hatte das Glück, unglaublichen Wissenschaftlern und Wissenschaftlern ausgesetzt zu sein, aber ich entschied mich, mein Programm nach dem ersten Jahr zu verlassen, weil mir klar wurde, dass eine erfolgreiche akademische Karriere viel mehr erfordert als eine Leidenschaft für die Forschung. Sogar die erfolgreichsten Personen, mit denen ich zusammengearbeitet habe und die zahlreiche renommierte Publikationen veröffentlicht hatten, waren besorgt über die Wahrscheinlichkeit, ihr nächstes Stipendium zu erhalten.

Die wirtschaftliche Landschaft der akademischen Wissenschaft ist unerbittlich und der Wettbewerb um die Finanzierung ist intensiv

Abbildung 2. Karrierewege von promovierten Wissenschaftlern in Großbritannien nach dem Vorbild der Royal Society
  • 61% der MINT-Doktoranden arbeiten außerhalb der akademischen Welt.
  • Eine kürzlich durchgeführte Umfrage von Nature ergab, dass akademische Forscher nur etwa 40% ihrer Zeit mit Forschung verbringen.
  • Im Jahr 2009 schätzte The Lancet, dass 85% der Mittel für biomedizinische Forschung verschwendet wurden.

Moment mal… 85% der biomedizinischen Forschungsgelder werden verschwendet? Im Jahr 2009 entsprach dies über 170 Mrd. USD pro Jahr. Wie ist das überhaupt möglich?

Eine so sensationelle Überschrift stieß in der Fachwelt auf viel Kritik, weshalb The Lancet diesem Aufsatz eine fünfteilige Reihe mit dem Titel „Forschung: Wertsteigerung, Abfallreduzierung“ anschloss. In der Serie führen die Autoren Ineffizienzen auf nebulöse Finanzierungsprioritäten, unzuverlässige Studiendesigns, aufwändige Vorschriften, unvollständige Berichterstattung über die Ergebnisse und einen fehlenden Zugang zu veröffentlichten Ergebnissen zurück.

Während ich The Lancet für die Anregung eines wichtigen Gesprächs beglückwünsche, verwechseln die Autoren Symptome mit Ursachen und identifizieren nicht die systemischen Mängel in der akademischen Forschung, die die wahre Quelle dieser enormen Verschwendung sind.

Das Verständnis des Kapitalflusses durch die globale Wissenschaftsökonomie ist der Schlüssel zur Identifizierung der Ursachen von Verschwendung in der akademischen Forschung.

Die akademische Forschung kann in vier Stakeholder unterteilt werden:

Abbildung 3. Überblick über die wissenschaftliche Forschungswirtschaft
  1. Förderer
  2. Wissenschaftler
  3. Verlag
  4. Die breite Öffentlichkeit
  • Förderer stellen Wissenschaftlern Kapital über Forschungszuschüsse zur Verfügung.
  • Wissenschaftler wandeln Zuschüsse in Rohdaten um und verarbeiten diese Daten zu Wissen, das für Verlage gepackt wurde.
  • Verlage pflegen das neu entdeckte Wissen und verbreiten es zum Verzehr an die breite Öffentlichkeit.

Idealerweise würden diese Stakeholder zusammenarbeiten, um die Wirkung der Forschungsausgaben auf die Erreichung der von der Gemeinde festgelegten Ziele zu maximieren. In Wirklichkeit ist jeder Stakeholder ein unabhängiger Wirtschaftsvertreter, der im Allgemeinen aus Eigeninteresse handelt.

Geldgeber, Forscher und Verleger reagieren auf ihre eigenen persönlichen Anreize auf Kosten der Effizienz des Gesamtsystems.

Geldgeber für wissenschaftliche Forschung sind an zwei Dingen interessiert: 1.) Erreichen organisatorischer Ziele und 2.) Maximierung der Wirkung ihrer wissenschaftlichen Investitionen.

Die Organisationen, die wissenschaftliche Forschung finanzieren, sind unglaublich vielfältig. Jede Institution hat ihre eigenen Ziele, die sie mit ihren Finanzierungsentscheidungen erreichen möchte.

Zum Beispiel gab Susan G. Komen im Jahr 2016 ihre Absicht bekannt, die Zahl der Todesfälle durch Brustkrebs in den USA zu halbieren, indem sie sich auf neue Methoden zur Behandlung von Brustkrebs konzentriert, die derzeit nicht auf Standardtherapien ansprechen. Im Vergleich dazu ist es die Mission des NIH, "grundlegendes Wissen über die Natur und das Verhalten lebender Systeme zu erlangen und dieses Wissen anzuwenden, um die Gesundheit zu verbessern, das Leben zu verlängern und Krankheiten und Behinderungen zu verringern."

Der Mechanismus, mit dem die Geldgeber sicherstellen, dass ihr Kapital effektiv zur Erreichung dieser Ziele eingesetzt wird, ist der Forschungszuschuss. Förderorganisationen fordern Wissenschaftler auf, Stipendien zu beantragen, indem sie ein vorgeschlagenes Forschungsprojekt detailliert beschreiben. Diese Anträge werden geprüft und die Wissenschaftler, von denen angenommen wird, dass sie die rentabelsten Projekte vorschlagen, erhalten eine Auszeichnung.

Leider gibt es keine objektiven Metriken, anhand derer die Qualität eines Forschers oder seines Zuschussantrags genau beurteilt werden kann.

Die Institutionen versuchen, den subjektiven Charakter dieses Prozesses zu standardisieren, indem sie den Grant-Reviewern Kriterien für die Überprüfung zur Verfügung stellen. Beispielsweise bittet das NIH die Prüfer, einen Finanzhilfeantrag anhand seiner Bedeutung, der Prüfer, der Innovation, des Ansatzes und des Umfelds zu bewerten. Trotz der Bemühungen der Rezensenten hat die Forschung gezeigt, dass dies unwirksam ist.

In einem in PNAS veröffentlichten Papier aus dem Jahr 2017 wurde festgestellt, dass zwischen den NIH-Gutachtern keine Einigung über die qualitative oder quantitative Bewertung von Finanzhilfeanträgen besteht:

"Es zeigte sich, dass das Ergebnis der Zuschussüberprüfung mehr vom Prüfer abhing, dem der Zuschuss zugewiesen wurde, als von der im Zuschuss vorgeschlagenen Forschung."

Da der Erfolg der Karriere eines Wissenschaftlers in hohem Maße von seiner Fähigkeit abhängt, Finanzmittel aufzubringen, hat das Fehlen objektiver Messgrößen bei der Beantragung von Finanzhilfen enorme Konsequenzen. Aus der Not heraus hat die Branche in der Regel auf die Bibliometrie oder die Publikationsgeschichte zurückgegriffen, um die Qualität eines Wissenschaftlers zu beurteilen. Die allgemeine Verwendung der Bibliometrie zum Vergleichen von Wissenschaftlern hat dazu geführt, dass sie "produktiv" sind und "wirkungsvolle" Forschungsergebnisse liefern.

Die „Produktivität“ eines Wissenschaftlers ist ein Maß für die Anzahl der Veröffentlichungen, die er erstellt. Je mehr ein Wissenschaftler veröffentlicht, desto erfolgreicher werden sie. So einfach ist das.

Die „Auswirkung“ einer Veröffentlichung ist ein etwas pseudowissenschaftlicheres Qualitätsmaß. Die einflussreichste Kennzahl für die „Auswirkung“ einer Veröffentlichung ist der Einflussfaktor der Fachzeitschrift, in der die Veröffentlichung veröffentlicht wird. Der Impact Factor einer Zeitschrift berechnet sich aus der Häufigkeit, mit der die Zeitschrift in einem Jahr von anderen wissenschaftlichen Publikationen zitiert wird. Dies schafft eine Prestige-Hierarchie, in der die tatsächliche Bedeutung einer Zeitschrift innerhalb ihres Wissenschaftsgebiets durch ihre Rangfolge der Einflussfaktoren bestimmt wird.

Das Problem, Forscher dazu zu motivieren, "produktiv" zu sein und "wirkungsvolle" Forschung zu betreiben, besteht darin, dass diese Metriken ungenaue Substitute für echte Messungen der wissenschaftlichen Qualität sind. Dies schafft eine Publish-or-Perish-Atmosphäre, die den Datenaustausch beeinträchtigt und Wissenschaftler dazu drängt, ein hohes Volumen an Forschungsergebnissen zu produzieren, die auf die Akzeptanz in Fachzeitschriften mit hohem Einflussfaktor zugeschnitten sind.

Das Endergebnis der Abhängigkeit der wissenschaftlichen Wirtschaft von der Bibliometrie zur Beurteilung der Qualität eines Forschers ist erschreckend. Negative Ergebnisse und Replikationsstudien sind ein wesentlicher Bestandteil eines gesunden wissenschaftlichen Ökosystems, aber es ist unwahrscheinlich, dass sie zu zahlreichen Zitaten führen, so dass renommierte Zeitschriften wenig Interesse an deren Veröffentlichung haben. Ein Artikel in PLOS aus dem Jahr 2015 schätzt, dass über 50% der präklinischen biomedizinischen Forschung nicht reproduzierbar sind. Diese erstaunliche Zahl führt dazu, dass jährlich über 28 Mrd. USD verschwendet werden. Dies geschieht ohne Berücksichtigung der „Auswirkungen“ der nicht reproduzierbaren Wissenschaft, die unentdeckt bleibt und ihren Weg in anerkanntes Wissen findet.

Abbildung 4. Überblick über die Wirtschaftlichkeit vorklinischer Forschungsausgaben in den USA mit Fehlerkategorien, die zu Irreproduzierbarkeit führten. Adaptiert von Freeman et al., 2015

Der Nutznießer der Unfähigkeit der wissenschaftlichen Wirtschaft, sich von der Bibliometrie zu trennen, sind gemeinnützige akademische Verlage. Sie sind eine veraltete Institution, deren Wertversprechen an die Sammlung und Verbreitung von Wissen mit dem Aufkommen des Internets verschwunden ist. Trotz dieser Tatsache hat die Abhängigkeit der Forschungsförderer vom Impact-Factor als Maß für die Qualität der Forschung dazu beigetragen, dass diese Unternehmen gedeihen konnten. Zum Beispiel macht Elsevier 24,1% aller veröffentlichten wissenschaftlichen Arbeiten aus. Im Jahr 2010 erzielten sie einen Umsatz von über 26 Mrd. USD und erzielten eine Gewinnmarge von 36%.

Für gewinnorientierte akademische Verlage gibt es Anreize von… na ja…. profitieren.

Hochwirksame Fachzeitschriften erheben von Wissenschaftlern eine hohe Einreichungsgebühr und stellen diese Inhalte dann hinter Zahlungswände, für deren Zugang eine unverhältnismäßig hohe einmalige Gebühr oder ein institutionelles Abonnement erforderlich ist. Das Ergebnis ist eine ungleiche Verteilung des Zugangs zu Wissen, die ausschließlich auf sozioökonomischen Linien beruht.

Vor kurzem gab es eine Basisbewegung, um Forschungsergebnisse offen zu veröffentlichen. Die Open-Science-Community wächst, aber der überwiegenden Mehrheit der Open-Access-Verlage fehlt der akademische Einfluss, um die Nachfrage nach Veröffentlichungen in hochrangigen akademischen Fachzeitschriften deutlich zu senken.

Lassen Sie uns überprüfen. Diverse Geldgeber möchten ihre institutionellen Ziele erreichen, indem sie ihr Geld effektiv ausgeben. Daher fordern sie Forscher auf, Stipendien zu beantragen. Es gibt keine genauen Kennzahlen, anhand derer die Qualität eines Zuschussantrags beurteilt werden kann. Daher sind Geldgeber gezwungen, minderwertige Maßstäbe für die „Produktivität“ und die „Auswirkung“ eines Wissenschaftlers zu verwenden, um zu entscheiden, wo ihr Geld am besten ausgegeben wird. Die Verwendung dieser schlechten Metriken schafft eine Prestige-Hierarchie akademischer Verlage, die es Fachzeitschriften mit hohem Einflussfaktor ermöglicht, den Zugang zu Wissen einzuschränken und obszöne Gewinne zu erzielen. Das nachgelagerte Ergebnis ist ein Publish-or-Perish-Klima für Wissenschaftler, das Zusammenarbeit und gesunde Forschungspraktiken gegen im Allgemeinen nicht reproduzierbare „Produktivität“ und enormen Abfall eintauscht.

Großartig ... Danke Pat. Sag mir etwas, was ich nicht weiß. Wie ... wie beheben wir das?

Nun, das ist der einfache Teil. Verfolgen Sie den Kapitalfluss durch die wissenschaftliche Wirtschaft. Eigentlich ist es irgendwie lustig, auf eine krankhafte Art und Weise. Die Geldgeber nutzen Forschungszuschüsse, um die Wirkung des Kapitals ihrer Institution zu maximieren. Damit schaffen sie jedoch die Grundlage für perverse Anreize, die zu massiver Verschwendung in der gesamten Wirtschaft führen.

Alles, was wir tun müssen, ist, die Geldgeber für wissenschaftliche Forschung zu organisieren, um gemeinsam finanzielle Anreize zu setzen, die gesunde Forschungspraktiken belohnen.

Sobald wir das getan haben, können wir einen Teil der soeben gesparten 170 Mrd. USD nehmen und einige konfokale Mikroskope kaufen. Denn wenn es eine Sache gibt, die ich mit Sicherheit weiß. Die Welt braucht mehr Mikroskopiekunst.

Abbildung 5. Giardia