Evidenzbasierte Lügen

Die Fassade der Wahrhaftigkeit in der Medizin hängt von weit verbreiteter Unwissenheit ab

John Snow, ein englischer Arzt des 19. Jahrhunderts, wird heute als Titan der Krankengeschichte verehrt. Als er 1854 seinen großen Beitrag zur Wissenschaft leistete - das Entfernen des Griffs von einer Londoner Wasserpumpe -, wurde er verspottet und als Quacksalber abgetan. Er erlitt einen Schlaganfall und starb vier Jahre später, wobei die Bedeutung seines Genies immer noch nicht erkannt wurde.

Erst acht Jahre nach seinem Tod wurde John Snow ironischerweise von einem seiner ausgesprochensten früheren Kritiker bestätigt. Snow war überzeugt, dass eine einzige kontaminierte Wasserpumpe zu dieser Zeit einen massiven Cholera-Ausbruch in London auslöste. Führende Wissenschaftler des Tages lehnten seine Theorie ab und hielten stattdessen an dem damals aktuellen Dogma fest, dass „schlechte Luft“ schuld sei. Schließlich häuften sich die Beweise, die die Hypothese von Snow bestätigten, und 1866 wurde das Ausmaß der Entdeckung von Snow klar. Er hatte Recht damit gehabt, dass Cholera durch die Wasserversorgung übertragen wurde, und seine Offenbarung rettete unzählige Leben.

Die meisten Fortschritte in der Medizin resultieren aus häufigen, aber schrittweisen Verbesserungen. Entdeckungen, die so bedeutend sind wie die von Snow, sind äußerst selten. Aber wenn sie zustande kommen, dauert es in der Regel Jahre oder Jahrzehnte, bis sie der Menschheit in großem Umfang zugute kommen, da es ein umständlicher Prozess ist, wichtige Innovationen aus dem Labor in die Öffentlichkeit zu bringen, der durch fest verankerte Lehren weiter behindert wird. Penicillin wurde 1928 entdeckt, aber erst 16 Jahre später, 1944, in der Öffentlichkeit weit verbreitet. Das Leben ging unnötig verloren, während sich Penicillin mühsam in Richtung Produktion und Vertrieb in großem Maßstab schlängelte.

Der Abschluss des Humangenomprojekts im Jahr 2001 ist wohl der jüngste große biomedizinische Durchbruch (CRISPR mag hier ein Konkurrent sein, ist aber in vielerlei Hinsicht vom Humangenomprojekt abgeleitet). Die Planung für diese Initiative begann um 1984. Heute beginnen pragmatische Anwendungen des Humangenomprojekts auf Bevölkerungsebene zu beginnen. Der Ozean der Langeweile, der zwischen der Ermittlung der menschlichen DNA-Sequenz und der Nutzung dieser Informationen zur Verbesserung einer großen Anzahl von Menschen liegt Das Leben ist enorm.

Serendipity trägt zu einigen wichtigen wissenschaftlichen Fortschritten bei - Penicillin wurde zufällig entdeckt -, aber die meisten Durchbrüche sind auf jahrelange mühsame Arbeit zurückzuführen, bei der nur sehr wenig echte Innovationen stattfinden. Der Fortschritt ist daher am vorderen Ende aufgrund der Details der Wissenschaft selbst und am hinteren Ende aufgrund der Herausforderungen, die mit der Vergrößerung von Entdeckungen verbunden sind, langsam.

Aber die meisten Bürger nehmen die Trägheit des medizinischen Fortschritts nicht wahr. Überinterpretation und Übertreibung in den Medien vermitteln der Öffentlichkeit den Eindruck, dass die Medizin regelmäßig Leistungen erbringt, die denen von Dr. Snow in nichts nachstehen, und dass der größte Teil der modernen Medizin auf verlässlichen Beweisen basiert, die rasend schnell voranschreiten. Schlagzeilen verkünden täglich eine neue großartige biomedizinische Erfolgsgeschichte, indem sie relative Zahlen angeben und den Kontext weglassen. Die Propagandamaschine für medizinische Medien stellt sicher, dass die Massen glauben, dass die Medizin das Wissen hat, um einen echten Unterschied zu bewirken, da die Belastung durch chronische Krankheiten im Zusammenhang mit dem Lebensstil zum ersten Mal seit Jahrzehnten die Lebenserwartung der Amerikaner zu senken droht.

John Snow

Das International Cell Line Authentication Committee unterhält eine Datenbank mit falsch identifizierten Zellen, die in der biomedizinischen Forschung verwendet werden. Wissenschaftler, die grundlegende Zellfunktionen untersuchen oder versuchen, neue Medikamente zu entdecken, forschen hauptsächlich an Zellen, die sie von Bioversorgungsunternehmen im Versandhandel oder aus Lagerbeständen tief im Gefrierschrank ihres Labors erhalten. Die Annahme, die all ihrer Arbeit zugrunde liegt, ist, dass die Zellen, an denen sie ihre Experimente durchführen, geeignete Modelle für die Phänomene sind, die sie untersuchen.

Das ist eine großartige Theorie, aber viele Wissenschaftler haben keine Ahnung, wie weit diese Theorie von der Realität abweicht. Und diejenigen, die es oft vorziehen, ein Auge zuzuwenden, weil das Problem so tiefgreifend ist, dass es das Potenzial hat, Jahrzehnte ihres Lebenswerks auszulöschen.

Es stellt sich heraus, dass ein erstaunlicher Teil der Zellen, die für die Grundlagenforschung verwendet werden, falsch identifiziert wurde. Mit anderen Worten, Wissenschaftler, die glauben, gesunde Leber- oder Brustkrebszellen zu untersuchen, arbeiten häufig tatsächlich mit Gebärmutterhalskrebszellen. In vielen Fällen ist sogar die Spezies falsch - Forscher, die glauben, an menschlichen Zellen zu arbeiten, analysieren möglicherweise tatsächlich Rattenzellen. Das Problem ist weltweit und die Zahlen erschrecken. Ein kürzlich von der Federation of American Societies for Experimental Biology veröffentlichtes Papier zeigte, dass 85% der in China etablierten Zelllinien falsch identifiziert sind. Ein weiterer kürzlich in PLoS One veröffentlichter Artikel bietet eine düstere Übersicht über die Verbreitung von Zellfehlidentifikationen in der wissenschaftlichen Literatur und die Sinnlosigkeit der Bemühungen, das Problem zu umgehen:

„Während seit Jahrzehnten Probleme mit der Fehlidentifizierung von Zelllinien bekannt sind, ist eine unbekannte Anzahl veröffentlichter Artikel im Umlauf, die ohne Vorwarnung oder Korrektur über die falschen Zellen berichten. … Wir haben 32.755 Artikel gefunden, die über Forschung mit falsch identifizierten Zellen berichten, die wiederum von einer geschätzten halben Million anderer Artikel zitiert werden. Die Kontamination der Literatur nimmt mit der Zeit nicht ab und ist alles andere als auf Länder in der Peripherie der globalen Wissenschaft beschränkt. Die jahrzehntealten und oft umstrittenen Versuche, die Fehlidentifizierung von Zelllinien zu stoppen, haben sich als unzureichend erwiesen. “

Eine falsche Identifizierung der Zelllinien untergräbt nicht nur die Forschung, die sich direkt auf die falsch identifizierten Zellen stützte, sondern humpelt auch Hypothesen, die von anderen Forschern auf der Grundlage veröffentlichter Arbeiten aufgestellt wurden, in denen falsch markierte Zellen verwendet wurden. Das Ergebnis ist eine erstaunliche Verschwendung von Geld und Zeit, die den Höhepunkt des wissenschaftlichen Fortschritts weiter verzögert.

Eine unsachgemäße Zellidentifikation durchdringt die jahrzehntelange wissenschaftliche Literatur. Die Schichten des anschließenden Zitierens fehlerhafter Papiere verschleiern die Ursprünge der wahrscheinlich astronomischen Anzahl falscher Annahmen in der heutigen Biowissenschaft. Es ist sehr wahrscheinlich, dass viele Wissenschaftler ganze Karrieren verschwendet haben, um aufgrund einer falschen Identifizierung der Zelllinien falsche Schlussfolgerungen zu ziehen. Der Betrag an Steuergeldern, der zur Finanzierung von Forschungsforschung verwendet wird, die nicht einmal mit der richtigen Art von Zellen durchgeführt wird, ist wahrscheinlich eine der größten Verschwendungen von Verbrauchergeldern in der gesamten Biomedizin.

Teilen von HeLa-Zellen, Rasterelektronenmikroskopie. Kredit Steve Gschmeissner. HeLa-Zellen, die aus dem krebsartigen Gebärmutterhals von Henrietta Lacks stammen, sind eine der größten Kontaminanten in falsch identifizierten Zelllinien.

Ein grundlegender Grundsatz der Wissenschaft ist, dass die Ergebnisse reproduziert werden müssen. Ein Experiment stellt keine neuen Wahrheiten fest. Die Ergebnisse müssen von anderen mit den von den ursprünglichen Forschern beschriebenen Methoden repliziert werden. Die Replikation ist der Schlüssel, um sicherzustellen, dass Schlussfolgerungen nicht falsch sind. Dennoch ist die Wissenschaft derzeit von Horden nicht reproduzierbarer Studienergebnisse geplagt.

"Mehr als 70% der Forscher haben versucht, die Experimente eines anderen Wissenschaftlers zu reproduzieren, und mehr als die Hälfte hat ihre eigenen Experimente nicht reproduziert."

Die falsche Identifizierung von Zellen trägt zweifellos wesentlich zur Replikationskrise in der biologischen Grundlagenforschung bei. Statistiken und Publikationsbias bilden jedoch zusammen ein weiteres beeindruckendes pseudowissenschaftliches Gebäude, das über wissenschaftliche Genres hinweg nicht reproduzierbare Ergebnisse liefert und die Öffentlichkeit irreführt.

Der berüchtigte P-Wert liegt im Zentrum der Sache. Einfach ausgedrückt ist der P-Wert eine willkürliche Schätzung der Wahrscheinlichkeit, dass die Ergebnisse eines bestimmten Experiments zufällig sind. Der in wissenschaftlichen Disziplinen allgemein akzeptierte Cutoff beträgt 5%. Mit anderen Worten, solange die Statistik besagt, dass die Wahrscheinlichkeit, dass ein bestimmtes Ergebnis allein dem Zufall zuzuschreiben ist, 5% oder weniger beträgt, wird das Ergebnis als „signifikant“ angesehen. Das mag auf den ersten Blick gut klingen, aber bei näherer Betrachtung in Verbindung mit dem Konzept der Publikationsverzerrung nehmen die Einschränkungen rasch zu.

Die Signifikanz des 5% - oder 0,05 P-Werts ist völlig willkürlich. Ein Mann namens Ronald Fisher hat es in den 1920er Jahren erfunden. Es basiert auf der groben Annäherung, wie viel einer normalen (Gaußschen) Verteilung innerhalb von zwei Standardabweichungen des Mittelwerts liegt - etwa 95%. (Ich werde in diesem Beitrag nicht auf die Probleme mit der Normalverteilung eingehen, aber ich werde jedem, der sich für dieses Konzept interessiert, empfehlen, Nassim Nicholas Talebs Buch The Black Swan zu lesen.)

Ein P-Wert von 0,05 impliziert, dass ein Ergebnis von 20 zufällig ist. Aber wie viele Millionen Ergebnisse werden jedes Jahr weltweit aus wissenschaftlichen Experimenten erzielt? Eine unkalkulierbare Zahl. Es ist praktisch garantiert, dass Tausende von zufälligen Ergebnissen allein aus dem Bereich der Theorie hervorgehen und in das eingreifen, was wir jedes Jahr als Realität bezeichnen. Und das sind die Ergebnisse, die veröffentlicht werden.

Wissenschaftler, die in der Wissenschaft arbeiten, müssen, wie das Sprichwort sagt, veröffentlichen oder untergehen. Und die Zeitschriften, in denen diese ängstlichen Wissenschaftler versuchen, ihre Ergebnisse zu veröffentlichen, müssen Geld verdienen, was eine Interaktion mit den Lesern erfordert. Ergebnisse, die nicht „statistisch signifikant“ sind, sind langweilig. Kein Leser möchte für eine Zeitschrift voller Artikel bezahlen, in denen steht: „Wir haben diese Studie mit wirklich sorgfältigen Methoden durchgeführt, und nichts ist passiert, es hat nicht funktioniert. Ende der Geschichte." Wenn die Wissenschaft vollständig transparent wäre und die Ergebnisse aller Experimente veröffentlicht würden, würde die überwiegende Mehrheit der Arbeiten genau dies sagen.

Das Versagen negativer Studienergebnisse, jemals das Licht der Welt zu erblicken, führt zu erstaunlichen Abfällen. Es ist wahrscheinlich, dass viele grundlegende Experimente mit uninteressanten Ergebnissen immer wieder wiederholt und anschließend nie veröffentlicht wurden. Dann kommt eine andere Forschungsgruppe und führt das Experiment erneut durch (weil sie nichts über die vorherigen Nullergebnisse wussten) und findet allein durch Zufall ein positives Ergebnis. Natürlich ist dieses Ergebnis interessant und wird veröffentlicht. Dieser grundlegende Zyklus ist der Grund, warum John Ioannidis 'mittlerweile berühmtes Papier aus dem Jahr 2005 den Titel „Warum die meisten veröffentlichten Forschungsergebnisse falsch sind“ trug.

Selbst für klinische Studien, die einen enormen Zeit- und Ressourcenaufwand bedeuten, wird nur etwa die Hälfte der Studien veröffentlicht. Das ist vielleicht nicht überraschend; Schließlich möchte kein Pharmaunternehmen die Ergebnisse einer von ihnen finanzierten Studie veröffentlichen, die besagt, dass ihr Medikament nicht wirkt. Die ehrliche Meldung negativer Ergebnisse über eines ihrer eigenen Produkte bringt Pharmaunternehmen in ein ethisches Rätsel, wenn die Treuepflicht gegenüber den Aktionären berücksichtigt wird. In vielen Fällen schreiben Pharmaunternehmen im Grunde genommen „Studienberichte“, um zu sagen, was sie wollen, und bezahlen dann Akademiker, um ihre Namen auf sie zu schreiben. Das Institute of Medicine hat dieses Problem kürzlich folgendermaßen zusammengefasst:

„… Jüngste Nachrichtenberichte, rechtliche Vergleiche, Forschungsstudien und institutionelle Ankündigungen haben eine Vielzahl von beunruhigenden Situationen dokumentiert, die das Vertrauen der Öffentlichkeit in die Medizin untergraben könnten [wie]… akademische Forscher, die ihre Namen auf Manuskripte setzen, obwohl sie zum ersten Mal nach dem Daten wurden gesammelt und analysiert und nachdem die ersten Entwürfe von Personen verfasst wurden, die von der Industrie bezahlt wurden. “

Wahre Durchbrüche in unserem Verständnis der Realität werden sicherlich selten sein, wenn so viel von der „Wissenschaft“, die verbreitet wird, entweder ein statistischer Zufall oder eine reine Erfindung ist.

Trotz der ernsthaften Herausforderungen, denen sich die Wissenschaft gegenübersieht, ist die wissenschaftliche Methode immer noch unsere beste Methode, um Wahrheiten über die Welt aufzudecken. Am alarmierendsten ist vielleicht die Verbreitung pseudowissenschaftlicher „Beweise“, die zur Förderung von Agenden verwendet werden. Die Ära der gefälschten Nachrichten, in der wir derzeit leben, hat die Umfrage auf ein Podest gestellt. Die Umfrage tarnt sich als wissenschaftliches Instrument, ist aber in Wirklichkeit ein Propagandagerät.

Es gibt zahlreiche Schlagzeilen, in denen verkündet wird, dass neue „Daten“ diese oder jene Position unterstützen. In vielen Fällen stammen diese „Daten“ aus Umfragen, die für praktisch jede der Wissenschaft bekannte Tendenz sehr anfällig sind. Die „Forscher“, die die Fragen in der Umfrage entwerfen, haben Vorurteile, die sie möglicherweise gar nicht kennen, und Auswahlverzerrungen stellen praktisch sicher, dass die Befragten nicht repräsentativ für die Bevölkerung sind.

Umfragen sind besonders anfällig für statistische Manipulationen, die als P-Hacking bezeichnet werden. Das P-Hacking einer Umfrage ist im Wesentlichen eine Möglichkeit für „Forscher“, um sicherzustellen, dass sie „Beweise“ finden, die ihre „Hypothese“ stützen. Grundsätzlich sieht es so aus: Entwerfen Sie eine Umfrage, die dieselben Fragen auf viele verschiedene Arten stellt, und allein durch Zufall finden Sie schließlich ein „statistisch signifikantes“ Ergebnis, mit dem Sie Medienschlagzeilen generieren können.

Die Ernährungswissenschaft ist bekanntermaßen auf Umfragedaten angewiesen, und dies ist ein Hauptgrund, warum sich jeden zweiten Tag der „Beweis“ dafür, welches Essverhalten tatsächlich gesund ist, ändert. Nicht alle Ernährungsforscher versuchen lediglich, eine Agenda voranzutreiben, aber Essen und Trinken sind so komplex, dass Umfragen oft die einzig mögliche Möglichkeit sind, Daten zu sammeln. Obwohl dies nicht unbedingt böswillig ist, ist ein Großteil der „Beweise“ für die Ernährung mehr oder weniger nur ein statistisches Gobbledy-Buch.

Abgesehen davon sind fast alle „Studien“, die im Zusammenhang mit sozialen oder politischen Hot-Button-Themen durchgeführt und in den Medien als hebelbare Schlagzeilen gemeldet wurden, Umfragestudien, die wahrscheinlich irgendeine Form von P-Hacking verwendeten. Denken Sie daran, wenn Sie das nächste Mal im Fernsehen einen sprechenden Kopf sehen, der für neue „Daten“ eintritt, die eine Parteilinie unterstützen.

Foto von Ümit Bulut auf Unsplash

Die Botschaft zum Mitnehmen ist, dass selbst unsere am meisten geschätzte intellektuelle Institution - die Wissenschaft - in vielerlei Hinsicht tief fehlerhaft ist wie die von uns verachteten Werkzeuge - Propagandaumfragen.

Wir leben in einer Zeit, in der unabhängiges kritisches Denken unerlässlich ist.

Viele von uns gehen davon aus, dass es in der Gesellschaft viele Menschen gibt, die die Dinge objektiv verstehen. Die Realität ist, dass die Basis des menschlichen Wissens auf einem weitaus wackeligeren Boden steht, als die meisten Menschen erkennen.

Wir müssen bereit sein, in einem Schiff aus Umsicht und gesunder Skepsis durch ein Meer von Fehlinformationen zu navigieren. Die Wahrheit ist da draußen, aber es aufzudecken ist eine heikle Arbeit, und sie kommt sicherlich nicht so oft vor, wie die Schlagzeilen behaupten. Wenn ein brillanter Forscher einen Durchbruch schafft, der das Potenzial hat, akzeptierte Maximen auf den Kopf zu stellen, werden sie oft verspottet, wie Dr. Snow, während die Menschheit jahrelang im Status Quo verschwendet.