Evidence-Based Lies

Die Fassade der Wahrhaftigkeit in der Medizin hängt von weit verbreiteter Unwissenheit ab

John Snow, ein englischer Arzt aus dem 19. Jahrhundert, wird heute als Titan der medizinischen Geschichte verehrt. Doch als er 1854 seinen großen Beitrag zur Wissenschaft leistete - den Griff von einer Londoner Wasserpumpe zu entfernen - wurde er lächerlich gemacht und als Quacksalber abgetan. Er erlitt einen Schlaganfall und starb vier Jahre später, die Bedeutung seines Genies noch nicht erkannt.

Es dauerte nicht lange, bis John Snow acht Jahre nach seinem Tod von einem seiner ausgesprochensten Kritiker bestätigt wurde. Snow war zu der Zeit davon überzeugt, dass eine einzige kontaminierte Wasserpumpe einen massiven Choleraausbruch in London auslöste. Führende Wissenschaftler der damaligen Zeit lehnten seine Theorie ab und vertraten stattdessen das damalige Dogma, dass „schlechte Luft“ schuld sei. Schließlich stiegen die Beweise, die die Hypothese von Snow bestätigten, und 1866 wurde das Ausmaß der Entdeckung von Snow klar. Er hatte Recht gehabt, dass Cholera durch die Wasserversorgung übertragen wurde, und seine Enthüllung rettete unzählige Leben.

Die meisten Fortschritte in der Medizin sind auf häufige, aber inkrementelle Verbesserungen zurückzuführen. Entdeckungen von so großer Bedeutung wie bei Schnee sind äußerst selten. Aber wenn sie entstehen, dauert es in der Regel Jahre oder Jahrzehnte, bis sie der Menschheit in großem Maßstab nützen, da es ein mühsamer Prozess ist, wichtige Innovationen aus dem Labor in die Öffentlichkeit zu bringen, der durch fest verankerte Lehren noch weiter behindert wird. Penicillin wurde 1928 entdeckt, fand aber erst 16 Jahre später, 1944, breite Anwendung in der Öffentlichkeit. Die Leben, die unnötigerweise verloren gingen, während Penicillin sich mühsam in Richtung Massenproduktion und -verteilung schlängelte, sind zahllos.

Die Fertigstellung des Humangenomprojekts im Jahr 2001 ist wohl der jüngste große biomedizinische Durchbruch (CRISPR mag hier ein Konkurrent sein, ist jedoch in vielerlei Hinsicht vom Humangenomprojekt abgeleitet). Die Planungen für diese Initiative begannen um 1984. Heute beginnen pragmatische Anwendungen des Humangenomprojekts auf Bevölkerungsebene gerade einzutreten. Der Ozean der Langeweile, der zwischen der Ermittlung der menschlichen DNA-Sequenz und der Nutzung dieser Informationen zur Verbesserung einer großen Anzahl von Menschen liegt Leben ist enorm.

Serendipity trägt zu einigen wichtigen wissenschaftlichen Fortschritten bei - Penicillin wurde zufällig entdeckt -, aber die meisten Durchbrüche resultieren aus Jahren langwieriger Arbeit, in denen nur sehr wenig echte Innovation stattfindet. Der Fortschritt ist daher am vorderen Ende aufgrund der Details der Wissenschaft selbst und am hinteren Ende aufgrund der Herausforderungen, die mit der Vergrösserung von Entdeckungen verbunden sind, langsam.

Die meisten Bürger spüren jedoch nicht die Trägheit des medizinischen Fortschritts. Überinterpretation und Übertreibung in den Medien geben der Öffentlichkeit den Eindruck, dass die Medizin regelmäßig Leistungen auf dem Niveau von Dr. Snow erbringt und dass der Großteil der modernen Medizin auf verlässlichen Beweisen beruht, die mit rasender Geschwindigkeit voranschreiten. Schlagzeilen verkünden täglich eine neue großartige biomedizinische Erfolgsgeschichte, indem sie relative Zahlen angeben und den Kontext weglassen. Die Propagandamaschine für medizinische Medien sorgt dafür, dass die Massen glauben, dass die Medizin das Wissen hat, um einen echten Unterschied zu bewirken, da die Belastung durch lebensstilbedingte chronische Krankheiten zum ersten Mal seit Jahrzehnten die Lebenserwartung der Amerikaner zu senken droht.

John Snow

Das International Cell Line Authentication Committee unterhält eine Datenbank mit falsch identifizierten Zellen, die in der biomedizinischen Forschung verwendet werden. Wissenschaftler, die grundlegende Zellfunktionen untersuchen oder versuchen, neue Medikamente zu entdecken, forschen zum größten Teil an Zellen, die sie von Bio-Versandhändlern oder aus Beständen tief in der Tiefkühltruhe ihres Labors beziehen. Allen Arbeiten liegt die Annahme zugrunde, dass die Zellen, an denen sie experimentieren, geeignete Modelle für die Phänomene sind, die sie untersuchen.

Das ist eine großartige Theorie, aber viele Wissenschaftler haben keine Ahnung, wie weit diese Theorie von der Realität abweicht. Und diejenigen, die es oft vorziehen, die Augen zu verschließen, weil das Problem so gravierend ist, dass es das Potenzial hat, Jahrzehnte ihres Lebenswerks auszulöschen.

Es stellt sich heraus, dass ein erschütternder Teil der Zellen, die für die Grundlagenforschung verwendet werden, falsch identifiziert wird. Mit anderen Worten, Wissenschaftler, die glauben, gesunde Leber- oder Brustkrebszellen zu untersuchen, arbeiten häufig tatsächlich mit Gebärmutterhalskrebszellen. In vielen Fällen ist sogar die Art falsch - Forscher, die glauben, an menschlichen Zellen zu arbeiten, analysieren möglicherweise tatsächlich Rattenzellen. Das Problem ist weltweit und die Zahlen erschrecken. Ein kürzlich von der Federation of American Societies for Experimental Biology veröffentlichtes Papier zeigte, dass 85% der in China etablierten Zelllinien falsch identifiziert werden. Ein weiterer kürzlich in PLoS One veröffentlichter Artikel bietet eine düstere Übersicht über die Verbreitung von Zellfehlerkennungen in der wissenschaftlichen Literatur und die Sinnlosigkeit der Bemühungen, das Problem zu umgehen:

„Während Probleme mit der falschen Identifizierung von Zelllinien seit Jahrzehnten bekannt sind, ist eine unbekannte Anzahl von veröffentlichten Artikeln im Umlauf, die über die falschen Zellen berichten, ohne Warnung oder Korrektur. … Wir haben 32.755 Artikel gefunden, die über Forschungsergebnisse mit falsch identifizierten Zellen berichten, die wiederum von einer geschätzten halben Million anderer Artikel zitiert werden. Die Kontamination der Literatur nimmt mit der Zeit nicht ab und ist keineswegs auf Länder an der Peripherie der globalen Wissenschaft beschränkt. Die jahrzehntelangen und oft umstrittenen Versuche, eine falsche Identifizierung von Zelllinien zu verhindern, haben sich als unzureichend erwiesen. “

Eine unsachgemäße Identifizierung der Zelllinien untergräbt nicht nur die Forschung, die sich direkt auf die falsch identifizierten Zellen stützt, sondern humpelt auch die Hypothesen anderer Forscher auf der Grundlage veröffentlichter Veröffentlichungen, in denen falsch gekennzeichnete Zellen verwendet wurden. Das Ergebnis ist eine erstaunliche Verschwendung von Geld und Zeit, die den Höhepunkt des wissenschaftlichen Fortschritts weiter hinauszögert.

Unsachgemäße Zellidentifikation durchdringt die jahrzehntelange wissenschaftliche Literatur. Die Schichten der nachfolgenden Zitierung von fehlerhaften Veröffentlichungen verdunkeln die Ursprünge einer wahrscheinlichen astronomischen Anzahl falscher Annahmen in der heutigen Biowissenschaft. Es ist sehr wahrscheinlich, dass viele Wissenschaftler ganze Karrieren verschwendet haben, um aufgrund falscher Zelllinienidentifikation falsche Schlussfolgerungen zu ziehen. Der Betrag an Steuergeldern, der zur Finanzierung von Forschungsarbeiten verwendet wird, die nicht einmal mit der richtigen Art von Zellen durchgeführt wurden, stellt wahrscheinlich eine der größten Verschwendungen von Verbrauchergeldern in der gesamten Biomedizin dar.

HeLa-Zellen teilen, Rasterelektronenmikroskopie. Credit Steve Gschmeissner. HeLa-Zellen, die aus dem krebsartigen Gebärmutterhals von Henrietta Lacks stammen, sind eine der größten Kontaminanten in falsch identifizierten Zelllinien.

Ein grundlegender Grundsatz der Wissenschaft ist, dass die Ergebnisse reproduziert werden müssen. Ein Experiment schafft keine neuen Wahrheiten. Die Ergebnisse müssen von anderen nach den von den ursprünglichen Ermittlern beschriebenen Methoden repliziert werden. Replikation ist der Schlüssel, um sicherzustellen, dass die Schlussfolgerungen nicht falsch sind. Dennoch ist die Wissenschaft derzeit von unzähligen nicht reproduzierbaren Studienergebnissen geplagt.

"Mehr als 70% der Forscher haben versucht, die Experimente eines anderen Wissenschaftlers zu reproduzieren, und mehr als die Hälfte haben ihre eigenen Experimente nicht reproduziert."

Die falsche Identifizierung von Zellen trägt zweifellos wesentlich zur Replikationskrise in der biologischen Grundlagenforschung bei. Statistiken und Publikationsbias bilden jedoch zusammen ein weiteres beeindruckendes pseudowissenschaftliches Bauwerk, das irreproduzierbare Ergebnisse in allen wissenschaftlichen Genres hervorbringt und die Öffentlichkeit in die Irre führt.

Der berüchtigte P-Wert liegt im Herzen der Sache. Einfach ausgedrückt ist der P-Wert eine willkürliche Schätzung der Wahrscheinlichkeit, dass die Ergebnisse eines bestimmten Experiments zufällig sind. Der in allen wissenschaftlichen Disziplinen allgemein akzeptierte Cutoff liegt bei 5%. Mit anderen Worten, solange die Statistik besagt, dass die Wahrscheinlichkeit, dass ein bestimmtes Ergebnis zufällig ist, nur 5% oder weniger beträgt, wird das Ergebnis als „signifikant“ eingestuft. Das mag auf den ersten Blick gut klingen, wenn man es jedoch etwas genauer betrachtet In enger Verbindung mit dem Konzept der Publikationsverzerrung nehmen die Beschränkungen rasch zu.

Die Signifikanz des P-Wertes von 5% oder 0,05 ist völlig willkürlich. Ein Mann namens Ronald Fisher hat es in den 1920er Jahren erfunden. Es basiert auf der groben Näherung, wie stark eine normale (Gauß'sche) Verteilung innerhalb von zwei Standardabweichungen des Mittelwerts liegt - etwa 95%. (Ich werde in diesem Beitrag nicht auf die Probleme mit der Normalverteilung eingehen, aber ich empfehle jedem, der sich für dieses Konzept interessiert, Nassim Nicholas Talebs Buch The Black Swan zu lesen.)

Ein P-Wert von 0,05 impliziert, dass ein Ergebnis von 20 zufällig ist. Aber wie viele Millionen Ergebnisse werden jedes Jahr aus wissenschaftlichen Experimenten auf der ganzen Welt erzielt? Eine unberechenbare Zahl. Es ist praktisch garantiert, dass Tausende von zufälligen Ergebnissen aus dem Bereich der Theorie hervorgehen und in das eingreifen, was wir jedes Jahr als Realität bezeichnen. Und das sind die Ergebnisse, die veröffentlicht werden.

Wissenschaftler, die in der Wissenschaft arbeiten, müssen, wie es heißt, veröffentlichen oder untergehen. Und die Zeitschriften, in denen diese ängstlichen Wissenschaftler versuchen, ihre Ergebnisse zu veröffentlichen, müssen Geld verdienen, was die Interaktion der Leser erfordert. Ergebnisse, die nicht „statistisch signifikant“ sind, sind langweilig. Kein Leser möchte für eine Zeitschrift voller Artikel bezahlen, in denen steht: "Wir haben diese Studie mit sehr sorgfältigen Methoden durchgeführt, und nichts ist passiert, es hat nicht funktioniert." Ende der Geschichte. “Wenn die Wissenschaft vollständig transparent wäre und die Ergebnisse aller Experimente veröffentlicht würden, würde die überwiegende Mehrheit der Arbeiten genau dies sagen.

Das Versagen negativer Studienergebnisse, jemals das Licht der Welt zu erblicken, schafft atemberaubende Abfälle. Es ist wahrscheinlich, dass viele grundlegende Experimente mit uninteressanten Ergebnissen immer wieder wiederholt und anschließend nie veröffentlicht wurden. Dann kommt eine andere Forschungsgruppe und führt das Experiment erneut durch (weil sie die vorherigen Nullergebnisse nicht kannten) und findet allein durch Zufall ein positives Ergebnis. Natürlich ist dieses Ergebnis interessant und wird veröffentlicht. Dieser grundlegende Zyklus ist der Grund, warum John Ioannidis 'mittlerweile berühmte Arbeit aus dem Jahr 2005 den Titel "Warum die meisten veröffentlichten Forschungsergebnisse falsch sind" trug.

Selbst für klinische Studien, die einen enormen Zeit- und Ressourcenaufwand bedeuten, wird nur etwa die Hälfte der Studien veröffentlicht. Das ist vielleicht nicht überraschend; Schließlich möchte kein Pharmaunternehmen die Ergebnisse einer von ihnen finanzierten Studie veröffentlichen, die besagt, dass sein Medikament nicht wirkt. In der Tat führt die ehrliche Meldung negativer Ergebnisse zu einem ihrer eigenen Produkte zu einem ethischen Rätsel für Pharmaunternehmen, wenn die Treuepflicht gegenüber den Aktionären berücksichtigt wird. In vielen Fällen schreiben Pharmaunternehmen im Grunde genommen „Studienberichte“, in denen sie sagen, was sie wollen, und dann die Wissenschaftler dafür bezahlen, dass sie ihre Namen auf sie schreiben. Das Institute of Medicine hat dieses Thema kürzlich folgendermaßen zusammengefasst:

„… Jüngste Nachrichtenberichte, rechtliche Vergleiche, Forschungsstudien und institutionelle Ankündigungen haben eine Vielzahl von beunruhigenden Situationen dokumentiert, die das Vertrauen der Öffentlichkeit in die Medizin untergraben könnten [wie]… akademische Forscher, die ihre Namen in Manuskripten eintragen, obwohl sie erst nach dem… beteiligt wurden Daten wurden gesammelt und analysiert und nach den ersten Entwürfen von Einzelpersonen geschrieben, die von der Industrie bezahlt wurden. “

Wahre Durchbrüche in unserem Verständnis der Realität werden sicherlich selten sein, wenn so viel von der „Wissenschaft“, die verbreitet wird, entweder ein statistischer Zufall oder ein komplizierter Irrtum ist.

Trotz der großen Herausforderungen, denen die Wissenschaft gegenübersteht, ist die wissenschaftliche Methode immer noch unsere beste Methode, um Wahrheiten über die Welt aufzudecken. Am alarmierendsten ist vielleicht die Verbreitung von pseudowissenschaftlichen „Beweisen“, die zur Förderung von Agenden verwendet werden. Die Ära der gefälschten Nachrichten, in der wir gerade leben, hat die Umfrage auf ein Podest gestellt. Die Umfrage tarnt sich als wissenschaftliches Instrument, ist aber in Wirklichkeit ein Propagandagerät.

Schlagzeilen proklamieren immer wieder, dass neue „Daten“ diese oder jene Position unterstützen. In vielen Fällen stammen diese „Daten“ aus Erhebungen, die im Grunde genommen für alle der Wissenschaft bekannten Verzerrungen sehr anfällig sind. Die „Forscher“, die die Fragen in der Umfrage entwerfen, haben Vorurteile, die sie möglicherweise gar nicht kennen, und ein Auswahlbias stellt praktisch sicher, dass die Befragten nicht repräsentativ für die Bevölkerung sind.

Umfragen sind besonders anfällig für eine Form statistischer Manipulation, die als P-Hacking bezeichnet wird. Das P-Hacking einer Umfrage ist im Wesentlichen ein Weg für „Forscher“, um zu gewährleisten, dass sie „Beweise“ finden, die ihre „Hypothese“ stützen. Grundsätzlich sieht es so aus: Entwerfen Sie eine Umfrage, die dieselben Fragen auf verschiedene Arten und nach verschiedenen Kriterien stellt Alleine zufällig werden Sie schließlich ein „statistisch signifikantes“ Ergebnis finden, mit dem Sie Medienschlagzeilen generieren können.

Die Ernährungswissenschaft ist bekanntermaßen auf Umfragedaten angewiesen, und dies ist einer der Hauptgründe, warum sich jeden zweiten Tag die „Evidenz“ dafür ändert, welche Ernährungsgewohnheiten tatsächlich gesund sind. Nicht alle Ernährungsforscher versuchen nur, eine Agenda voranzutreiben, aber Essen und Trinken ist so komplex, dass Umfragen oft die einzig mögliche Möglichkeit sind, Daten zu sammeln. Obwohl dies nicht unbedingt böswillig ist, handelt es sich bei einem Großteil der Ernährungsbeweise mehr oder weniger nur um ein statistisches Gobbledy-Buch.

Abgesehen davon handelt es sich bei fast allen „Studien“, die im Zusammenhang mit aktuellen sozialen oder politischen Themen durchgeführt und in den Medien als schlagkräftige Schlagzeilen gemeldet wurden, um Umfragestudien, die wahrscheinlich eine Form von P-Hacking verwendeten. Denken Sie daran, wenn Sie das nächste Mal im Fernsehen einen sprechenden Kopf sehen, der neue „Daten“ unterstützt, die eine Parteilinie unterstützen.

Foto von Ümit Bulut bei Unsplash

Die Botschaft zum Mitnehmen ist, dass selbst unsere am meisten geschätzte intellektuelle Institution - die Wissenschaft - in vielerlei Hinsicht tief fehlerhaft ist, genau wie Werkzeuge, die wir verachten - Propagandabefragungen.

Wir leben in einer Zeit, in der unabhängiges kritisches Denken unabdingbar ist.

Viele von uns gehen davon aus, dass es in der Gesellschaft viele Menschen gibt, die die Dinge objektiv verstehen. Die Realität ist, dass die Basis menschlichen Wissens auf einem weit wackeligeren Boden steht, als die meisten Menschen erkennen.

Wir müssen bereit sein, in einem Schiff voller Umsicht und gesunder Skepsis auf ein Meer von Fehlinformationen zu stoßen. Die Wahrheit ist da draußen, aber es ist eine heikle Arbeit, sie aufzudecken, und sie kommt mit Sicherheit nicht so oft vor, wie in den Schlagzeilen behauptet wird. Wenn ein brillanter Forscher einen Durchbruch schafft, der das Potenzial hat, akzeptierte Maximen zu erschüttern, werden sie oft lächerlich gemacht, wie Dr. Snow, während die Menschheit jahrelang im Status Quo verschwendet.