Es gibt eine geheime Welt, von der Sie wahrscheinlich noch nie gehört haben. Es liegt unter jeder Behauptung, die Sie jemals gelesen haben, jeder Überschrift, die "Wissenschaft!" auf dich, als du vorbeigegangen bist. Diese Welt ist der Grund, warum Sie geimpft wurden, warum Sie Ibuprofen gegen Schmerzen und Entzündungen einnehmen und warum Sie in den meisten Ländern keine rezeptfreien Antibabypillen erhalten können.

Ich spreche natürlich von der Welt der Statistik.

Google Statistiken über Statistiken: das ultimative Nerdfest.

Statistiken studieren

Stellen Sie sich vor, Sie machen eine Studie über Gewichtsverlust. Sie haben beispielsweise drei Gruppen von Menschen: 1, 2 und 3. Gruppe 1 nimmt eine Droge. Gruppe 2 hat eine Lifestyle-Intervention. Gruppe 3 ist eine Placebo-Kontrolle - sie tun nichts. Am Ende der Studie haben Sie Hunderte, sogar Tausende von Zahlen. Sie können sie ziemlich einfach vergleichen - sehen Sie sich die Mittelwerte und Mediane an -, aber das alles sagt Ihnen wirklich, dass es einige Unterschiede gibt. Sie könnten unwichtig sein; Sie könnten nur dem Zufall überlassen sein. Was wäre, wenn Sie eine Person in Gruppe 2 hätten, die mit 400 Kilo anfing und 300 verlor, aber der Rest der Leute tatsächlich ein paar Kilo zugenommen hätte? Sie würden wahrscheinlich einen Gewichtsverlust haben, aber Ihre Lifestyle-Intervention funktioniert wirklich nur für einen Mann.

Geben Sie Statistiken ein.

Mit Statistiken, die Sie in der Medizin grundsätzlich durchführen können, können Sie Ergebnisse aus verschiedenen Gruppen vergleichen und feststellen, ob die Abweichung wahrscheinlich auf Ihr Experiment oder nur auf den Zufall zurückzuführen ist. Sie vergleichen also Ihre drei Personengruppen erneut und stellen fest, dass Gruppe 2 im Durchschnitt zwar abgenommen hat, aber statistisch nicht signifikant war, da dies alles auf diesen einen Mann und seine Mammutanstrengung zurückzuführen war.

Es stellt sich heraus, dass die neue „Schokoladendiät“ nicht so effektiv ist, wie wir zuerst dachten.

Jetzt habe ich nur einen sehr wichtigen Satz verwendet: statistisch signifikant. Dies ist im Grunde die Messlatte, die wir für Forschungsergebnisse gesetzt haben. Wenn sie über die Messlatte hinausgehen, werden sie aufgrund der untersuchten Sache als am wahrscheinlichsten angesehen - in diesem Fall aufgrund der Droge oder der Lebensstilintervention. Grundsätzlich hat die Behandlung funktioniert.

Wenn sie die Messlatte nicht erreichen, sagen wir, dass alle Ergebnisse, die wir gesehen haben, wahrscheinlich zufällig sind und die Behandlung nicht funktioniert hat.

Es ist eine ziemlich wichtige Bar.

Und Sie werden überrascht sein zu hören, dass es völlig willkürlich ist.

Was ist wichtig?

Wenn wir einen statistischen Test durchführen, erhalten wir normalerweise einen sogenannten Wahrscheinlichkeitswert oder p-Wert. Dies ist eine Zahl zwischen null und eins, die uns einen Hinweis darauf gibt, wie wahrscheinlich es war, dass das in unserem Experiment beobachtete Ergebnis zufällig war. Ein hoher p-Wert bedeutet, dass jeder Unterschied zwischen den Gruppen wahrscheinlich ein Zufall war; Ein niedriger p-Wert bedeutet, dass wir hier möglicherweise etwas unternehmen. Normalerweise bedeutet ein p-Wert unter 0,05, dass Ihre Ergebnisse statistisch signifikant sind.

Mit anderen Worten, 0,05 ist der Balken, über den ich zuvor gesprochen habe.

An dieser Bar gibt es keine Getränke, nur gemischte Metaphern und Traurigkeit.

Das Problem ist jedoch, dass 0,05 eine völlig willkürliche Zahl ist. Wir könnten 0,04 oder 0,06 sagen - es würde keinen wirklichen Unterschied machen. Denken Sie daran: Es ist nur ein Maß für die Wahrscheinlichkeit, dass die Ergebnisse zufällig waren.

Wenn ich sage, dass etwas statistisch signifikant ist, sage ich, dass Unterschiede zwischen den Gruppen in meiner Studie wahrscheinlich nicht zufällig waren. Da gibt es einen Effekt.

Angenommen, ich mache mein Experiment und stelle einen statistisch signifikanten Unterschied zwischen Gruppe 1 und Gruppe 3 fest, wobei Gruppe 1 in den sechs Monaten des Experiments 100 Gramm mehr Gewicht verliert. Unser p-Wert ist mit 0,000001 erstaunlich niedrig.

Klingt nach guten Nachrichten, oder?

Klinische Bedeutung

Wir haben also den ersten Test bestanden: Wir wissen, dass der Unterschied, den wir sehen, wahrscheinlich auf das Medikament zurückzuführen ist, das wir Gruppe 1 geben. Der statistische Test sagt es!

Dies ist jedoch nicht die einzige Art von Bedeutung.

Bei der statistischen Signifikanz geht es darum, ob eine Sache eine andere verursacht. Bei der klinischen Bedeutung geht es darum, ob es uns etwas ausmacht. Ist es wichtig, wenn wir einige Leute dazu bringen können, 100 Gramm Gewicht zu verlieren? Lohnt es sich, für die nächsten Monate, Jahre oder sogar für den Rest ihres Lebens ein Medikament einzunehmen?

Was wäre, wenn ich Ihnen sagen würde, dass es auch Migräne, Übelkeit und existenzielle Angst verursacht?

Wenn ich also sage, dass mein neues Medikament klinisch bedeutsam ist, sage ich wirklich, dass ich denke, dass die Vorteile, die es bringt, die Nebenwirkungen überwiegen. Ich sage, es verändert Ihre Gesundheit genug, dass ein Arzt daran interessiert sein könnte, es zu verschreiben, und Sie möchten es möglicherweise tatsächlich für Ihre Behandlung verwenden.

Tatsächlich ist die klinische Bedeutung die einzige, die uns wichtig ist.

Ein gutes Beispiel ist der Unterschied zwischen dem Gehirn von Männern und Frauen. Eine große Studie hat kürzlich einen statistischen Unterschied zwischen der Wirkung des Gehirns von Männern und der von Frauen in einigen Schlüsselregionen festgestellt. Sie stellten jedoch auch fest, dass die Ähnlichkeiten die Unterschiede überwogen und dass es letztendlich keinen klinischen Unterschied zwischen Männern und Frauen gab.

Unbedeutende Bedeutung.

Der Punkt ist, dass Sie eine Studie durchführen und statistische Unterschiede finden können. Wenn Sie jedoch nicht wissen, ob diese Unterschiede klinisch signifikant sind, spielen Sie nur mit Zahlen. Die Forscher in dieser Studie konnten das Gehirn eines Mannes nicht von dem einer Frau unterscheiden, es sei denn, sie wussten vorher, welches welches war, da die statistisch signifikanten Unterschiede in der Aktivität nicht zu etwas führten, das sie tatsächlich für ihre Arbeit verwenden konnten.

Wenn Sie jedoch eine Nachricht über eine wissenschaftliche Arbeit lesen, werden Sie nie von der Nuance klinischer Bedeutung erfahren. Erinnern Sie sich an all diese Gruselgeschichten über Ibuprofen und Herzinfarkte? Es gibt tatsächlich einen bekannten statistisch signifikanten Zusammenhang zwischen der Einnahme von Ibuprofen und einem Herzinfarkt. Das einzige Problem ist, dass für die meisten von uns der Anstieg des Risikos sehr gering ist - er ist statistisch signifikant, aber klinisch nicht signifikant.

Es geht auch in die andere Richtung: Es gibt einen statistisch signifikanten Zusammenhang zwischen mäßigem Trinken und Nichtsterben. Das einzige Problem ist, dass der Unterschied gering ist und wahrscheinlich durch andere Faktoren erklärt wird. Es gibt also keinen Grund, jeden Tag ein Glas Wein zu trinken.

Fast jeder Artikel, den Sie jemals über wissenschaftliche Zitate lesen, zitiert Statistiken, als ob sie etwas bedeuten.

Allzu oft tun sie das nicht.

Bedeutung erkennen

Es ist schwer zu wissen, worauf es beim Studium ankommt. Klinische Bedeutung ist etwas, das oft einen medizinischen Abschluss und jahrelange Ausbildung erfordert, um richtig zu verstehen.

Aber es gibt ein paar Dinge, auf die Sie achten können.

Wenn die absolute Effektgröße klein ist, es sei denn, es handelt sich um ein wirklich schwerwiegendes Ereignis (wie den Tod), ist die klinische Bedeutung wahrscheinlich begrenzt. Wenn das Ergebnis, über das die Leute sprechen, nur tangential mit der tatsächlichen Gesundheit zusammenhängt - zum Beispiel mit der Menge des verzehrten Eises -, besteht eine gute Chance, dass die Ergebnisse nicht wirklich viel über Ihr Leben aussagen.

Wenn Sie sich jemals wirklich Sorgen machen, suchen Sie einen Arzt auf. Es gibt einen Grund, warum es fast ein Jahrzehnt dauert, um voll qualifiziert zu sein.

Manchmal ist dieses Zeug einfach nicht so einfach.