(10) Plausibilitätsbias und die weit verbreitete Meinung, die Homöopathie sei „widerlegt“

Weitere Kapitel zum Thema „Bias“: Teil 8: Industry Bias – Eine neue Form des Bias oder ein interessanter Experimentator Effekt? (mit einer einleitenden Erklärung des Begriffs „Bias“) und Teil 5: Empirie und Theorie (1) – Bayes-Bias

Eine Analyse der systematischen Reviews und Meta-Analysen zur Homöopathie kommt – außer sie wird im Detail und kenntnisreich durchgeführt – in der Regel zu der Auffassung, die Wirksamkeit homöopathischer Arzneimittel gegenüber Placebo sei nicht ausreichend belegt. Daraus machen dann die meisten Leser, Journalisten und auch viele Wissenschaftler die Aussage „Homöopathie ist unwirksam“ und einige Leute, die nicht besonders tiefgründig nachdenken oder gar ein anderweitiges Interesse verfolgen, sagen dann sogar: „Die Unwirksamkeit der Homöopathie ist wissenschaftlich bewiesen“.

Wir bemerken hier eine Steigerung: von „mangelnder Beleg des Unterschiedes zwischen Placebo und Homöopathie“, zu „mangelnder Beleg der Wirksamkeit“, zu „Beleg der Unwirksamkeit“. Woher kommt das? Eine neuere Arbeit von Rutten und Kollegen [1] führt einen interessanten Begriff ein, um das verständlich zu machen: Plausibilitätsbias. Damit ist gemeint: Was wir a-priori für denkbar, möglich und vernünftig halten, das prägt auch die Art, wie wir mit Daten umgehen. Anhand der oft zitierten Meta-Analyse von Shang und Kollegen [2] will ich das hier mit dem Leser durchexerzieren.

Um das Ergebnis gleich vorweg zu nehmen: es ist nicht richtig, zu sagen, Homöopathie sei unwirksam und das sei wissenschaftlich belegt. Es wird nur so gesehen, weil sie, die Homöopathie, den allermeisten Leuten auf den ersten Blick unplausibel erscheint.

Die Shang-Analyse [2] hat im ersten Schritt 110 homöopathische und ebenso viele konventionelle Studien miteinander verglichen, die das gleiche Krankheitsbild behandelten und im Rahmen einer etwa gleich großen Studie untersuchten. Nimmt man alle Studien zusammen, dann ist das Ergebnis der konventionellen und der homöopathischen Studien erstaunlich ähnlich: beide Interventionsformen zeigen eine kleine Überlegenheit über Placebo. In der Tat sind sie so nahe bei einander, dass sogar die Autoren selber erstaunt feststellen, dass es kaum einen Unterschied gibt. Sie heben sogar hervor, dass dies nicht mit methodischen Schwächen der Homöopathiestudien zusammenhängen kann.

Denn 19% der homöopathischen, aber nur 8% der konventionellen Studien waren methodisch sehr gut. Dann taten Shang und Kollegen etwas eher Unübliches: Anstatt alle Studien zu analysieren, verwendeten sie in einem zweiten Analyseschritt nur 8 der 110 Homöopathiestudien und 8 ähnlich große konventionelle Studien, die aber mit ganz anderen Krankheiten zu tun hatten. Das wurde aber erst viel später klar, als viele Leser und Autoren protestierten und die Liste der Studien sehen wollten, die in die Analyse eingegangen waren. Wenn man nun nur diese 8 Studien analysiert und das Analyseergebnis mit den 8 konventionellen Studien vergleicht findet man, dass diese 8 homöopathischen Studien keinen Unterschied zwischen Homöopathie und Placebo belegen konnten, wenn man sie zusammen nimmt, die gewählten konventionellen Studien hingegen sehr wohl.

Die Auswahl dieser Studien wurde nun heftig kritisiert. Zum einen, weil lange unklar war, welche Studien dies waren. Zum anderen, weil die Auswahlkriterien willkürlich erscheinen. Es waren die „grössten“ Studien, sagen die Autoren. Aber was ist groß? Ist eine Studie mit 98 Patienten groß, wie meine eigene, die die letzte der 8 eingeschlossenen Studien war [3]? Warum nicht auch eine mit 90 Patienten, die nicht mehr in die Analyse einging? Diese Kriterien und ihre Begründung blieben intransparent [4,5]. Eine Re-Analyse der Daten zeigte, dass sich die Schlußfolgerungen ändern, wenn man die Anzahl der Studien in der Analyse ändert, also z.B. noch zwei oder drei oder fünf Studien mehr hinzu nimmt [6]. Eine solche sog. „Sensitivitätsanalyse“ gehört eigentlich zum Standard jeder Meta-Analyse und hätte den Autoren zeigen müssen, dass ihre Schlußfolgerungen nicht robust und daher auch wissenschaftlich nicht begründet sind. Eine solche Sensitivitätsanalyse haben die Autoren nicht vorgelegt.

Da es keinen, aber auch überhaupt gar keinen wissenschaftlichen Grund gibt, warum man genau jene 8 und nicht vielleicht 7 oder 10 oder noch mehr nehmen sollte, bleibt die Schlußfolgerung der Analyse wissenschaftlich fragwürdig. Interessanterweise wird diese substanzielle Kritik von praktisch allen Autoren, die die Shang-Analyse zum Beweis der Wirkungslosigkeit der Homöopathie zitieren, komplett ignoriert.

Ein anderes interessantes Detail: Shang und Kollegen sagen, es gäbe ein Subset von Studien zu Atemwegsinfekten, bei denen die Homöopathie sogar sehr gut abschneide, statistisch signifikant und mit klinisch relevanten Effektgrössen. In anderen Interpretationen wird dieses Subset von Daten angezweifelt. Denn 11 von den insgesamt 21 Studien haben kein eindeutig positives Ergebnis, sondern zeigen nur einen positiven, aber nicht-signifikanten Trend; sie haben also ein Problem mit der statistischen Mächtigkeit, weil die Effekte nicht so groß und die Studien eher klein sind. Allerdings zeigt eine Analyse der von Shang herangezogenen konventionellen Vergleichsstudien ein vergleichbares Bild: 9 von 21 konventionellen Atemwegsinfekt-Studien sind unklar und haben keinen signifikanten Effekt. Der zusammengefaßte Effekt ist in beiden Studienensembles also etwa gleich. Warum geht man nun davon aus, dass die homöopathischen Studien es verfehlt haben, Wirksamkeit zu beweisen, während man bei der Meinung bleibt, dass die konventionellen Studien eine Wirksamkeit gezeigt hätten? In den Daten kann man diesen Unterschied nicht sehen. Diese Ansichten sind ein Resultat eben jenes Plausibilitätsbias.

Bias bedeutet immer eine Verzerrung der Wahrnehmung. Beim Plausibilitätsbias wird die Wahrnehmung verzerrt durch das, was wir plausibel finden: die meisten von uns haben keine Vorstellung davon, wie Homöopathie wirken können soll. Also ignorieren wir entweder die Daten, oder interpretieren sie nicht richtig. Rutten und Kollegen sind Kliniker und weisen darauf hin, dass ihre apriori-Bereitschaft, Homöopathie als potenziell wirksam anzusehen, daher kommt, dass sie zuvor selbst wiederholt klinische Effekte der Homöopathie gesehen haben. Wer das nicht hat, interpretiert die Daten häufig anders.

Rutten und Kollegen weisen auch darauf hin, dass es in der Medizin gang und gäbe war und immer noch ist, dass wirksame Interventionen aus Erfahrung heraus entwickelt werden und sich durch den klinischen Einsatz bewähren, lange bevor durch Forschung ggfls. klar wird, warum etwas wirkt.

Ein häufig genanntes Beispiel für diesen Ablauf ist Acetylsalicylsäure (ASS), bekannter unter dem Markennamen „Aspirin“. In der Volksmedizin wurden Weidenrindentee und -extrakte, die eine ähnlich wirkende Vorstufe von ASS enthalten, schon seit antiker Zeit gegen Schmerzen verwendet. 1897 wurde ASS von Bayer synthetisiert und dann als „Aspirin“ vermarktet. Der Mechanismus – die Hemmung der Prostaglandinsynthese – wurde erst 1971 aufgeklärt, und seither verstehen wir immer mehr Details des Wirkmechanismus von Salicinverbindungen.

Es wäre klinisch betrachtet völlig unplausibel gewesen, den bewährten Einsatz von Salicinverbindungen abzulehnen, nur weil man (noch) nicht verstanden hat, wie die Substanzen wirken.

Bei der Homöopathie ist das Problem noch ein bisschen tiefgründiger: hier kann man sich anhand des etablierten Wissens auf Anhieb nicht einmal vorstellen, warum sie wirken sollte. Aber selbst das sollte allenfalls Anlass zu gesunder Skepsis sein, die ja jederzeit völlig gerechtfertigt ist, aber sollte nicht gleich zu kompletter Ablehnung und Wahrnehmungsverweigerung führen.

Das ist aber genau das, was derzeit in weiten Kreisen geschieht – und genau das ist Plausibilitätsbias: eine Fehlwahrnehmung, eine Verweigerung der Wahrnehmung von Fakten, weil sie einem nicht in den Kram des eigenen Weltbildes passen. So sollte – eigentlich – Wissenschaft nicht vorgehen, tut es aber häufig trotzdem, vielleicht einfach weil es den Feierabend weniger stört.

Die Moral von der Geschicht‘? Die Aussage, die Unwirksamkeit der Homöopathie sei bewiesen ist in sich selbst unwissenschaftlich, weil nicht belegbar, nicht mit den Fakten übereinstimmend und einem Plausibilitätsbias geschuldet. Wahrscheinlich sollten wir uns selbst viel öfter Rechenschaft über unsere Ausgangsannahmen ablegen, mit denen wir die Welt betrachten und anhand derer wir für denkbar halten, was darin vorkommen kann, wenn wir den Plausibilitätsbias vermeiden wollen.

 
Quellen und Literatur

  1. Rutten, L., Mathie, R. T., Fisher, P., Goosens, M., & van Wassenhoven, M. (2012). Plausibility and evidence: the case of homeopathy. Medical Health Care and Philosophy, doi: 10.1007/s11019-012-9413-9.
  2. Shang, A., Huwiler-Münteler, K., Nartey, L., Jüni, P., Dörig, S., Sterne, J. A. C., et al. (2005). Are the clinical effects of homeopathy placebo effects? Comparative study of placebo-controlled trials of homoeopathy and allopathy. Lancet, 366, 726-732.
  3. Walach, H., Gaus, W., Haeusler, W., Lowes, T., Mussbach, D., Schamell, U., et al. (1997). Classical homoeopathic treatment of chronic headaches. A double-blind, randomized, placebo-controlled study. Cephalalgia, 17, 119-126.
  4. Walach, H., Jonas, W., & Lewith, G. (2005). Letter to the Editor: Are the clinical effects of homoeopathy placebo effects? Comparative study of placebo-controlled trials of homoeopathy and allopathy. Lancet, 366, 2081.
  5. Fisher, P., Bell, I. R., Belon, P., Bolognani, F., Brands, M., Connolly, T., et al. (2005). Letter to the Editor: Are the clinical effects of homoeopathy placebo effects? Lancet, 366, 2082.
  6. Lüdtke, R., & Rutten, A. L. B. (2008). The conclusions on the effectiveness of homeopathy highly depend on the set of analyzed trials. Journal of Clinical Epidemiology, 61, 1197-1204.