Publikationsbias führt zur Überschätzung der Wirksamkeit von Psychotherapie

Seit der Aufsehen erregenden Publikation von Turner et al. 2008 [4] gilt der Publikationsbias im Sinne des „underreporting“ von Antidepressiva-Studien mit negativem Ergebnis als ein unerfreuliches Faktum, das das bis dato angenommene Ausmaß der Wirksamkeit von Antidepressiva prinzipiell infrage gestellt hat und – was noch schlimmer ist – die Glaubwürdigkeit dieses Forschungsgebiets beeinträchtigt hat. Turner et al. haben am Ergebnis von Einzelstudien zu verschiedenen neueren Antidepressiva gezeigt, wie erheblich die Differenzen sein können, wenn man neben den publizierten Studien auch die nicht publizierten Studien einbezieht. Kirsch et al. (2008) haben in ihrer vielbeachteten Metaanalyse der Ergebnisse von Wirksamkeitsstudien zu neueren Antidepressiva (vorrangig selektiven Serotonin-Wiederaufnahmehemmern [SSRI]) versucht, auch alle nichtpublizierten Ergebnisse einzubeziehen; sie kamen zu einer relativ niedrigen Effektstärke (mittlere Wirksamkeitsdifferenz zwischen Antidepresssiva und Placebo 1,8 HAMD-Punkte) und betonten, dass dieser Unterschied klinisch nicht relevant sei [3].

Seitdem gilt es als methodisches Postulat, dass man in Metaanalysen zu Antidepressiva (oder anderen Psychopharmaka) immer auch die nichtpublizierten Studien einbeziehen sollte (z.B. durch Zugriff auf die Datenbasen von Zulassungsbehörden) und, sofern man das nicht kann, zumindest über einen „funnel-plot“ im Rahmen der Metaanalyse die wahrscheinliche Anzahl nichtpublizierter Studien abschätzen muss und auf diese Weise einen Korrekturfaktor für das wirksamkeitsbezogene Ergebnis einbringen muss. Nur beiläufig sei darauf verwiesen, dass das Problem des Underreporting großes Aufsehen insbesondere in der Laienpresse erregte und einseitig dem Einfluss der pharmazeutischen Industrie angelastet wurde, eine Interpretationsrichtung, die in der Publikation von Turner et al. (2008) bereits vorgegeben wurde. Die Fachwelt versucht seit einigen Jahren, unter anderem durch Einrichtung von verpflichtenden Studienregistern, in denen jede begonnene Studie erfasst wird, das Problem des Underreporting unter Kontrolle zu bringen. Die Psychotherapie-Forschung galt bisher diesbezüglich als sakrosankt, was aber zu Hinterfragungen Anlass gab.

In diesem Kontext ist die jüngst publizierte beachtenswerte metaanalytische Untersuchung zu Ergebnissen der Psychotherapie-Forschung in der Depressionsbehandlung von Driessen et al. (2015) mit der Arbeitsgruppe um Cuijpers und Turner zu sehen.

Bevor darauf eingegangen wird, noch eine kurze Rückblende: Bereits 2010 publizierten Cuijpers et al. und 2014 Flint et al., basierend auf Metaanalysen über Ergebnisse von Psychotherapiestudien und der Anwendung von Funnel-Plots, die Hypothese eines erheblichen Underreporting in diesem Forschungsfeld [1, 2]. Eine entsprechende Korrektur der erniedrigte die Wirksamkeitsergebnisse erheblich. Mit dieser Methodik kann man allerdings nicht einen endgültigen empirischen Beweis erheben. Dazu bedarf es der Einsicht in die gesamte Datenlage, was im Feld der Psychotherapie-Forschung nicht leicht ist, da keine allumfassenden Datenbanken (wie im Falle der Psychopharmaka-Forschung bei den internationalen Zulassungsbehörden) bestehen.

Deshalb versuchten Driessen et al., eine halbwegs zufriedenstellende Alternativlösung zu finden, und zwar durch Zugriff auf die Datenbank des US National Institute of Health (NIH). Hier suchten sie sämtliche Studien aus den Jahren 1972 bis 2008, in denen mit finanzieller Förderung des NIH die Psychotherapie mit Kontrollbedingungen (z.B. Placebo-Psychotherapie, Placebo-Tabletten, keine Behandlung) oder mit anderen Behandlungen (z.B. andere psychologische Therapie oder Antidepressiva) verglichen wurde.

Nach Berücksichtigung verschiedener Qualitätskriterien (u.a. adäquate Randomisierung, „blind assessment“, Intention-to-treat-Analyse) verblieben 57 Studien – bzw. nach Abzug von zwei Studien, die niemals begonnen wurden, 55 Studien –, von denen nur 42 publiziert wurden. Der Anteil der nichtpublizierten 13 Studien betrug 23,6%.

In 26 Studien wurde Psychotherapie mit Kontrollbedingungen verglichen. Sechs dieser Studien wurden nicht publiziert. Der Einbezug der Wirksamkeitsergebnisse der nichtpublizierten Studien (Effektstärke Hedges’ g=0,20) reduzierte das metaanalytische Wirksamkeitsergebnis der publizierten Studien (g=0,52) um 25% auf die Effektstärke Hedges’ g=0,39. Die Zahlen machen deutlich, dass die nicht publizierten Studien eine wesentlich niedrigere durchschnittliche Effektstärke hatten und wohl größtenteils Studien mit negativem Ergebnis waren.

Driessen et al. kommen zu dem Schluss, dass Underreporting in der Psychotherapie-Forschung zur Depressionsbehandlung numerisch ein ähnliches Ausmaß hat wie in der Antidepressiva-Forschung und zu einer vergleichbaren Überschätzung der Wirksamkeit führt. Da im Falle der Psychotherapie-Forschung die pharmazeutische Industrie nicht angeschuldigt werden kann, wird deutlich, dass eine Reihe von anderen Faktoren (wie zum Teil möglicherweise auch in der Psychopharmakotherapie-Forschung!) dafür verantwortlich ist, so unter anderem persönliches Interesse, Karrieredruck, Psychotherapieschulen-bedingter Bias, Schwierigkeit der Publikation von Negativstudien.

Die Autoren fordern, durch Einrichtung von verpflichtenden Studienregistern für Psychotherapiestudien die Problematik des Underreporting in den Griff zu bekommen. Dem kann man nur zustimmen. Obendrein sollte diese Problematik im Rahmen der Erstellung von Leitlinien, unter anderem der Revision der deutschen S3-Leitlinie zur Depressionsbehandlung, berücksichtigt werden!

Driessen E, et al. Does publication bias inflate the apparent efficacy of psychological treatment for major depressive disorder? A systematic review and meta-analysis of US National Institutes of Health-funded trials. PLOS One published online September 30, 2015; doi:10.1371/journal.pone.0137864.

1. Cuijpers P, et al. Efficacy of cognitive-behavioural therapy and other psychological treatments for adult depression: meta-analytic study of publication bias. Br J Psychiatry 2010;196:173–8.

2. Flint J, et al. Is there an excess of significant findings in published studies of psychotherapy for depression? Psychol Med 2015;45:439–46. Epub 2014 Jul 25.

3. Kirsch I, et al. Initial severity and antidepressant benefits: a meta-analysis of data submitted to the Food and Drug Administration. PLoS Med 2008;5:e45.

4. Turner EH, et al. Selective publication of antidepressant trials and its influence on apparent efficacy. N Engl J Med 2008;358:252–60.