Studien, die zum Vergessen sind
Fachzeitschriften und selbst Tageszeitungen überfluten die Welt mit Studien. Die meisten davon können getrost ignoriert werden; wie können wir schnell entscheiden, welche Studien Aufmerksamkeit verdienen? (ärztemagazin 14/17)
Wir haben heuer in einem DFP-Artikel medizinische Studien vorgestellt, deren Stärken und Schwächen präsentiert, und das ärztemagazin wird das Thema 2018 mit einem weiteren DFP vertiefen. In diesem Artikel geht es weniger um die Qualität wissenschaftlicher Studien als um Zeitökonomie: Was lohnt es sich zu lesen und wie erkenne ich Datenmüll, ohne viel Aufmerksamkeit zu vergeuden?
Zwei Drittel aller Medienberichte über Gesundheitsthemen sind verzerrt, sie geben den aktuellen Wissensstand nicht korrekt wieder.1 Das hat zahlreiche Ursachen: Wissenschaftler, die ihre Ergebnisse überjubeln, PR-Abteilungen von Universitäten, die ihre Studie in die Medien bringen wollen, bis hin zu Journalisten, die nicht in der Lage sind, Studien kritisch zu lesen, oder denen einfach die Zeit dafür fehlt. Entsprechend schaffen es zumeist nicht jene Studien in die Medien, die relevant, methodisch gut und praxisnah sind, sondern schlicht jene, die voraussichtlich am meisten Interesse wecken – alles, was irgendwie spektakulär klingt. Um die Qualität müssen sich die Leser selber kümmern.
Tipps zur raschen Orientierung
Eine umfangreiche Studie genau auseinanderzunehmen, erfordert Zeit und eine gewisse Methodenkompetenz. In vielen Fällen helfen einige Daumenregeln:
- Einordnen: Was ist die bisherige Evidenz zu dieser Frage? Ergänzt die vorliegende Studie diese Evidenz oder widerspricht sie ihr und wie viel Aussagekraft hat sie im Vergleich zur bisherigen Studienlage? Beispiel: Eine Fall-Kontroll-Studie wird am Wissensstand zu einer Frage, zu der es Dutzende geeignete randomisiert kontrollierte Studien (RCTs) gibt, nichts ändern.
- Die Eckpfeiler der Studie durchgehen: Ist das Studiendesign für die Fragestellung geeignet? Ist die Teilnehmerzahl groß genug, um ein Zufallsergebnis auszuschließen? Eine RCT zum Thema Wirksamkeit sollte beispielsweise mindestens ein N ≥300 vorweisen können.
- Achtung vor Etikettenschwindel: Nicht jede Studie ist, was sie von sich behauptet. Bei RCTs ist die Randomisierung nicht immer gegeben und manche angeblich systematischen Übersichtsarbeiten sind alles andere als systematisch: Da hilft nur ein kurzer Blick in die Methoden: Haben zwei Autoren unabhängig voneinander Abstracts und im nächsten Schritt die Studien gesichtet und bewertet, ist die Suche nachvollziehbar, wurden die eingeschlossenen Studien in ihrer Qualität bewertet? Eine systematische Übersichtsarbeit von nur einem Autor ist nicht möglich, da kann man sich den Blick in die Methoden sparen.
- Halten die Zahlen, was die Zusammenfassung verspricht? In den Abstract und in die Conclusio schreiben Autoren gelegentlich eine überaus optimistische Interpretation ihrer Ergebnisse. Ein Blick in den Abschnitt Results zeigt, ob die harten Zahlen zumindest bei den zentralen Aussagen die Sicht der Autoren tatsächlich stützen.
- Tierstudien, Zellstudien, Pilotstudien: Entscheidende Grundlagenforschung, aber ohne jede Beweiskraft für Anwendung und Wirkung auf Menschen. Nur Weniges von dem, was im Tierversuch oder an Zellkulturen großartig klingt, wird erfolgreich repliziert, geschweige denn irgendwann klinisch relevant. Wenn im ersten Absatz etwas von „Durchbruch“ steht und erst im zweiten Absatz etwas von „Mäusen“, ist Skepsis angebracht.
- Signifikant ja, relevant nein? Statistisch signifikante Ergebnisse lassen sich leichter publizieren, das krampfhafte Suchen nach signifikanten p-Werten beschert der Forschung allerdings viel Müll.2 Wichtiger als die Signifikanz ist die klinische Relevanz: Medizinische Studien sollten daher die Effektgröße diskutieren. Und die ist letztlich nur im Abgleich mit anderen Therapien und mit den Nebenwirkungen zu bewerten. Fehlende Angaben zu Nebenwirkungen sollten stutzig machen.
Referenzen:
1 Kerschner et al. Wie evidenzbasiert berichten Print- und Online-Medien in Österreich? Eine quantitative Analyse. Zeitschrift für Evidenz, Fortbildung und Qualität im Gesundheitswesen, Volume 109, Issues 4–5, 2015, Pages 341–349
2 www.zeit.de/2017/25/medizinstudien-forschung-fehler-pharmaindustriejohn-ioannidis