Verzerrung in Metaanalysen erkannt durch einen einfachen, grafischen Test

Zusammenfassung Zielsetzung: Trichterdiagramme (Diagramme der Effektgrößen gegen Stichprobengröße) können nützlich sein, um Verzerrungen in Metaanalysen zu erkennen, die später durch große Studien widerlegt wurden. Wir untersuchten, ob ein einfacher Test auf Asymmetrie von Trichterdiagrammen die Unstimmigkeit der Ergebnisse vorhersagt, wenn Metaanalysen mit großen Studien verglichen werden, und wir bewerteten die Häufigkeit von Verzerrungen in publizierten Metaanalysen. Design: Medline-Suche zur Identifikation von Paaren bestehend aus einer Metaanalyse und einer einzelnen großen Studie (Übereinstimmung der Ergebnisse wurde angenommen, wenn die Effekte in gleiche Richtung gingen und die metaanalytische Schätzung innerhalb von 30% der Studie lag); Analyse von Trichterdiagrammen aus 37 Metaanalysen, die durch Handsuche in vier führenden Fachzeitschriften der Allgemeinmedizin 1993-6 gefunden wurden, und 38 Metaanalysen aus der zweiten Ausgabe 1996 der Cochrane Database of Systematic Reviews. Hauptendpunkt: Grad der Asymmetrie des Trichterdiagramms, gemessen am Schnittpunkt aus der Regression der standardnormalverteilten Abweichungen gegen die Präzision. Ergebnisse: In den acht identifizierten Paaren von Metaanalyse und großer Studie (fünf aus der kardiovaskulären Medizin, eine aus der Diabetologie, eine aus der Geriatrie, eine aus der Perinatalmedizin) gab es vier übereinstimmende und vier abweichende Paare. In allen Fällen lag die Abweichung daran, dass Metaanalysen größere Effekte zeigten. Trichterdiagramm-Asymmetrie lag in drei der vier abweichenden Paare vor, jedoch in keinem der übereinstimmenden Paare. In 14 (38%) der Zeitschriftenmetaanalysen und 5 (13%) der Cochrane-Reviews deutete die Trichterdiagramm-Asymmetrie auf eine Verzerrung hin. Schlussfolgerungen: Eine einfache Analyse von Trichterdiagrammen bietet einen nützlichen Test für das wahrscheinliche Vorliegen von Verzerrungen in Metaanalysen, jedoch ist die Fähigkeit, Verzerrungen zu erkennen, eingeschränkt, wenn Metaanalysen auf einer begrenzten Anzahl kleiner Studien basieren, weshalb die Ergebnisse solcher Analysen mit großer Vorsicht zu behandeln sind. Kernaussagen Systematische Übersichten randomisierter Studien sind die beste Strategie zur Beurteilung von Evidenz; dennoch wurden in einigen Metaanalysen gefundene Ergebnisse später durch große Studien widerlegt. Trichterdiagramme, Diagramme der Effektgrößen der Studien gegen Stichprobengröße, sind bei Vorliegen von Publikationsverzerrungen und anderen Verzerrungen schief und asymmetrisch. Die Asymmetrie von Trichterdiagrammen, gemessen durch Regressionsanalyse, sagt Unstimmigkeiten der Ergebnisse voraus, wenn Metaanalysen mit einzelnen großen Studien verglichen werden. Bei 38% der in führenden Fachzeitschriften der Allgemeinmedizin veröffentlichten Metaanalysen und bei 13% der Reviews aus der Cochrane Database of Systematic Reviews wurde Trichterdiagramm-Asymmetrie gefunden. Eine kritische Prüfung systematischer Übersichten auf Publikations- und verwandte Verzerrungen sollte als Routineverfahren betrachtet werden.