Grote effecten in onderzoek niet zomaar vertrouwen

In Nederlands Tijdschrift voor Geneeskunde van 23 november 2016 staat een bericht over effecten die worden genoemd in gerandomiseerde trials. Een zeer groot effect in een gerandomiseerde trial (relatief risico (RR): ≤ 0,2 of ≥ 5) wordt vaak beschouwd als aanwijzing dat verdere grote trials onnodig of misschien zelfs onethisch zijn. Dat is echter voorbarig, waarschuwt een groep onderzoekers in de British Medical Journal (BMJ).

De onderzoekers zochten in de Cochrane Database tot 2010 naar trials met grote effecten (en ruwe data) en bekeken of die trials tot 2015 in grote vervolgstudies waren gevalideerd. Uit 3.082 systematische reviews haalden zij 85.002 ‘forest plots’ van oorspronkelijke studies, en daarvan meldden er 44 (0,05%) een zeer groot effect dat later nog eens aan een grote trial werd onderworpen. De meeste oorspronkelijke studies die een zeer groot effect meldden, waren klein (mediane steekproefgrootte: 99) en hadden een niet gering risico op vertekening (35 van 44).

‘Het relatieve risico was dichter bij de nul in 43 van de 44 vervolgstudies. In 19 gevallen (43%; 95%-BI: 29-58%) vonden grote vervolgstudies geen statistisch significant effect in dezelfde richting. Zelfs als de vervolgstudies een significant effect in dezelfde richting vonden, zouden in de meeste gevallen de extra primaire uitkomsten aanleiding hebben gegeven tot heroverweging van de voordelen van de interventie.’ Als de oorspronkelijke studie een p-waarde < 0,001 rapporteerde, vond de vervolgstudie wel vrijwel altijd (19 van 21) een significant effect in dezelfde richting – 9 studies meldden een p < 0,00001, daarvan werd 1 alsnog onderuitgehaald in een grotere trial.

‘Onze resultaten laten helaas zien dat een vuistregel gebaseerd op het relatieve risico in gerandomiseerde trials onpraktisch is, gezien de zeldzaamheid van zeer grote effecten en de geringe positieve voorspellende waarde. In ongeveer de helft van de gevallen zou zo’n vuistregel ten onrechte vertrouwen geven’, concluderen de onderzoekers. ‘Voorzichtigheid moet worden betracht bij het interpreteren van kleine studies met zeer grote behandeleffecten.’

(Bron: BMJ , 27 oktober 2016/Ned Tijdschr Geneeskd, 23 november 2016)