Peerreviewers zijn niet heel scherp en streng
Verhoogt peerreview werkelijk de kwaliteit van artikelen? Vrijwel alle peerreview voltrekt zich achter gesloten deuren, maar de medische tijdschriften van BioMed Central bieden de mogelijkheid tot een uniek inkijkje: hun peerreview is openbaar, van manuscript tot en met laatste revisie. Een onderzoeksgroep onder leiding van Douglas Altman van University of Oxford maakte van deze gelegenheid gebruik (BMJ 2014; 349: g4145).
Zij bekeken de lotgevallen van 93 rapportages van gerandomiseerde trials in jaargang 2010 van de BMC-bladen. Allereerst merken ze op dat, ondanks peerreview, er nog veel schortte aan de gepubliceerde artikelen: ‘Peerreviewers zien belangrijke tekortkomingen over het hoofd.’ Zo ontbraken in 50% van de artikelen nog steeds de methodes voor blindering, in 55% de resultaten voor de primaire uitkomstmaat, en in 90% details van het protocol.
Ook voor het overige was de bijdrage van de peerreviewers beperkt. ‘Het aantal veranderingen tussen de versies was betrekkelijk klein; de meeste betroffen het toevoegen of wijzigen van informatie,’ zo schrijven zij. ‘De meeste veranderingen hadden een positieve impact op het verslag – bijvoorbeeld toevoegen of verhelderen van randomisering en blindering (n = 27), steekproefgrootte (n = 15), primaire en secundaire uitkomstmaten (n = 14) en afzwakken van de conclusies in overeenstemming met de resultaten (n = 27). Sommige toevoegingen die peerreviewers vroegen, hadden echter een negatieve impact, zoals het toevoegen van niet vooraf geplande analyses (n = 15).’ Aan het abstract werd weinig veranderd, hooguit (n = 15) aan de conclusie.
Over het algemeen volgden auteurs de suggesties van de peerreviewers, maar een aantal malen (n = 16) schoven zij de positieve adviezen terzijde.
De auteurs wijzen merken op dat hun bevindingen misschien weinig zeggen over de gang van zaken bij meer gesloten bladen of bladen met hogere of lagere impactfactor. Zij bevelen open peerreview echter hartgrondig aan ‘om lezers een helder en transparant inzicht te geven in het proces.’ Daarnaast menen ze dat tijdschriftredacties, voordat ze manuscripten naar peerreviewers sturen, even zelf zouden moeten controleren of aan alle standaarden (bijvoorbeeld van CONSORT, www.equator-network.org) voldaan is.
Bron: NTvG, 18 juli 2014