Contact

Daria Pašalić
Editor-in-Chief
Department of Medical Chemistry, Biochemistry and Clinical Chemistry
Zagreb University School of Medicine
Šalata ul 2.
10 000 Zagreb, Croatia
Phone +385 (1) 4590 205; +385 (1) 4566 940
E-mail: dariapasalic [at] gmail [dot] com

Useful links

Uvodnik:

Mladen Petrovečki. Uloga statističkog recenzenta u biomedicinskim znanstvenim časopisima. Biochemia Medica 2009;19(3):223-30.
Katedra za medicinsku informatiku, Medicinski fakultet Sveučilišta u Rijeci, i Klinički zavod za laboratorijsku dijagnostiku, Klinička bolnica „Dubrava”, Zagreb
 
Corresponding author*: mladenp [at] kbd [dot] hr
 
Uvod
 
Prije desetak godina je Douglas Altman primijetio kako se čini „općeprihvaćenim da medicinski istraživači ne poznaju statistiku“ (1). Ana Marušić, glavna urednica časopisa Croatian Medical Journal, nedavno je u elektroničkoj raspravi Svjetske udruge medicinskih urednika (engl. World Association of Medical Editors, WAME) zatražila od urednika sudionika mišljenje o tome „u kojoj bi mjeri urednik časopisa trebao poznavati statistiku i kako bi trebao pristupiti toj problematici u biomedicinskom časopisu“ (2). I Altman i Marušić su dotakli vrlo osjetljivo pitanje statistike u biomedicinskoj znanosti i skrenuli pozornost na mogući problem: ako ni autor ni urednik ne poznaju statistiku u dovoljnoj mjeri, tko je tada odgovoran za valjanost statističkih postupaka objavljenih u časopisu?
Statistika se definira kao znanstvena disciplina, grana matematike srodna filozofiji, logici i informatici. Na polju biomedicine i biomedicinskih znanosti razmatra je se kao jednostavan, složen ili čak vrlo složen skup postupaka prikupljanja, raščlambe, tumačenja, pojašnjavanja i prikazivanja rezultata (3), kao skup postupaka istraživanja koji nam omogućuju statističko razmišljanje, ili skup postupaka s pomoću kojih „učimo iz iskustva“ (4). Statistika je nedvojbeno važna, pa istraživači moraju poznavati statističku metodologiju i znati je ispravno rabiti. Što se tiče statističke recenzije znanstvenih radova, nemoguće je ne složiti se s Paulom Paysonom iz Kanadske udruge psihijatara (engl. Canadian Psychiatric Association), koji kaže da je „od ključne važnosti imati ili u uredništvu ili kao konzultanta nekoga s dobrim znanjem statističke metodologije tko može odrediti jesu li ispravno rabljeni neki rjeđe korišteni ili noviji testovi”.
Statistički recenzent i statistički urednik
Urednici biomedicinskih časopisa nisu u dovoljnoj mjeri upoznati ni školovani, a ni vješti u procjenjivanju statističke metodologije i računalne analize u svim rukopisima koje pregledavaju, napose kod istraživanja u kojima se rabe složene istraživačke metode koje istražuju kompleksne pojave, uključuju složene uzorke ili skupine, tj. primjenjuju sofisticirane varijante statističkih testova ili provode neuobičajene usporedbe podataka (2). Njima je potrebna pomoć stručnog procjenitelja, kako kod ocjene ustroja istraživanja, tako i kod provjere statističke metodologije. Takvu pomoć može pružiti kompetentni znanstvenik – statistički recenzent. Statistički recenzent sa stalnom pozicijom u uredništvu časopisa obično se naziva statističkim urednikom (5,6).
Za časopis bi bilo poželjno kad bi statistički urednik čitao i komentirao sve rukopise koji se pripremaju za objavu. Kod nekih časopisa, kao što je Croatian Medical Journal, statistička recenzija svih rukopisa koje je glavni urednik prihvatio za objavu, sastavni je dio redovnog postupka recenzije članka (7). Kod drugih časopisa, kao što je The Lancet, na statističku se recenziju daju samo oni rukopisi koje su stručni recenzenti već prihvatili (8).
Glavni cilj statističke recenzije, koji često obuhvaća recenziju i statističke i epidemiološke metodologije, jest dvostruk: provjeriti je li istraživanje ispravno provedeno i jesu li rezultati prikladno prikazani, te uočiti moguće pogrješke i propuste. Pozabavimo se prvo mogućim pogrješkama.
Pogrješke u metodologiji
Altman (1) navodi kako se velike količine novca troše na loše provedena istraživanja: ona s neodgovarajućim ustrojem, istraživanja s nereprezentativnim ili malim uzorkom, istraživanja u kojima se rabe netočni statistički postupci ili ona koja pružaju neodgovarajuće tumačenje podataka. U svojem su istraživanju Lukić i Marušić (6) otkrili da su kod rukopisa najčešći problemi pogrješke u prikazu podataka te njihovom tumačenju, u analizi podataka i ustroju istraživanja. Neke se pogrješke mogu smatrati relativno nevažnima, no pogrješke u odabiru ustroja istraživanja često imaju dalekosežne implikacije na rezultate istraživanja čija je primarna i jedina svrha pokazati nam „istinu“ i stvarnost.
Najčešće statističke pogrješke u objavljenim člancima biomedicinskih istraživanja srećom su relativno jednostavne i lako ih je pronaći, a može ih prepoznati i znanstvenik s osnovnim znanjem statistike (9,10). One sežu od uporabe standardne pogrješke aritmetičke sredine umjesto standardne devijacije u deskriptivnoj statistici, preko izvještavanja o P-vrijednostima bez navođenja ostalih statističkih podataka, pa do primjene analize linearne regresije, a da se prethodno nije potvrdila linearna povezanost, neprilagodbe P-vrijednosti za višestruke usporedbe, korištenja slika i tablica samo za pohranu podataka, i sl. (9). U svom radu objavljenom u ovom broju časopisa Biochemia Medica, Šimundić i Nikolac su opazile kako znatan udio rukopisa zaprimljenih u uredništvo časopisa, sadrži neku statističku pogrješku (11).
Puko navođenje podataka s jedinom svrhom izvještavanja o tome što je izmjereno ponekad se naziva mučenjem podatcima (engl. data torture) (1) i također se smatra neprimjerenim.
Altman je tipične statističke pogrješke grupirao u četiri kategorije (5):
1. pogrješke u ustroju istraživanja (npr. nedostatak randomizacije u kontroliranim pokusima ili rad s neodgovarajućom kontrolnom skupinom),
2. pogrješke u raščlambi podataka (npr. uporaba neparnog statističkog testa kada podatci traže korištenje parnoga testa),
3. pogrješke u prikazu podataka (npr. uporaba standardne pogrješke umjesto standardne devijacije pri opisu podataka, prikaz raspodjele kontinuirane varijable kružnim dijagramom), te
4. pogrješke tumačenja podataka (npr. način zaključivanja „uzrokovano je ako je povezano“, tumačenje loše provedenog istraživanja kao da je dobro provedeno).
Nedavni pregledi znanstvenih radova ukazuju na činjenicu da je kvaliteta statističkih analiza u objavljenim istraživanjima često ispod zadovoljavajuće razine. Primjerice, Altman iznosi da je svega 30–60% objavljenih radova u odabranim biomedicinskim časopisima u razdoblju od 1966.-1996. primjenjivalo odgovarajuću statističku metodologiju (5), dok drugi autori izvještavaju čak i o nižem udjelu koji je manji od 15% (12).
Čak i ovaj prigodni pregled potvrđuje da su slučajevi metodoloških pogrješaka – velikih ili malih, učinjenih namjerno ili slučajno – mnogo češći nego slučajevi kada ih nema, te da bi časopisi trebali dosljedno zahtijevati statističke recenzije rukopisa koji se pripremaju za objavu.
Statistička recenzija
Općenito, postoje tri razine recenzije rukopisa koje bi urednik trebao uzeti u obzir prije donošenja odluke hoće li objaviti neki rukopis:
- stručna recenzija,
- etička recenzija i
- statistička recenzija (uključujući recenziju i statističke i epidemiološke metodologije).
Stručnu recenziju obavljaju znanstvenici, stručnjaci ili specijalisti sa stručnim znanjem predmeta kojeg recenziraju. Iako je daleko od savršene, stručna se recenzija ipak smatra najboljim mogućim postupkom vrednovanja znanstvene kakvoće istraživanja (13).
Etičku recenziju obično provode nezavisni etički odbori, institucionalni odbori za recenziju ili odbori za etičku recenziju. Etička pitanja pripadaju području etike, moralnosti i zakona. Statističari su ponekad članovi etičkog odbora koji recenzira radove biomedicinskih istraživanja predložene za objavljivanje, no statistika i etika bave se različitim problemima, temama i pitanjima, što i jest razlogom zbog kojeg se statistički i etički aspekti istraživanja moraju recenzirati odvojeno (14).
Statističku recenziju provode statističari u obliku pismenog izvješća koje sadrži jasne i otvorene prijedloge i komentare namijenjene uredniku i autoru (5). Statistički recenzent iščitava rukopis od naslova i sažetka, preko teksta, tablica, i slika, do literature i posebnih napomena, te radi bilješke o svemu što u radu zahtijeva dodatno pojašnjenje ili objašnjenje ili bilježi sva mjesta gdje se postavljaju dodatna pitanja o tekstu ili podatcima. Kod izvješća o randomiziranim kontroliranim pokusima (engl. randomized controlled trials, RCT) većina urednika biomedicinskih časopisa od autora traži na uvid izvorni protokol istraživanja (npr. kod časopisa The Lancet i ostalih specijaliziranih časopisa te izdavačke kuće). Recenzent prvo pročita protokol istraživanja, pa tek nakon toga recenzira rukopis i ocijeni jesu li na ispravan način postignuti svi ciljevi iz protokola i je li se o njima izvijestilo na očekivan način (izvještaj o RCT mora u potpunosti odgovarati protokolu).
Statističke recenzije obično sadrže metodološka i statistička pitanja kojima se autor rukopisa trebao pozabaviti. Ako se istraživanje i rukopis smatraju prihvatljivima, statistički recenzent može predložiti prihvaćanje rukopisa. Ako se statističke pogrješke odnose na prezentaciju metodologije i podataka, statistički recenzent može ponuditi autoru specifične prijedloge kako poboljšati rukopis. Takva praksa doprinosi bržoj pripremi rukopisa za objavljivanje. Međutim, konačno prihvaćanje rada ovisi o ispravcima koje autor napravi prema uputama recenzenta.
Ako su pogrješke učinjene tijekom analize podataka, u tumačenju podataka ili u raspravi o rezultatima, statistički recenzent obično zahtijeva opsežnije promjene u rukopisu i traži od autora da ponovno analizira podatke u cijelosti te napravi novi koncept izvješća. Ali ako su pogrješke napravljene u ustroju istraživanja, rijetko je takav rad moguće prihvatiti. Naime, rijetko je moguće ispravljanje takvih pogrješaka bez ponavljanja cijeloga istraživanja. U tom slučaju statistički recenzent najčešće savjetuje uredniku neprihvaćanje rada.
Kako bi se napravila sustavna i sveobuhvatna statistička recenzija, čak su i starijim i iskusnim biomedicinskim statističarima potrebne smjernice, kontrolna lista uputa koja bi ih podsjetila na sve točke koje treba ocijeniti u statističkoj recenziji. Primjer takve kontrolne liste, sastavljene prema smjernicama drugih autora koju i sam rabim tijekom recenziranja, nalazi se u tablici 1. Savjeti za recenzente izlistani su u pet skupina. Opći komentari odnose se na radove strukturirane prema principu Uvod, Metode, Rezultati i Rasprava (engl. Introduction, Methods, Results and Discussion, IMRaD), gdje se o ustroju istraživanja govori posebno u Uvodu i Metodama, o metodologiji i analizi podataka u Metodama, o prikazivanju podataka u Rezultatima, te o tumačenju podataka u Raspravi.
Prijedlozi i komentari recenzenta obično su podijeljeni u one važne i manje važne. Važni se odnose na ključne pogrješke i nepoznavanje osnovnih statističkih pravila, dok se manje važni odnose na manje pogrješke, zabune, nedostatke, nedovoljno objašnjenje rezultata ili loše izvještavanje.
Upute autorima
Postoje dvije glavne upute autorima: prva je upoznati se u dovoljnoj mjeri sa statističkom metodologijom prije izrade konačnog protokola, a druga je rabiti tijekom pripreme rukopisa iste kontrolne liste kakve rabe i statistički recenzenti (npr. prijedlog iz tablice 1).
 
Tablica 1. Kontrolna lista za provjeru i recenziju statističke i epidemiološke metodologije izvješća biomedicinskog istraživanja, sastavljena prema uputama objavljenima u biomedicinskoj literaturi (5,7,15-25), uključujući i časopis Biochemia Medica (26-29).
 
Do sada je uistinu objavljeno mnogo sjajnih knjiga o biostatističkoj metodologiji, a ovom prigodom ističem tek dvije, “Basic and Clinical Biostatistics” autora Beth Dawson i Roberta Trappa (30) i “Essential Statistics for the Pharmaceutical Sciences” autora Philipa Rowea (31). Oba priručnika sadrže tipična biostatistička predavanja i oba opisuju tipične statističke pogrješke. U drugom se priručniku kao upozorenje koristi znak otrova, „mrtvačke glave“ – (kôd 78 windings znakova na tipkovnici). Jedan takav znak upozorava na blagu opasnost od pogrješke, dva znaka znače srednju opasnost, a tri znaka visoku opasnost od pogrješke. Primjerice, podijeliti skup podataka u nekoliko podskupina, analizirati svaku podskupinu podataka i tada objaviti rezultate za samo one podskupine koje pokazuju statistički značajne razlike smatra se očiglednom pogrješkom koja se označava s tri znaka opasnosti (31). Takav način vizualnog označavanja mogućih pogrješaka predstavlja dobru praksu i čini učenje praktičnijim.
Neki statistički priručnici, primjerice “Methodological errors in medical research” autora Borna Andersena (32), daju primjere neispravne primjene statističkih metoda u objavljenim znanstvenim radovima. Drugi, kao primjerice Huffov “How to lie with statistics” (33) niti se ne pokušavaju boriti protiv besramne zlouporabe statistike već jednostavno nižu sistematizirane preporuke kako griješiti, u očigledno sarkastičnom tonu.
 
Umjesto zaključka
 
U zaključku, umjesto vlastitih riječi citiram misao iz Etičkih smjernica za statističku praksu (engl. Ethical Guidelines for Statistical Practice) Odbora Američkog statističkog udruženja za stručnu etiku (engl. American Statistical Association Committee on Professional Ethics): „Stručne značajke statističkih analiza ključne su za mnoge aspekte društva. Primjena statistike u dijagnostičkim postupcima i tijekom biomedicinskih istraživanja može utjecati na to hoće li osoba preživjeti ili umrijeti, je li nečije zdravlje zaštićeno ili ugroženo, napreduje li medicinska znanost ili je zastranila. Život, smrt i zdravlje kao i učinkovitost mogu biti ulozi u statističkoj analizi…“ (22). Ovaj odlomak zaista sažima stvarne razloge potrebe postojanja statističkog recenzenta i čini se da dodatna objašnjenja nisu potrebita. Ostatak je na autorima – slijediti pravila, jednostavna pravila besprijekorne statističke metodologije.
 
Zahvala
 
Zahvaljujem dr. Aleksandri Mišak na dragocjenoj pomoći tijekom uređivanja konačne inačice teksta za objavu.
 
Literatura
 
1.     Altman DG. The scandal of poor medical research. BMJ 1994;308: 283–4.
2.     World Association of Medical Editors. WAME listserve discussions May to June 2004: Journal editors and statistics & Editors and qualitative research methods. Available from: http://www.wame.org/wame-listserve-discussions/journal-editors-and-stati.... Accessed: July 6, 2009.
3.     Joel B. Damned lies and statistics: untangling numbers from the media, politicians, and activists. Berkeley – London: University of California Press, 2001.
4.     Bailar JC. Medical uses of statistics. 2nd ed. Waltham (MA): CRC Press, 1992.
5.     Altman DG. Statistical reviewing for medical journals. Stat Med 1998;17:2661-74.
6.     Lukić IK, Marušić M. Appointment of statistical editor and quality of statistics in a small medical journal. Croat Med J 2001;42:500-3.
7.     Croatian Medical Journal. Guidelines for authors: editorial policy. Croat Med J 2009;50:93-103.
8.     Lancet: Information for Authors. Available from: http://download.thelancet.com/flatcontentassets/authors/tln-information-.... Accessed: May 26, 2009.
9.     Lang T. Twenty statistical errors even YOU can find in biomedical research articles. Croat Med J 2004;45:361-70.
10.   Petrovečki M, Gabela O, Marcelić T. Statistical management of automimmune disease data. “New trends in classification, monitoring and management of autoimmune diseases”, 5th FESCC Postgraduate Course in Clinical Chemistry, Dubrovnik, October 2005:77-80.
11.   Simundic AM, Nikolac N. Statistical errors in manuscripts submitted to Biochemia Medica. Biochem Med 2009;19:294-300.
12.   Tyson JE, Furzan JA, Reisch JS, Mize SG. An evaluation of the quality of therapeutic studies in perinatal medicine. J Pediatr 1983;102:10-3.
13.   Emerald Group Publishing Limited. How to survive peer review and revise your paper. Available from: http://info.emeraldinsight.com/authors/guides/review.htm. Accessed: July, 6, 2009.
14.   Operational guidelines for ethics committees that review biomedical research. Geneva: World Health Organization, 2000. Available from: http://apps.who.int/tdr/publications/training-guideline-publications/ope.... Accessed: June 21, 2009.
15.   International Committee of Medical Journal Editors. Uniform requirements for manuscripts submitted to biomedical journals: writing and editing for biomedical publication. Updated October, 2008. Available from: http://www.icmje.org/index.html. Accessed: May 25, 2009.
16.   Gardner MJ, Machin D, Campbell MJ. Use of check lists in assessing the statistical content of medical studies. BMJ 1986;292:810-2.
17.   Bailar JC, Mosteller F. Guidelines for statistical reporting in articles for medical journals: amplifications and explanations. Ann Intern Med 1988:108:266-73.
18.   Svensson E. Guidelines to statistical evaluation of data from rating scales and questionnaires. J Rehab Med 2001;33:47-8.
19.   U.S. FDA Center for Devices and Radiological Health. PMA review statistical checklist. Available from: http://www.fda.gov/cdrh/ode/84.pdf. Accessed: May 29, 2009.
20.   Yale Center for Clinical Investigation. Biostatistics, epidemiology, and study design (BESD) support services – research design and statistical analysis criteria for YCCI protocols. Available from: http://ycci.yale.edu/forms/BiostatisticsChecklist.pdf. Accessed: May 20, 2009.
21.   The CONSORT Group. CONSORT explanation and elaboration document. Available from: http://www.consort-statement.org. Accessed: May 25, 2009.
22.   Committee on Professional Ethics. Ethical guidelines for statistical practice. Available from: http://www.amstat.org/about/ethicalguidelines.cfm. Accessed: May 19, 2009.
23.   British Dental Journal. Statistical Guidelines. Available from: http://www.nature.com/bdj/authors/guidelines/statistics.html. Accessed: June 28, 2009.
24.   Murray GD. Statistical guidelines for the British Journal of Surgery. Br J Surg 1991;78:782-784.
25.   Petrovečki M. Data processing. In: Marušić M, ed. Principles of research in medicine. Zagreb: Medicinska naklada, 2008. p. 97-106.
26.   Biochemia Medica. Instructions to authors. Available from: http://www.kbsm.hr/klinkemija/HDMB/BiochMed/dokumenti/Instructions_to_au.... Accessed: July 6, 2009.
27.   Ilakovac V. Statistical hypothesis testing and some pitfalls. Biochem Med 2009;19:10-6.
28.   McHugh ML. Standard error: meaning and interpretation. Biochem Med 2008;18:7-13.
29.   Udovičić M, Baždarić K, Bilić-Zulle K, Petrovečki M. What we need to know when calculating the correlation coefficient. Biochem Med 2007;17:10-5.
30.   Dawson B, Trapp RG. Basic and clinical biostatistics (4th ed). New York – Toronto: Lange Medical Books & McGraw-Hill, 2004.
31.   Rowe P. Essential statistics for the pharmaceutical sciences. Liverpool: Wiley, 2007.
32.   Andersen B. Methodological errors in medical research. Oxford: Blackwell Science Ltd, 1990.
33.   Huff D. How to lie with statistics. London: Penguin, 1991.