Contact

Daria Pašalić
Editor-in-Chief
Department of Medical Chemistry, Biochemistry and Clinical Chemistry
Zagreb University School of Medicine
Šalata ul 2.
10 000 Zagreb, Croatia
Phone +385 (1) 4590 205; +385 (1) 4566 940
E-mail: dariapasalic [at] gmail [dot] com

Useful links

Odabrane teme iz biostatistike:

Alfred A. Bartolucci. Opis i tumačenje metodoloških i statističkih tehnika u meta-analizama. Biochemia Medica 2009;19(2):127-36.
 
Odsjek za biostatistiku, Sveučilište Alabame u Birminghamu, Birmingham, Alabama, SAD
 
Corresponding author: Albartol [at] uab [dot] edu
 
Sažetak
 
Pojam meta-analize udomaćio se kao termin koji označava tumačenje rezultata iz znanstvene literature i stvaranje konačnog zaključka o prihvatljivosti rezultata istraživanja kojima se ispituju slične intervencije, tehnike ili liječenja. Meta-analiza je postala neophodna u razumijevanju velike zbirke neobrađenih podataka ili literature koja je ponekad proturječna, nedosljedna i nejasna o nekoj temi te u razumijevanju prave važnosti statističkih rezultata kod obrade neke znanstvene teme kao što je, primjerice, učinkovitost. Ne treba samo razumjeti motivaciju za meta-analizu, već i tehnike kojima sumiramo rezultate različitih istraživanja i koje pružaju odgovarajuće statističko promatranje i tumačenje rezultata. Poseban izazov predstavljaju različiti ustroji istraživanja, različiti kriteriji prihvaćanja za uključenje u neko istraživanje, posebno u medicinsko-kliničko ispitivanje, te mogući različiti pristupi tumačenju rezultata, iako ovo zadnje nije prevladavajuće. Općenito govoreći, istraživanja koja obuhvaćaju ispitivanje uloge neke intervencije kao što je, primjerice, sniženje koncentracije kolesterola i njen utjecaj na kardiovaskularno zdravlje, obrađuju sličnu temu te ako se rezultati tih istraživanja ne podudaraju, uloga meta-analize je usporediti sve rezultate i donijeti krajnji zaključak o pozitivnom, negativnom ili nejasnom utjecaju smanjene koncentracije lipida na kardiovaskularno zdravlje. Prikaz pristupa meta-analizi je jako vrijedan budući da u većini slučajeva nudi objašnjenje statističkih pristupa, njihovog značenja, svrhe i krajnjeg utjecaja na tumačenje meta-analize. Stoga bi istraživač, kad ima na raspolaganju elemente meta-analize, trebao razumjeti prednosti i ograničenja tog načina tumačenja rezultata iz literature.
Ključne riječi: meta-analiza; statistika; pregled; sustavna pogreška
 
Pristiglo: 8. siječnja 2009.
Prihvaćeno: 17. ožujka 2009.
 
Uvod
 
Meta-analiza je u svojem sadašnjem obliku statističke integracije podataka iz nekoliko istraživanja s istom temom prisutna već više od 30 godina. Medicina, industrija i temeljna znanost svjedoci su brojnih pokušaja raznih znanstvenika da sumiraju podatke iz različitih izvora unutar jedne znanstvene discipline s ciljem davanja konačne izjave o najnovijim znanstvenim spoznajama u toj disciplini. Slično tome, autori publikacija u uvodima svojih radova uvijek sumiraju ono za što vjeruju da je trenutno sveukupno stanje spoznaja unutar struke do trenutka prezentiranja svojih rezultata. Novi podaci i rezultati koje izlažu u svojoj publikaciji predstavljaju pokušaj ažuriranja napretka u tom polju. Na taj način smatraju da su izvršili djelomičnu meta-analizu sumirajući informacije iz prošlosti i dodavajući tome svoj prilog te na taj način obnavljaju bazu znanja. Oni zapravo nisu u potpunosti integrirali podatke iz prošlosti strogim statističkim postupkom, već su samo upotrijebili podatke iz arhive za opravdanje svog istraživanja koje je u biti nezavisno.
Na taj način meta-analiza postaje naknadni pokušaj prikupljanja trenutne baze znanja u obliku publikacija ili sirovih podataka. Ona predstavlja statističku sintezu svih informacija te donosi zaključak o najboljoj strategiji liječenja ili intervencije na temelju svih prijašnjih istraživanja. Prema riječima Glassa (1): „Meta-analiza se odnosi na analizu analiza…statističku analizu velike zbirke rezultata analiza iz pojedinih istraživanja sa svrhom integriranja rezultata“. U većini disciplina statistička analiza može obrađivati završne točke kao što su to, primjerice, veličina učinka (engl. mean effects), stopa odgovora (engl. response rates), omjeri izgleda (engl. odds ratios, OR), korelacije (engl. correlations) i slično. Ovdje želimo pokazati statistička pitanja meta-analize na primjeru, jer u ovom pregledu ne možemo proći sve završne točke. Stoga ćemo se koncentrirati na kontinuirane završne točke veličine učinka, imajući na umu ostale kontinuirane (npr. korelacije) i kategoričke (npr. omjer izgleda, stopa odgovora, relativni rizik (engl. relative risk)) završnim točkama. Započeti ćemo s obradom izvora pregleda literature za meta-analizu. U ostatku članka obraditi ćemo statističku terminologiju i pristupe izradi meta-analize. Nakon toga ćemo predstaviti tehnike istraživanja sustavnog odstupanja rezultata zbog pretežitog objavljivanja određenog tipa istraživanja (engl. publication bias) i zaključiti o prednostima i ograničenjima meta-analize. Naše će izlaganje uključiti glavne ciljeve meta-analize te će biti prilično detaljno, ali ne i iscrpno, zbog činjenice da je područje meta-analize prilično opsežno te obuhvaća alternativne statističke tehnike o kojima ovdje nećemo raspravljati, kao što su Bayesovi i neparametrijski testovi.
Sustavni pregledni članci
Prirodno je započeti pitanjem poput „Smanjuju li statini rizik od raka?“ ili „Je li koncentracija vitamina C u plazmi odgovarajući biološki biljeg za uzimanje vitamina C?“. Mora postojati način pretraživanja literature kako bi se odredilo mogu li se sažeti objavljeni rezultati i donijeti krajnji zaključak. To se zove „sustavan pregledni članak“, odnosno pregled koji jasno opisuje korištene metode za pronalaženje, procjenjivanje te, gdje se to može, kombiniranje relevantnih istraživanja. Sustavni pregledni članak može imati nekoliko ključnih elemenata koji uključuju: 1) pripremu sustavnog pretraživanja ili formuliranja istraživačkog pitanja, 2) sustavno istraživanje primarne literature, 3) odabir radova za pregled i 4) kritična prosudba odabrane literature. Najčešći izvori pretraživanja literature su: MEDLINE (baza podataka američke medicinske knjižnice), EMBASE (medicinska i farmakološka baza podataka izdavačke kuće Elsevier Publishing), CINAHL (zbirni pokazatelj sestrinske i srodne zdravstvene literature, engl. Cumulative Index to Nursing and Allied Health Literature), CANCERLIT (baza podataka za pretraživanje literature o raku)i Cochrane Collaborative (međunarodna neprofitna i nezavisna organizacija koja daje obnovljene i točne informacije o rezultatima/učincima zdravstvene skrbi u cijelom svijetu. Ona stvara i distribuira sustavne pregledne članke o intervencijama u zdravstvenoj skrbi te podržava potragu za podacima temeljenim na dokazima u obliku kliničkih i drugih istraživanja.)
Svi su ti izvori imali važnu ulogu u prikupljanju informacija kako bi istraživači na jednom mjestu imali dostupne rezultate raznih istraživanja. Meta-analiza jest zapravo statistička sinteza, bilo kvantitativna ili kvalitativna, rezultata istraživanja uključenih u sustavni pregledni članak i tumačenje tih podataka. U mnogim područjima istraživanja statističke završne točke mogu biti veličina učinka, stopa odgovora, omjeri izgleda, korelacije i ostalo. Stoga bi istraživač trebao biti svjestan odabira istraživanja, metode prikupljanja podataka, načina kako se podaci trebaju statistički sažeti te kako se izvodi zaključak. Metode za uključivanje istraživanja u meta-analizu mogu biti opsežne i dovoljno je reći da ćemo, budući da je svrha ovog pregleda obrađivanje statističkih elemenata, pretpostaviti da istraživanja obrađuju sličnu tematiku, da imaju dobro postavljene kriterije prihvaćanja te da su im tehnike procjene završnih točaka mjerenja sustavno postavljene u cijelom istraživanju. Jedan kriterij uključenja u meta-analizu u kliničkom okruženju koji moramo imati na umu jest da istraživanja koja uspoređuju učinak novog liječenja, onog koje ispitujemo, i učinak starog liječenja moraju biti ispravno randomizirana.
Veličina učinka
Veličina učinka (engl. effect size, ES) u jednom istraživanju je mjera razlike između učinaka dvaju liječenja. Uzmimo primjer istraživanja gdje se žele usporediti srednje vrijednosti smanjenja krvnog tlaka zbog novog antihiperzivnog liječenja, A i starog liječenja, B. ES iznosi:
ES= c(m)[(MA – MB)/S],
gdje je MA srednja vrijednost sniženja krvnog tlaka kod liječenja A, MB je srednja vrijednost sniženja krvnog tlaka kod liječenja B, a S je združena standardna devijacija (engl. pooled standard deviation) obaju uzoraka. Združena standardna devijacija definira se kao
S= {[ (nA -1)(sA)2 + (nB -1)(sB)2 ]/ (nA + nB -2)}1/2,
gdje sA i sB predstavljaju standardne devijacije (2) iz uzoraka A, odnosno B,a nA i nB predstavljaju veličine uzoraka A, odnosno B. Vrijednost c(m) je korekcijski faktor (3) za sustavnu pogrešku (engl. bias) u određivanju stvarnog ES zbog malog uzorka. Definira se kao
c(m)= 1-3/(4m-1),
gdje je m= nA + nB -2. Može se vidjeti da se s povećanjem veličine uzorka, c(m) primiče vrijednosti 1. Varijanca istraživanja ES se ponekad određuje kao (3)
var (ES)= [(nA + nB)/ nA nB] + (ES)2 /(2T-3.94),
gdje je T= nA + nB. Približna konstanta 3,94 je korekcijski faktor (engl. correction factor) (3) u ovakvoj vrsti izračuna.
Pretpostavimo sada da imamo mnoga istraživanja, k > 6, koja uspoređuju neki oblik liječenja A sa starim liječenjem. Ovdje želimo napomenuti da se u meta-analizi ne pretpostavlja da je liječenje A u identičnom obliku u svim studijama. Primjerice, u jednom istraživanju to može biti liječenje A vježbanjem, u drugom je liječenje A s vitaminskim dodatkom prehrani, u trećem je samo liječenje A itd. Kontrolno liječenje u svakom istraživanju također ne mora biti identično, dokle god se ne radi o liječenju A. Odnosno, kontrolno liječenje u jednom istraživanju može biti placebo, u drugom to može biti samo vježbanje, u trećem jednostavno izostanak bilo kakve intervencije (to se može napraviti ukoliko je etično) i slično. Poanta je da se u meta-analizi postavlja pitanje pokazuje li liječenje A u bilo kojem obliku prednosti kod snižavanja krvnog tlaka u usporedbi s bilo kojim liječenjem koje nije A. Uz pretpostavku da imamo istraživanja k koja želimo sumirati, meta-analiza kombinira veličinu učinka k ES1, ES2,……..,ESk te daje srednju vrijednost veličine učinka ESmean,
ESmean = ∑i=1,k wi ESi /∑i=1,k wi za i=1,…,k.
Vrijednosti wi za i = 1,…,k predstavljaju težinu istraživanja. U meta-analizi nisu sva istraživanja jednake težine. Primjerice, istraživanje s 500 ispitanika treba se vrednovati više od istraživanja s 80 ispitanika zbog više informacija koje nudi. Težina se može odrediti i na drugi način, kao što je opseg (duljina) praćenja u uzdužnim longitudinalnim istraživanjima. Istraživanje u kojem je završna točka ovisna o vremenu kao, primjerice, u slučaju hoće li ispitanik preživjeti ili gdje se ispitanici prate 10 godina, treba vrednovati više nego ono u kojem se ispitanici prate samo 5 godina. Stvarni izračuni, kojima se određuje težina istraživanja, mogu biti prilično složeni. Uobičajena tehnika jest postaviti težinu kao inverznu varijancu veličine učinka (3) koji smo već definirali, tj.,
wi = 1/varijanca(ESi), i=1,…,k.
Jedna je teza da će veća istraživanja imati višu preciznost i time manju varijaciju te sukladno tome i veću težinu. Drugi način za jednostavan izračun težine bio bi omjer ispitanika u određenom istraživanju i svih ispitanika koji su uključeni u meta-analizu. Primjerice, ako je N ukupan broj ispitanika svih istraživanja meta-analize, a Ni predstavlja ukupan broj ispitanika istraživanja i, i = 1,…..,k, onda je N = N1 + N2 +….+Nk. Tada definiramo wi = Ni /N za i = 1,…,k, kao težinu istraživanja i. Jedna od pretpostavki koja se često postavlja u meta-analizi jest da se varijacija između istraživanja ne razlikuje. Stoga težine definirane gornjom formulom ne vrijede za varijaciju između istraživanja (4). To se naziva meta-analiza prema modelu fiksnih učinaka. Kako bi izračunali slučajnost između istraživanja ili model slučajnog učinka koristimo
wi = 1/ [varijanca(ESi + t2)g, i=1,…,k,
gdje t2 predstavlja varijaciju unutar istraživanja. Izračun je kompliciran te ga ovdje nije nužno prikazati. Može se primijetiti da se svi naši izračuni mogu jednostavno rabiti, a većina njih se radi rutinski uz statistički program. Dakle, sada imamo sve elemente za testiranje ukupnog učinka novog liječenja A u usporedbi sa starim liječenjem B za kombinirana istraživanja k. Postavimo d kao broj ispitanika kombiniranog ESmean. Nulta hipoteza glasi da ne postoji razlika između liječenja A i liječenja B u kombiniranim istraživanjima ili H0: d = 0 nasuprot alternativnoj hipotezi, HA: d ¹ 0. 95%-ni interval pouzdanosti (5) na srednju vrijednost broja ispitanika iznosi:
[ESmean -1,96t, ESmean +1,96t].
Ako taj interval pokriva i 0 tada nema statistički značajnog učinka u korist liječenja A.
Kako bi zornije prikazali prethodno opisan koncept pogledajmo sljedeći primjer. Pretpostavimo da imamo devet istraživanja s veličinom učinka iz usporedbe liječenja A i B: 0,574, -0,642, 0,363, -0,840, -0,783, 0,833, 0,842, 0,803, -0,345. Kao što se može vidjeti pet je brojeva pozitivnih u korist liječenja A i četiri su negativna u korist liječenja B. ESmean = 0,086, t = 0,109 za model fiksnih učinaka i t = 0,243 za model slučajnih učinaka; 95%-ni interval pouzdanosti (95% CI) za fiksne učinke je CI = Š(-0,127)-0,299Ć, a za slučajne učinke CI = Š(-0,387)-0,563Ć. U oba slučaja interval pokriva nulu, što znači da iz ovih devet istraživanja proizlazi kako liječenje A nema učinka. Također se može primijetiti da je CI za slučajne učinke širi od CI za fiksne učinke, budući da uzima u obzir dodanu varijaciju između istraživanja koju smo pripisali heterogenosti ili inherentnim razlikama između istraživanja. Jasno je da je to zbog toga što je oko polovina istraživanja pokazala uspješnost liječenja A, a druga su zaključila da je liječenje B uspješnije.
Na slici 1. prikazan je trakasti grafikon (engl. forest plot) koji prikazuje veličine učinaka i njihove 95%-ne intervale pouzdanosti. Ukupna veličina učinka prikazana je u obliku romba na dnu grafikona.
 
 
Slika 1. Trakasti grafikon veličine učinka (ES) s 95%-nim intervalom pouzdanosti.
Rasprava o heterogenosti
Sljedeći je zadatak odrediti postoji li statistički značajna heterogenost među istraživanjima. Statistička metoda koju ćemo pritom rabiti zove se Q-statistika (engl. Q statistic) kojom se određuje stupanj heterogenosti. Ovdje to nismo izračunali. Dovoljno je reći sljedeće: ako je Q blizu nule, nema heterogenosti. Q ima hi-kvadratnu raspodjelu (engl. chi square distribution) (6) na k - 1 stupnjeva slobode (engl. degree of freedom, df) ili broj istraživanja minus jedan (k – 1). Kao kod drugih statističkih testova, izračunali smo Q i usporedili ga s kritičnom vrijednosti za hi-kvadratnu raspodjelu. Nulta hipoteza glasi da u kombiniranoj analizi nema heterogenosti ili H0: Q = 0; nasuprot alternativnoj hipotezi, HA: Q ¹ 0 koja pretpostavlja da postoji statistički značajna heterogenost. Kritična vrijednost devet istraživanja za hi-kvadratnu raspodjelu od 9 – 1 = 8 df na razini značajnosti od 0,05 iznosi 16,919. Izračunata vrijednost Q temeljem naših podataka je 38,897. Vidljivo je da je izračunata vrijednost Q više nego dvostruko mnogo viša od kritične vrijednosti. Stoga odbacujemo nultu hipotezu i određujemo da postoji statistički značajna razlika među našim istraživanjima. To ne mijenja naš zaključak da nema statistički značajnog učinka za liječenje A. Međutim, to nas upozorava na nužnost određivanja izvora heterogenosti. Neki mogući izvori heterogenosti su kliničke razlike između ispitivanja kao što su odabir bolesnika, osnovni stupanj jačine bolesti, obrada neželjenih ishoda (toksičnost), osobine bolesnika itd. Također se mogu istražiti i metodološke razlike između istraživanja, kao što su mehanizmi randomizacije, udio ispitanika koji su odustali/bili isključeni tijekom praćenja (engl. extent of withdrawals and lost to follow up). U nekim slučajevima heterogenost može biti rezultat slučajnosti ili uzroka koji se ne mogu lagano otkriti. Izračun heterogenosti može biti jedan od najproblematičnijih aspekata meta-analize. To je važan aspekt, budući da može utjecati na donošenje odluke o tome koji će se statistički model odabrati (fiksni ili slučajni učinci). Ako se pronađe statistički značajna heterogenost, onda se mogu pronaći i potencijalne moderatorske varijable kako bi se objasnila ta varijabilnost. To će možda zahtijevati da se meta-analiza koncentrira na podskupine istraživanja koja su sama po sebi homogena. Slijedimo ideju homogenosti korak dalje. Ispitajmo indeks I2 (6) kojim računamo opseg heterogenosti iz zbirke veličina učinka.
Indeks I2 se jednostavno može tumačiti kao postotak heterogenosti u sustavu ili općenito kao iznos ukupnih varijacija koje su se pojavile zbog varijance među istraživanjima, t2. U našem primjeru je I2 = 79,433% ili 79,4% varijance ili, drugim riječima, heterogenost se pojavila zbog t2 - varijance između istraživanja.
Sustavna greška objavljivanja
Ljevkasti grafikoni (engl. funnel plot), grafikoni s procjenama učinka istraživanja na osi x i uzlazno sortiranom veličinom uzorka na osi y, mogu biti korisni za procjenu valjanosti meta-analize. To se često naziva sustavna greška objavljivanja (engl. publication bias). Ljevkasti grafikon temeljen je na činjenici da će s porastom veličine uzorka porasti i preciznost određivanja učinka ispitivanog liječenja. Rezultati manjih istraživanja raspršiti će se na dnu grafikona te će se ta širina sužavati prema vrhu grafikona gdje se nalaze veća istraživanja. Kada ne postoji sustavna greška objavljivanja, grafikon sliči simetrično obrnutom lijevku. Ljevkasti se grafovi obično rade kada se grafički prikazuje ES nasuprot veličini uzorka ili ES nasuprot standardnoj pogrešci (engl. standard error, SE).
U analizi kontinuiranih podataka možemo rabiti pristup linearne regresije (8) za mjerenje asimetrije ljevkastog grafikona kod ES. ES se izvodi iz preciznosti procjene koja se određuje kao inverzija standardne pogreške (jednadžba regresije: ES= a+ b x preciznost, gdje je a odsječak, a b nagib). Budući da preciznost u velikoj mjeri ovisi o veličini uzorka, manja istraživanja će na osi x biti blizu nuli i obrnuto za veća istraživanja. Svrha je ne odbaciti nultu hipotezu da pravac prolazi kroz ishodište, tj. da je odsječak = 0. Za naših devet istraživanja ljevkasti grafikon (nije prikazan) je simetričan, no plosnat jer je bilo premalo istraživanja čiji se rezultati mogu dobro prikazati na grafikonu. Međutim, simetrija je očuvana kao što se vidi iz rezultata regresije. Ispitivanje nulte hipoteze da odsječak = 0 nije statistički značajno na razini značajnosti 0,05, te ukazuje da pravac prolazi kroz ishodište. Stvarna vrijednost P je 0,7747 što znači da postoje jaki dokazi u podacima koji ne podržavaju odbacivanje nulte hipoteze da je odsječak = 0. Stoga ne sustavna greška objavljivanja. Slika 2 prikazuje ljevkasti grafikon s 14 istraživanja koja uspoređuju dvije hipertenzivne terapije. Na osi x nalaze se ES standardne razlike (engl. standard difference) izražene u srednjim vrijednostima kao što je prethodno opisano, a na osi y je standardna pogreška (engl. standard error, SE). Simetrija se može lako vidjeti. Istraživanja s većim uzorkom ili višom preciznošću prikazana su kao točke pri vrhu grafikona, a istraživanja s manjim uzorkom ili manjom preciznošću (višom standardnom pogreškom) raspršena su prema dnu grafikona. Oblik romba na dnu grafa predstavlja srednju vrijednost učinka cjelokupne meta-analize u usporedbi dvaju liječenja i može se vidjeti da je blizu nule. Statističkim testom za odsječak = 0 ili hipotezom da pravac prolazi ishodištem dobivena je P = 0,730. Pravac se vidi kao središnja okomita linija grafikona. Dvije linije pod kutom ocrtavaju oblik točaka i možemo vidjeti oblik lijevka na grafikonu. Detaljnije rasprave o ljevkastom grafikonu i testu simetrije mogu se pronaći u literaturi (8,9) koja se bavi meta-analizama.
 
 
Slika 2. Ljevkasti grafikon od 14 istraživanja s veličinom učinka ( engl. Std diff in means) na osi x te standardnom pogreškom na osi y.
 
Zaključak
 
Pokušali smo dati pregled bitnih statističkih pristupa meta-analizi. Prednosti meta-analize nalazimo u mogućnosti statističkog obrađivanja proturječnih pitanja koja nisu jasno obrađena u pojedinim istraživanjima. Objavljivanjem meta-analiza često se u literaturi predstavlja mogućnost integriranja rezultata iz različitih izvora i obrađivanje relevantnih pitanja. Sigurno bi svatko htio iskoristiti prednosti obilja objavljenih informacija te ih sažeti na racionalan način. Kad pojedinac poželi integrirati informacije iz različitih publikacija i baza podataka, zasigurno će doći do proturječnosti (10). Meta-analiza je jako podložna takvim proturječnostima. Međutim, trebaju se poduzeti sve mjere kako se sustavne pogreške ne bi pojavljivale, a to se može postići istraživanjem tema poput heterogenosti i sustavne greške objavljivanja ili da se te pogreške barem izlože i objasne. Ograničenja meta-analize očigledno proizlaze iz odabira istraživanja, izbora relevantnih ishoda, metoda analize, tumačenja heterogenosti te generalizacije i primjene rezultata. Statističke metode koje su nam pri ruci zasigurno su odgovarajuće za obradu tih tema. Postoje kvalitetni internetski izvori koji nude smjernice za provođenje meta-analize. To su CONDORT, QUORUM i MOOSE. Njih se može upisati kao ključne riječi u pretraživanju pri traženja izvora. The Cochrane Collaborative, baza koju smo već spomenuli, nudi izvanredne smjernice. Međutim, treba imati na umu da meta-analiza nije zamjena za dobro dizajnirana opsežna randomizirana istraživanja (engl. large scale randomized studies) niti opravdanje za provođenje malih istraživanja slabe snage (engl. small underpowered studies). Ona je sredstvo koje uz primjerenu upotrebu pomaže u donošenju razumne i održive odluke na temelju postojećih znanstvenih informacija.
 
Literatura
 
 1.   Glass GV. Primary, secondary, and meta-analysis of research. Educational Researcher 1976;5:3-8.
 2.   McHugh ML. Standard error: meaning and interpretation. Biochemia Medica 2008;18:7-13.
 3.   Hedges LV, Olkin O. Statistical methods for meta-analysis. San Diego (CA): Academic Press; 1985.
 4.   DerSimonian R, Laird N. Meta-analysis in clinical trials. Controlled Clinical Trials 1986;7:177-88.
 5.   Simundic AM. Confidence interval. Biochemia Medica 2008;18(2): 154-61.
 6.   Triola MM, Triola MT. Biostatistics for the Biological and Health Sciences. Boston (MA): Pearson Education, Inc.;2006.
 7.   Higgins JPT, Thompson SG. Quantifying heterogeneity in meta-analysis. Statistics in Medicine 2002;21:1539-58.
 8.   Egger M, Davey G, Schneider M, Minder C. Bias in meta-analysis detected by a simple graphical test. British Medical Journal 1997;315:629-34.
 9.   Bartolucci AA, Howard G. Meta-analysis of data from the six primary prevention trials of cardiovascular events using aspirin. American Journal of Cardiology 2006:10:746-50.
10.   Bartolucci AA. The significance of clinical trials and the role of meta-analysis. Journal of Surgical Oncology 1999;72(3):121-3.