Contact

Daria Pašalić
Editor-in-Chief
Department of Medical Chemistry, Biochemistry and Clinical Chemistry
Zagreb University School of Medicine
Šalata ul 2.
10 000 Zagreb, Croatia
Phone +385 (1) 4590 205; +385 (1) 4566 940
E-mail: dariapasalic [at] gmail [dot] com

Useful links

Pregledni članak:

Gordon S. Challand1*, Ping Li2. Procjena tumačenja rezultata pretraga u laboratorijskoj medicini. Biochemia Medica 2009;19(2):146-53.
 
1Zavod za kliničku biokemiju, Bolnica Royal Berkshire, Reading, Berkshire, Velika Britanija
2Zavod za laboratorijsku medicinu, Medicinski fakultet i bolnica Zapadne Kine, Sveučilište u Sichuanu, Chengdu, Sichuan 610041, NR Kina
Corresponding author*: gqn62 [at] dial [dot] pipex [dot] com
 
Sažetak
 
Sve je veća potreba za laboratorijskim stručnjacima koji mogu pružiti savjete o tumačenju rezultata, što obično čine dodavanjem kratkih napomena na nalazu. Iznenađujuće je koliko je malo podataka temeljenih na dokazima dostupno za tumačenje rezultata laboratorijskih pretraga. Kratke napomene koje prate laboratorijske nalaze su kompleksne te se obično sastoje od nekoliko sastavnica kojima se mogu predložiti moguće dijagnoze i dodatne pretrage. Svaka je takva napomena različita i procjena tumačenja nije jednostavna. U ovom ćemo članku govoriti o različitim mogućim pristupima: procjeni cijele napomene, samo nekih njenih sastavnica ili ključnih riječi, te sudjelovanju nezavisnog procjenitelja ili skupine stručnjaka. Niti jedan se pristup ne može smatrati zlatnim standardom, budući da procjena predstavlja nesavršenu znanost te je kao takva samo smjernica, a ne definicija jedinstvenih rješenja. Iako programi vanjske procjene kvalitete (engl. External Quality Assurance Schemes, EQAS) ispituju tumačenje rezultata te na taj način pružaju sudionicima programa informaciju o tome kakve su njihove napomene u usporedbi s drugima, primarna je svrha tih programa ipak obrazovna i, što je još bitnije, ti nam programi pomažu u prikupljanju spoznanja o tome kako poboljšati i razviti tumačenje.
Ključne riječi: tumačenje rezultata; program vanjske procjene kvalitete
 
Pristiglo: 25. veljače 2009.                                                                                                                                          
Prihvaćeno: 21. travnja 2009.                                                                                                                  
 
Uvod
 
Cjelokupni ciklus laboratorijskog testiranja, poznat kao Lundbergerova petlja (engl. Lundberger’s ‘brain-to-brain loop’), opisuje sve korake od naručivanja adekvatne pretrage do ispravnog postupka i tumačenja rezultata za učinkovito donošenje kliničke odluke (1,2). Prije četrdeset godina većina je zahtjeva za laboratorijskim pretragama dolazila od bolničkoga kliničkog osoblja, koje je u sklopu svoga visokoga medicinskog obrazovanja završilo školovanje iz područja patologije i laboratorijske medicine. Osim u kompliciranim slučajevima i onima koji su zahtijevali specijalističko stručno mišljenje, nije bilo velike potrebe da osoblje laboratorija daje savjete o tumačenju rezultata. U mnogim je zemljama došlo do smanjenja obujma osnovnih znanstvenih disciplina koje obuhvaća dodiplomsko medicinsko obrazovanje (3), dramatično je porasla kompleksnost laboratorijske dijagnostike, te većina kliničara traži pretrage s kojima sami nisu dovoljno upoznati. Stoga je sve veća potreba za savjetima iz laboratorija, koji bi pomogli u prikladnosti i učinkovitom tumačenju rezultata pretraga (1,4). Idealno bi bilo da se takvi savjeti daju telefonskim putem ili razgovorom liječnika na odjelima, no to je onemogućeno postojećim radnim opterećenjem laboratorija i činjenicom da većina uputnica za laboratorijske pretrage dolazi od liječnika primarne zdravstvene zaštite. U Ujedinjenom Kraljevstvu većina laboratorija ima zaposlenog biokemičara starije službe (engl. Duty Biochemist), koji tumači rezultate biokemijskih pretraga prilažući nalazu kratku napomenu. Iako bi se o toj praksi moglo raspravljati (5), prema anketama kliničko je osoblje uvelike odobrava i cijeni (6) te smatra da utječe na obradu bolesnika (7). Čak će i laboratoriji koji inače ne pružaju tu uslugu na izravan zahtjev kliničara dati napomenu s tumačenjem rezultata (8). Akreditacijski standardi kliničke patologije Ujedinjenog Kraljevstva (engl. Clinical Pathology Accreditation (UK) Standards) navode da je tumačenje rezultata bitna sastavnica usluge koju pružaju klinički laboratoriji (9). Međutim, ne slažu se svi oko toga koliko se često takve napomene zahtijevaju i upotrebljavaju u laboratorijskoj medicini, te oko prikladnosti ili nekih drugih značajki određenih napomena u danoj situaciji. Prije desetak godina biokemičar starije službe često je radio u izolaciji s vrlo malo ili čak bez povratnih informacija od korisnika usluga ili svojih kolega te je iznenađujuće koliko je malo podataka temeljenih na dokazima dostupno čak i za tumačenje uobičajenih laboratorijskih patoloških rezultata.
Godine 1997. započelo se s jednom interpretativnom vježbom za tumačenje rezultata (engl. ‘Cases for Comment’; Slučajevi za tumačenje rezultata), koja se distribuirala preko baze elektronskih adresa za opće rasprave Društva kliničkih biokemičara (engl. Association of Clinical Biochemists, ABC) (acb-clin-chem-genŽjiscmail.ac.uk) (10). Godine 2001. ta je vježba prerasla u formalni program vanjske procjene kvalitete (engl. External Quality Assurance Scheme, EQAS) tumačenja rezultata kliničke biokemije (11). Godine 2000. pokrenut je sličan pilot-program u Australiji, no bez procjene prikladnosti napomena, jer se smatralo da će sudionici shvatiti što je primjereno kada se njihove napomene usporede s napomenama referentne skupine (12). To se, međutim, nije dogodilo; na kraju tog pilot-istraživanja i sudionici i organizatori osjetili su potrebu za formalnom procjenom i povratnom informacijom o prikladnosti napomena (13). Svaki program ima drugačiji oblik procjene sa svojim prednostima i nedostacima (14).
 
Metode procjene
Slučajevi za tumačenje rezultata (10)
Organizator je napomene raščlanio u sastavnice od kojih je referentna skupina (engl. peer review group) svakoj dodijelila brojčanu ocjenu. Svi su članovi te skupine bili stručno kvalificirani te su radili odvojeno jedan od drugoga. Izračunom srednjih vrijednosti ocjene svake sastavnice, dobila se procjena njene prikladnosti. Tablica 1 pruža prikaz jednoga takvog slučaja. Budući da je distribuiran elektronskom poštom, to je najneformalniji od svih pristupa. Tijekom 4 godine trajanja tog programa distribuirano je više od stotinu primjera.
Nacionalni program vanjske procjene kvalitete Ujedinjenog Kraljevstva (engl.United Kingdom National External Quality Assessment Service, UK NEQAS) za kratke napomene (11,16)
Ovim se pristupom primjeri i prikazi distribuiraju preko mrežnih stranica te se procjenjuju cjelovite napomene, a ne pojedine sastavnice napomena, čime su onemogućeni subjektivni elementi prisutni pri raščlanjivanju napomena u sastavnice ili ključne riječi. I kod ovog pristupa nezavisna referentna skupina dodjeljuje brojčanu ocjenu svakoj napomeni. Srednja vrijednost ocjena omogućuje stupnjevanje svih napomena prema njihovoj prikladnosti, a u istraživanje su uključeni i primjeri s niskom, srednjom i visokom prikladnošću. Tablica 2. prikazuje primjer ovog pristupa. Svake je godine bilo distribuirano barem 20 primjera.
Australski program procjene kvalitete (engl. Royal College of Pathologists of Australasia-Quality Assurance Program, RCPA-QAP) (12,13)
Organizator raščlanjuje napomene na ključne fraze koje procjenjuje skupina (engl. expert panel) sastavljena od stručnjaka iz određenih specijalističkih i stručnih područja koji surađujući klasificiraju te fraze kao poželjne, manje vrijedne ili neprikladne. Skupina stručnjaka također predlaže adekvatnu napomenu (12). Budući da se distribuira običnom poštom, ovaj je pristup najformalniji od svih. U svojoj je biti sličan izvornom pristupu „Slučajeva za napomene“ zbog raščlambe napomene na sastavnice ili ključne fraze, no razlikuje se u tome što se usuglašeni usmeni sud donosi kroz raspravu unutar skupine stručnjaka, a ne kao srednja brojčana ocjena koju šalju procjenitelji radeći nezavisno jedan od drugoga. Prednost ovog pristupa leži u činjenici da će sudionici radije prihvatiti usmenu ocjenu skupine stručnjaka nego brojčanu ocjenu nezavisnih procjenitelja. Ograničenje ovog pristupa je u nužnosti održavanja sastanaka zbog rasprave skupine stručnjaka, te poštanskoj distribuciji koja ograničava distribuiranje slučajeva na 10 slučajeva godišnje.
 
Tablica 1. Pregled ‘Slučajevi za tumačenje rezultata’: nezavisan procjenitelj ocjenjuje sastavnice napomene
 
Dvadesetdvogodišnjakinja na pregledu kod svog obiteljskog liječnika. Anamneza glasi: Prekid trudnoće krajem kolovoza. Nezaštićeni odnos 20. rujna, uslijedila hitna kontracepcija („pilula za dan poslije“) i menstruacija. Nezaštićeni odnos 26. listopada. Kućni test za trudnoću pozitivan. Status?’
Koncentracija humanoga korionskog gonadotropina (HCG) u serumu je 240 U/L
U ovom je slučaju sudjelovalo 46 ispitanika od kojih je 8 telefonskim putem raspravljalo o njemu.
Deset ispitanika je komentiralo ‘trudna’ [0,0]; dva su komentirala ‘rana trudnoća’ [0,8]; pet ih je komentiralo ‘vrlo rana trudnoća’ [1.0]; jedan je rekao ‘trudna 1-2 tjedna’ [-0,3]; jedan je rekao ‘trudna 3–4 tjedana’ [0,5]; pet ih je reklo trudna 4-5 tjedana’ [1,0].
Dva ispitanika su rekla ‘trudnoća rezultat događaja od 26. listopada’ [0,3]; dva su rekla ‘moguće rezultat događaja od 20. rujna’ [0,3]; šest ih je reklo da je ‘rezultat previsok kako bi se mogao odnositi na događaj od 26. listopada’ [1,0]; šest ih je reklo da je ‘trudnoća uslijedila nakon događaja od 20. rujna’ [1,3].
Pet ispitanika je reklo da bi se rezultat mogao povezati s nepotpunim prekidom trudnoće [0,3]; dva su rekla da bi to mogla biti ostatna koncentracija HCG od ranijeg prekida trudnoće [0,8]; dva ispitanika su spomenula mogućnost koriokarcinoma [0,3]; dva su spomenula mogućnost izvanmaternične trudnoće [0,8].
Dvanaest ispitanika bi predložilo ponovljeno određivanje koncentracije HCG nakon 2 dana [1,5]; osmero bi predložilo ponovljeno određivanje nakon 1 tjedna [1,5]; jedan nakon 2 tjedna [0,0]; jedan nakon 3 tjedana [-0,5].
Dva ispitanika bi zatražila uzorak mokraće za test trudnoće [-0,5]; jedan bi predložio određivanje koncentracije progesterona s ponovljenim određivanjem koncentracije HCG [-1,0]; devetero bi uputilo bolesnicu na ultrazvuk [-0,5].
Komentar organizatora programa bio je ‘Određena koncentracija HCG je prosječna koncentracija HCG za 30. dan trudnoće, preniska za začeće kod prvog događaja, a vjerojatno je previsoka za začeće kod drugog. Mogla bi biti ostatna koncentracija HCG od prošlog prekida trudnoće, no trudnoća kao rezultat drugog događaja ne može se isključiti. Predlaže se ponovljena pretraga za tjedan dana’.
 
Tablica 2. Prikaz slučaja iz programa UK NEQAS: nezavisni procjenitelji ocjenjuju cijeli komentar
 
Dvadesettrogodišnjakinja je primljena na odjel bolničke hitne kirurške službe s bolovima u trbuhu. Klinički detalji s uputnice su bol u desnom gornjem kvadrantu (engl. right upper quadrant pain, RUQ pain). Aktivnost amilaze u serumu bila je unutar referentnih granica.
Sljedeći dan je premještena na odjel kirurgije te je odatle stigao uzorak s anamnezom „Bol u trbuhu. Izvanmaternična trudnoća?“.
Koncentracija ureje i elektrolita u serumu je bila unutar referentnih granica. Koncentracija HCG u serumu bila je 345.000 U/L.
U ovom je slučaju sudjelovalo 143 ispitanika od kojih je 140 dobilo pozitivnu ocjenu (medijan (interkvartilni raspon) = 1,22 (0,82-1,50)). Gotovo su svi ispitanici napomenuli kako visoka koncentracija HCG ukazuje da nije vjerojatno da se radi o izvanmaterničnoj trudnoći. Mnogi su se ispitanici pitali je li ona uzrokovana višeplodnom trudnoćom ili tumorom koji luči HCG; u polovini napomena spomenuta je potreba za ultrazvukom.
Zanimljivo je da je nekoliko sudionika koji rade na analizatoru DPC Immulite smatralo da je koncentracija HCG normalna za trudnoću. Iako analizator DPC za trudnoću od 7-11 tjedana navodi medijan vrijednosti koncentracije HGC 118.000 U/L, njihov raspon je do 291.000 U/L kod jednoplodnih trudnoća. Nama koji radimo na uređaju Bayer Centaur neobično je vidjeti koncentracije HCG koje su više od 180.000 U/L kod jednoplodnih trudnoća.
Bolesnica je premještena na odjel porodništva. Bol u trbuhu se stišala, standardne pretrage funkcije jetre dale su normalne rezultate. Ultrazvuk napravljen nešto kasnije tog dana pokazao je 10. tjedan blizanačke trudnoće. Sljedeći je dan bolesnica otpuštena te se osjećala bolje.
Komentar za nisku ocjenu bio je:
Rezultati upućuju na trudnoću. Ponoviti određivanje aktivnosti amilaze za kontrolu bolesnika – očekuje se povišenje aktivnosti amilaze ukoliko je došlo do rupture jajovoda.
Komentar za srednju ocjenu bio je:
Koncentracija HCG previsoka za izvanmaterničnu trudnoću, iako je ona moguća. Treba isključiti trofoblastični tumor.
Komentar za visoku ocjenu bio je:
Koncentracija HCG previsoka za izvanmaterničnu trudnoću; u stvari je vrlo visoka i za normalnu trudnoću. Blizanačku trudnoću i trudnoću s mrtvim plodom treba isključiti. Predlaže se ultrazvuk.
Rezultati procjene
Iako, općenito gledano, svi pristupi procjeni nude uglavnom slične rezultate, ne postoji osobito dobra korelacija između različitih programa procjene (Vasikaran SD, neobjavljeni podaci) te ponekad dolazi do bitne razlike u ocjeni vrijednosti napomene s obzirom na to je li napomenu procijenio nezavisni procjenitelj ili članovi stručne skupine, odnosno procjenjuje li se napomena u cijelosti ili je raščlanjena na sastavnice (12). Pristup UK NEQAS pokazao je da se procjenitelji lakše slože oko toga što znači dobra ili loša napomena, a teže oko toga što bi bila napomena srednje vrijednosti; također se mogu pojaviti razlike između pristupa kliničke bolnice (engl. Teaching hospital approach) (ili specijaliziranog centra) i pristupa opće bolnice (engl. General Hospital approach) (ili nespecijaliziranog centra), posebno u obujmu u kojem se predlažu i vrše pretrage u sklopu praćenja (Challand GS, neobjavljeni podaci).
Tumačenje rezultata
Ne postoji idealno rješenje vezano za metode koje se mogu rabiti u procjeni interpretativnih napomena. U njima se ne bi smjelo govoriti o ishodu nekog stanja, budući da je ishod u trenutku pisanja napomene nepoznat, možda nikada neće biti poznat, a može biti da je neuobičajen uzrok poznatih patologija. Usuglašene se ocjene (povezane s metodom srednje vrijednosti kod analitičke procjene kvalitete) ne mogu rabiti jer se suglasnost rijetko postiže (15,16), a čak i kada se postigne može doći do širokog razilaženja u mišljenjima o prikladnom praćenju stanja.
Usprkos činjenici da su na prvi pogled jednostavne, kratke su napomene kompleksne i tipično sadrže barem tri različite stavke (npr. predlažu vjerojatnu dijagnozu; predlažu koja se dijagnoza može isključiti; te predlažu dodatne pretrage) od kojih se svaka može smatrati prikladnom ili neprikladnom. Štoviše, napomena zahtijeva određenu vještinu u prenošenju informacija. Procijeniti se može cijela napomena ili njene pojedinačne sastavnice. Procjenitelji mogu biti organizator programa vanjske procjene kvalitete, skupina stručnjaka ili referentna skupina; mogu raditi zajedno, pa donijeti opisnu ocjenu ili pojedinačno (nezavisni procjenjivači), pa dati brojčanu ocjenu u obliku aritmetičkog prosjeka. Prednost procjenjivanja sastavnica leži u tome da su mnoge od njih poznate većini sudionika te da gotovo svi sudionici mogu vidjeti da je dio njihovih napomena bio dobar. Nedostatak jest da raščlamba napomene na njene sastavnice može biti prilično subjektivna. Prednost procjenjivanja cijele napomene je u tome da se na taj način izbjegava subjektivan pristup (osobna pristranost) te se ocjenjuju komunikacijske vještine kao i interpretativne ideje. Nedostatak je da taj pristup nedvojbeno predstavlja puno veći izazov i za sudionika i za procjenitelja. Također moramo prihvatiti činjenicu da svaki proces procjene neizbježno uključuje stupnjevanje svake napomene u odnosu na druge: rijetko će se naći gotove smjernice koje bi se mogle koristiti kao osnova za procjenu.
Norma ISO 15189, stavak 5.6.4. navodi da „Programi vanjske procjene kvalitete trebaju, koliko je to moguće ponuditi, klinički važne izazove koji imitiraju uzorke bolesnika i koji provjeravaju čitav proces testiranja uključujući i prijeanalitičku i poslijeanalitičku fazu“ (17). To, dakle, uključuje tumačenje rezultata koje nudi laboratorij kao poslijeanalitički postupak. Procjenjivanje je u širokoj uporabi kod mnogih akademskih i stručnih aktivnosti, no neki autori izvještavaju o nedostatnoj ponovljivosti procjena (18). Nedavno objavljen članak istaknuo je razlike u sukladnosti pojedinog te između više procjenitelja (engl. intra- and inter-assessor differences) i ukazao da je potrebno najmanje 16 procjenitelja kako bi se postigla dosljedna odluka (koja ne mora nužno biti točna) u 95% slučajeva (19).
Međutim, ta ekstrapolacija ovisi o implicitnoj pretpostavki da je jedini razlog razlika u sukladnosti između procjenitelja nasumična varijacija srodna nepreciznosti u seriji i iz dana u dan kod konvencionalne analitičke EQA. Očigledno je da je to nije točno, budući da sustavne razlike između procjenjivača zaista postoje te vode različitim ishodima. Prva razlika jest da različiti procjenitelji pridaju različiti stupanj važnosti pojedinoj neprikladnoj sastavnici inače prikladnog komentara ili vještini prenošenja informacije te mogu rabiti različite i neusuglašene smjernice za procjenu prikladnosti komentara (srodno razlikama u umjeravanju među različitim testovima). Druga je nešto temeljnija: različiti procjenitelji mogu donijeti različite zaključke zasnovane na njihovom osobnom prijašnjem iskustvu koje se može jako razlikovati. To je kao da se različitim imunokemijskim metodama pokušavaju kvantificirati složene smjese fragmenata i intaktnih molekula pomoću različitih protutijela koja prepoznaju različite epitope i kombinacije epitopa. U situacijama kada sustavne varijable (engl. non-random variables) utječu na različite procjenitelje nemoguće je definirati koliko je procjenitelja potrebno kako bi dali ocjenu (koja ne mora biti nužno točna) istom većinom glasova u 95% slučajeva. Kao i ostale okolnosti i ova ovisi o relativnom omjeru procjenitelja koji zastupaju jedno mišljenje i onih koji zastupaju drugo. Primjerice, ako se postavi pitanje na koje polovica procjenitelja odgovori potvrdno, a druga polovica negativno (plus-minus slučajna varijacija), nikada neće biti donesena odluka većinom glasova. Odgovor koji se vrednuje srednjom ocjenom je „možda“, što ne zadovoljava nijednu polovinu, ali može biti točna odluka.
Navedeno bi predstavljalo veliki problem kad bi se procjena odlukom većine koristila kao zlatni standard (što je čest slučaj na mnogim područjima akademske i stručne aktivnosti). Što se tumačenja tiče, odluka o ocjeni može se smatrati jedino smjernicom u pitanju koja se napomena može smatrati više, odnosno manje prikladnom. U sadašnjim programima postoji nekoliko ograničenja (engl. over-rides), koja sprječavaju da se komentari i ključne fraze s najvišim rezultatom postave kao zlatni standard. Prvo je da se rabi istinski ishod nekog slučaja kada je on poznat. Drugo je da se kao referentno mišljenje uzima mišljenje organizatora programa, koji u slučaju potrebe može zatražiti stručno mišljenje. Niti jedno od ovih ograničenja ne može se samo po sebi smatrati zlatnim standardom: ne može se znati kakav će biti ishod nekog stanja, budući da može imati neuobičajen uzrok poznatih patologija. Iskustvo EQAS kaže da stručnjaci ponekad ne shvaćaju da je njihovo mišljenje (koje ne mora nužno biti neispravno) u velikoj manjini. Moramo prihvatiti činjenicu da je procjenjivanje bilo kakve vrste nesavršeno, da je primarna svrha interpretativnog EQAS obrazovna (20) te da procjena bilo koje vrste sudionicima predstavlja smjernicu, a ne definiciju ispravnog rješenja koje se pojavljuje jako rijetko, ako uopće i postoji. Iako je procjenjivanje nesavršen proces, ono je ključna sastavnica svakog tumačenja programa vanjske procjene kvalitete te postoje jasni pokazatelji koji potvrđuju da postupci procjenjivanja unutar programa vanjske procjene kvalitete poboljšavaju standard tumačenja (20).
 
Literatura
 
 1.   Lippi G, Fostini R, Guidi GC. Quality improvement in laboratory medicine: extra-analytical issues. Clin Lab Med 2008;28:285-94.
 2.   Plebani M. Laboratory errors: How to improve pre- and post-analytical phases? Biochemia Medica 2007;17:5-9.
 3.   Freedman DB. Is the medical undergraduate curriculum ‘fit for purpose’? Ann Clin Biochem 2008;45:1-2.
 4.   Simundic AM, Topic E. Quality indicators. Biochemia Medica 2008;18:311-9.
 5.   Kilpatrick ES, Barth JH. Whither clinical validation? Ann Clin Biochem 2006;43:171–2.
 6.   Barlow IM. Are biochemistry interpretative comments helpful? Results of a general practitioner and nurse practitioner survey. Ann Clin Biochem 2008;45:88-90.
 7.   Barlow IM. Do interpretative comments influence patient management and do our users approve of the laboratory ‘adding on’ requests? A follow-up on?of? General Practitioner and Nurse Practitioner survey. Ann Clin Biochem 2009;46:65-86.
 8.   Sciavolli L, Zardo L, Secchiero S, Zaninotti M, Plebani M. Interpretative comments and reference ranges in EQA programs as a tool for improving laboratory appropriateness and effectiveness. Clin Chim Acta 2003;333:209–19.
 9.   Clinical Pathology Accreditation (UK). Standards for the medical laboratory.
10.   Challand G. Cases for comment, education and audit. JIFCC 1998;10:53-5.
11.   Challand GS, Osypiw JC, MacKenzie F, Middle JG, Fister D, Stezhka L. Web-based external quality assessment of individual skills – the UK NEQAS for interpretative comments in Clinical Chemistry. EuroMedLab 2001, Prague, abstract S259
12.   Vasikaran SD, Penberthy L, Gill J, Scott S, Sikaris KA. Review of a pilot Quality Assessment Program for interpretative commenting. Ann Clin Biochem 2002;39:261–72.
13.   Lim EM, Sikaris KA, Gill J, Calleja J, Hickman PE, Beilby J, Vasikaran SD. Quality assessment of interpretative commenting in Clinical Chemistry. Clin Chem 2004;50:632–37.
14.   Challand GS, Vasikaran SD. The assessment of interpretation in Clinical Biochemistry: a personal view. Ann Clin Biochem 2007;44:101–5.
15.   Challand GS. Assessing the quality of comments on reports: a retrospective study. Ann Clin Biochem 1999;36:316–32.
16.   Li P, Challand GS. Experience with assessing the quality of comments on Clinical Biochemistry reports. Ann Clin Biochem 1999;36:759–65.
17.   http://www.iso.org/iso/en/CatalogueDetailPage.Catalogue Detail?CSNUMBER=26301&COMMID=&scopelist=
18.   Goldman RL. The reliability of peer assessments: a meta-analysis. Eval Health Prof 1994;17(1):3–21.
19.   Bindels R, Hasman A, van Wersch JWJ, Pop, P, Winkens RAG. The reliability of assessing the appropriateness of requested diagnostic tests. Med Decis Making 2003;23:31–7.
20.   Osypiw JC, Challand GS. ‘Cases for Comment’ on the ACB mailbase: were they educational? Proceedings of the ACB National Meeting 2002: A105: p85.