LV Lijec Vjesn Lijecnicki Vjesnik Lijec. Vjesn. 0024-3477 1849-2177 Croatian Medical Association LV-147-235 10.26800/LV-147-7-8-1 Original article Metodološka kvaliteta i transparentnost hrvatskih kliničkih smjernica Methodological quality and transparency of Croatian clinical guidelines KovačevićTanja1https://orcid.org/0000-0003-1621-1956JerončićAna2 Klinika za dječje bolesti, KBC Split Katedra za istraživanja u biomedicini i zdravstvu, Medicinski fakultet Sveučilišta u Splitu Adresa za dopisivanje: Prof. dr. sc. Ana Jerončić, dr. med.; https://orcid.org/0000-0003-1621-1956; Katedra za istraživanja u biomedicini i zdravstvu, Medicinski fakultet Sveučilišta u Splitu; Šoltanska 2A, 21000 Split, e-pošta: ajeronci@mefst.hr

Originalni članak objavljen je u kolovozu 2022. u International Journal of Environmental Research and Public health1 s licencom CC koja dopušta slobodno dijeljenje i prilagodbu sadržaja bez pristanka časopisa uz uvjet da je izvorna studija citirana u novom radu (https://www.mdpi.com/openaccess). S obzirom na važnost ove teme u hrvatskom zdravstvu, odlučili smo se predložiti izdavanje skraćenoga vlastitog rada u Liječničkom vjesniku.

DOPRINOS AUTORA

Koncepcija ili nacrt rada: TK, AJ

Prikupljanje, analiza i interpretacija podataka: TK, AJ

Pisanje prve verzije rada: TK, AJ

Kritička revizija: TK, AJ

 092025 092025 147 7-8 235 245 Croatian Medical Association 2025 Croatian Medical Association This is an open-access article distributed under the terms of the Creative Commons Attribution Non-Commercial No Derivatives (CC BY-NC-ND) 4.0 License. SAŽETAK Svrha

Svrha ove studije bila je istražiti metodološku kvalitetu i transparentnost svih hrvatskih kliničkih smjernica (KS) objavljenih od 2004. do 2017. godine kao i čimbenike povezane s njihovom kvalitetom.

 Metode

Smjernice smo ocijenili uz pomoć validiranog upitnika Appraisal of Guidelines, Research and Evaluation instrument II (AGREE II). Koristili smo višestruku linearnu regresiju s ciljem identificiranja prediktora kvalitete te razgovore u dvije fokusne skupine kako bi dodatno istražili kvalitetu izrade i primjenu hrvatskih smjernica. Također, rezultate postignute ocjenjivanjem hrvatskih KS-a upitnikom AGREE II usporedili smo s istim rezultatima drugih država.

 Rezultati

Većinu smjernica razvila su stručna medicinska društva. Medijan rezultata upitnika AGREE II bio je nizak, 36% (IQR 28% - 42%) od maksimalnih 100%, a takve su bile i ukupne ocjene. Najbolje ocijenjene domene upotrijebljenim upitnikom bile su „Jasnoća-prezentacije-zaključaka“ i „Djelokrug-smjernica-i-njezin-cilj“ (medijan ≥ 59%). Međutim, preostale četiri domene dobile su vrlo niske ocjene (medijan 15 – 33%), a kvaliteta smjernica nije se poboljšala tijekom promatranog vremena. Smjernice koje su razvila medicinska društva imale su znatno lošije ocjene od onih koje su izradile vladine ili neslužbene radne skupine (12 – 43% po domeni). Raspravama u fokusnim skupinama kao čimbenici povezani s niskom kvalitetom utvrđeni su: neadekvatna metodologija, nedostatak implementacijskih sustava, nedostatak svijesti o potrebi za različitim profesijama i perspektivama u radnim skupinama te o uređivačkoj neovisnosti. Rezultati postignuti AGREE II procjenom hrvatskih i drugih nacionalnih smjernica (Čilea, Filipina, Kine, Meksika, Perua) gotovo su se u cijelosti podudarali, osim s rezultatima dobivenim procjenom japanskih smjernica, koje su bile visoko kvalitetne.

 Zaključak

Čimbenici za koje smo utvrdili povezanost s kvalitetom hrvatskih KS-a mogu pomoći stručnjacima koji izrađuju smjernice i onima koji vode edukaciju za poboljšanje kvalitete smjernica i to ne samo u Hrvatskoj, već i globalno.

 SUMMARY Background

The purpose of this study was to investigate the methodological quality and transparency of all Croatian clinical practice guidelines (CPG) published from 2004 to 2017, as well as factors related to their quality.

 Methods

We evaluated the guidelines using a validated questionnaire Appraisal of Guidelines, Research and Evaluation instrument II (AGREE II). Multiple linear regression was used with the aim of identifying predictors of quality and two focus groups to further investigate the quality of production and the implementation of national guidelines. Also, we compared our results achieved by evaluating the Croatian CPG using the AGREE II questionnaire with the same results from other countries.

 Results

Most guidelines were developed by professional medical societies. The median score of the AGREE II questionnaire was low, 36% (IQR 28%-42%) out of possible 100%, and so were the overall scores. The domains rated best by the questionnaire used were “clarity of presentation” and “scope and purpose” (median ≥59%). However, the remaining four domains received very low scores (median, 15–33%), and guideline quality did not improve over the observed time. Guidelines developed by medical societies scored significantly worse than those developed by government or unofficial working groups (12-43% per domain). Discussions in focus groups identified the following as factors associated with low quality: inadequate methodology, lack of implementation systems, lack of awareness of the need for different professions and perspectives in working groups, and editorial independence. The results obtained by AGREE II from the assessment of Croatian and other national guidelines (Chile, Philippines, China, Mexico, Peru) were almost entirely identical, except for the results obtained from the assessment of Japanese guidelines, which were of high quality.

 Conclusion

The factors for which we found a connection with the quality of Croatian CPGs can help experts who create guidelines and those who lead education to improve the quality of guidelines, not only in Croatia but also globally.

 Deskriptori SMJERNICE – standardiKLINIČKA MEDICINAMEDICINSKA DRUŠTVAFOKUSNE SKUPINEANKETE I UPINICIKVALITETA ZDRAVSTVENE SKRBIPOBOLJŠANJE KVALITETEHRVATSKA Descriptors PRACTICE GUIDELINES AS TOPIC – standardsCLINICAL MEDICINESOCIETIES, MEDICALFOCUS GROUPSSURVEYS AND QUESTIONNAIRESQUALITY OF HEALTH CAREQUALITY IMPROVEMENTCROATIA

Kliničke smjernice (KS) su „... dokumenti koji sadrže preporuke za optimizaciju skrbi bolesnika donesene na temelju sustavno prikupljenih dokaza te procjene koristi i štete različitih terapijskih i ostalih opcija.“ (2) Primjena smjernica dokazano smanjuje raskorak između najnovijih znanstvenih saznanja i svakodnevnog rada s bolesnicima, kao i neprihvatljive razlike u pruženoj zdravstvenoj skrbi unutar pojedinog zdravstvenog sustava. (3) Iako se pouzdane KS nužno temelje na kvalitetnim znanstvenim dokazima koji čine njihovu srž, prilikom izrade njihovih preporuka osim učinka terapije uzima se u obzir širok spektar čimbenika. To uključuje ne samo učinak terapije, već i sigurnost bolesnika, specifičnosti kliničkog okružja poput izvedivosti i prihvatljivosti preporuke, dostupnost određenog postupka za sve skupine bolesnika te optimalno korištenje resursa, sve s ciljem provođenja najbolje moguće kliničke prakse. (4, 5) Time se dokazano poboljšavaju ishodi liječenja, isplativost zdravstvenog sustava te održavanje standarda kvalitete zdravstvene skrbi. (3) Međutim, treba uzeti u obzir da KS loše kvalitete mogu dovesti do suboptimalnih, neučinkovitih ili čak štetnih kliničkih praksi. (6) Nadalje, iako kliničke smjernice imaju značajan potencijal, njihova kvaliteta neće imati željeni učinak na zdravstvenu skrb ako se sustavno ne osigura njihova implementacija u praksi. (7)

Hrvatski liječnički zbor (HLZ) objavljuje smjernice stručnih društava iz svih kliničkih područja u službenom časopisu Liječnički vjesnik. (8) Liječnički vjesnik je 2012. izradio, a 2015. obnovio interne preporuke za izradu smjernica, koje se nalaze na mrežnim stranicama časopisa, a čije je poštovanje uvjet za objavu smjernica. Cilj našeg istraživanja bio je procijeniti metodološku kvalitetu i transparentnost svih KS-a objavljenih u Hrvatskoj od 2004. do 2017. te istražiti čimbenike koji su povezani s njihovom kvalitetom.

Metode

Za procjenu kvalitete smjernica upotrijebili smo validirani upitnik Appraisal of Guidelines, Research and Evaluation instrument II (AGREE II). (9) Prema uputama korisničkog priručnika za upitnik AGREE II, preporučuje se da smjernice procjenjuju najmanje dva, a idealno četiri ocjenjivača. (9) U tu svrhu angažirali smo četiri ocjenjivača različite ekspertize iz područja medicine i metodologije sinteze dokaza. Grupa ocjenjivača se sastojala od znanstvenog metodologa i specijalista za sintezu dokaza, liječnika hitne medicine, specijalista obiteljske medicine i specijalista pedijatrije. Za ocjenu visoke kvalitete korišten je prag od 60% ukupnih bodova, kako za ukupnu ocjenu smjernica tako i za ocjene pojedinačnih domena upitnika AGREE II.

Za utvrđivanje karakteristika smjernica koje određuju njihovu kvalitetu koristili smo linearnu regresijsku analizu.

Nadalje, da bismo dublje istražili čimbenike koji utječu na proces izrade kvalitetnih smjernica, proveli smo i kvalitativnu analizu putem dviju fokusnih skupina. Ispitanici su uključivali dionike u procesu izrade i implementacije KS-a. To su bili predstavnici stručnih društava HLZ-a, rukovoditelji bolničkih odjela/zdravstvenih institucija, liječnici iz primarne, sekundarne i tercijarne zdravstvene zaštite i jedan liječnik stomatolog te stručnjaci Hrvatskog zavoda za zdravstveno osiguranje (HZZO) uključeni u provedbu zdravstvenih politika. Njihova mišljenja i perspektive smatrali smo važnima za ciljeve našeg istraživanja. Ispitanici su pozvani na dobrovoljni razgovor pozivom licem u lice, telefonski ili porukom upućenom elektroničkom poštom. Svi su dali pismeni informirani pristanak prije sudjelovanja u razgovorima koji je uključivao i pristanak za objavljivanje anonimnih citata.

Konačno, kako bismo usporedili prosječnu kvalitetu hrvatskih smjernica na domenama upitnika AGREE II s rezultatima nacionalnih smjernica drugih zemalja, sustavno smo pretražili bibliografske baze podataka PubMed i Scopus kako bismo pronašli studije koje su analizirale reprezentativni uzorak nacionalnih smjernica alatom AGREE II.

Detaljan opis metodologije istraživanja dostupan je u originalnom radu. (1)

Etičko odobrenje za provođenje intervjua dobiveno je od Etičkog povjerenstva Medicinskog fakulteta Sveučilišta u Splitu.

Softver SPSS 24.0 (IBM Corp, Armonk, NY) koristio se za statističku analizu dobivenih podataka.

 Rezultati

U promatranom vremenskom periodu ukupno su objavljene 74 kliničke smjernice hrvatskih autora.

Većinu smjernica izradila su liječnička društva HLZ-a, i to njih 60 (81%). Pod vodstvom Ministarstva zdravstva napisano je 5 (7%), a 8 (11%) su napisale neslužbene radne skupine medicinskih stručnjaka dobrovoljaca. Izradu jedne KS vodila je udruga. Pet od 163 registriranih stručnih društava HLZ-a: dva onkološka društva te društva za gastroenterologiju, urologiju i kliničku prehranu sudjelovala su u razvoju gotovo polovice hrvatskih KS-a (32 KS ili 43%) (Figure 1).

The authorship landscape of 74 Croatian clinical practice guidelines considering the number of guidelines they published together from 2004 to 2017 (649 unique authors, median–11 authors per guideline). Authors are identified by specialty, followed by an index letter after the comma that uniquely identifies a person, e.g. ‘’specialist in infectious disease, a’’.

Najčešća tema smjernica bile su novotvorine (28 KS ili 38%), zatim su slijedila endokrinološka stanja (6 ili 8%), potom zarazne (6 ili 8%) i metaboličke bolesti (4 ili 5%). Većina KS-a bavila se liječenjem i dijagnostičkim postupcima, dok ih se samo osam (11%) bavilo prevencijom. Niti jedna KS nije bila usmjerena na zdravstvene poteškoće djece niti namijenjena bolesnicima.

Prosječna ukupna ocjena metodološke kvalitete i transparentnosti svih hrvatskih KS-a ispitana upitnikom AGREE II bila je niska, 36% (interkvartilni raspon, IQR 28% – 42%) od maksimalnih 100%. Sve su KS ocijenjene s manje od 50% od maksimalne ocjene, osim sedam KS-a, koje su postigle između 63 i 76%. Najbolje ocijenjene domene bile su „Jasnoća-prezentacije-zaključaka“ i „Djelokrug-i-svrha-smjernice“ s medijalnom ocjenom ≥59%, dok su ostale četiri domene dobile vrlo niske ocjene (15 – 33%) pri čemu su domene „Primjenjivost-smjernice“ i „Metodološka-kvaliteta-prikupljanja-i-sinteze-dokaza“ najniže ocijenjene. Konačna ocjena većine hrvatskih smjernica, na ljestvici od 1 do 7, bila je loša do osrednja (76% smjernica dobilo je do četiri boda) (Table 1).

Effects of different factors on quality of Croatian clinical guidelines (CG), shown by AGREE II domains
AGREE II / AGREE II AGREE II domene / AGREE II domains
Čimbenici/ Factors Ukupna ocjena / Overall Djelokrug-smjernice-i-njezin-cilj/ Scope-and-purpose Uključenost-svih-dionika-u-izradu-smjernice/ Stakeholder-involvement Metodološka-kvaliteta-prikupljanja-i-sinteze-dokaza/ Rigor-of-development Jasnoća-prezentacije-zaključaka/ Clarity-of-presentation Primjenjivost-smjernice/ Applicability Urednička-neovisnost/ Editorial-independence
B* p-vrijednost / p-value B p-vrijednost / p-value B p-vrijednost / p-value B p-vrijednost / p-value B p-vrijednost / p-value B p-vrijednost / p-value B p-vrijednost / p-value
Godina objavljivanja/ Year of publication – 0,292 – 0,522 0,02 <0,001 – 0,726 – 0,131 – 0,421 0,03 0,005
Ukupan broj tijela uključenih u izradu KS-a/ Total No. of entities – 0,594 – 0,427 – 0,79 – 0,156 – 0,58 – 0,833 – 0,996
Tijelo primarno odgovorno za razvoj KS / Entity primarily responsible for CG’s development
Neslužbena(e) radna(e) skupina(e) nasuprot stručno(a) društvo(a)/ Unofficial WGs vs. medical society(ies) 0,08 0,017 – 0,699 – 0,138 0,12 0,002 0,08 0,065† 0,07 0,050† – 0,466
Vladina(e) organzacija(e) nasuprot stručno(a) društvo(a)/ Governmental health WGs vs. medical society(ies) 0,37 <0,001 0,37 <0,001 0,42 <0,001 0,43 <0,001 0,22 <0,001 0,35 <0,001 0,39 0,003

B – nestandardizirani regresijski koeficijent proizašao iz generaliziranih linearnih modela korištenjem godine objavljivanja, ukupnog broja tijela i vrste tijela odgovornih za izradu smjernica kao neovisnih varijabli / non-standardized regression coefficient, obtained by generalized linear models using year, total number of entities, and type of entities responsible for guideline development as independent variables; KS – klinička smjernica / CG – clinical guidelines; WGs – working groups.

* Vrijednosti za B prikazane su samo za značajnu povezanost / Values for B are shown only for significant association; † povezanost značajna na razini 0,1 / association significant at 0.1 level.

Odrednica metodološke kvalitete i transparentnosti smjernica, prema bodovima ostvarenima na cjelokupnom upitniku AGREE II kao i na pojedinim domenama, bila je vrsta tijela/organizacije pod čijim vodstvom se izrađuju nacionalne smjernice. Smjernice koje su razvijene pod vodstvom vladinih institucija procijenjene su kvalitetnijima za 37% u ukupnoj ocjeni te za 22 – 43% na svim domenama upitnika AGREE II u odnosu na smjernice HLZ-a (p ≤ 0,003). Smjernice koje su pak razvijene od strane neslužbenih radnih skupina/nevladinih organizacija imale su za 8% bolju ukupnu ocjenu te 12% bolje rezultate u domeni „Metodološka-kvaliteta-prikupljanja-i-sinteze-dokaza“ (p≤ 0,017) od smjernica HLZ-a. Tijekom vremena nije bilo poboljšanja kvalitete smjernica (p ≥ 0,131), osim što se ocjena za domene „Uključenost svih dionika u izradu smjernice“ i „Urednička-neovisnost“ prosječno povećavala za 2 – 3% godišnje. Također, ukupan broj organizacija koje sudjeluju u razvoju KS-a nije bio povezan s kvalitetom KS-a (p ≥ 0,156).

U usporedbi s nacionalnim smjernicama drugih zemalja: Čilea, Filipina, Japana, Kine, Meksika i Perua, kvaliteta hrvatskih smjernica bila je usporediva s drugim zemljama, osim Japana čije su smjernice jedine imale visoku kvalitetu i ocjene iznad granične vrijednosti od 60% na više domena AGREE II (Figure 2). Smjernice ostalih promatranih zemalja, uključujući Hrvatsku, bile su niskokvalitetne i imale su isti obrazac. Najviše ocijenjene domene među njima bile su „Jasnoća-prezentacije-zaključaka“ i „Djelokrug-smjernice-i-njezin-cilj“ (koje su u Filipinima, Čileu i Hrvatskoj čak bile u prosjeku prihvatljive kvalitete), dok je domena s najnižom ocjenom bila „Primjenjivost-smjernice“, a za njom su slijedile „Metodološka-kvaliteta-prikupljanja-i-sinteze-dokaza“ i „Urednička-neovisnost“ (slika 2).

Standardized domain score distribution across six AGREE II domains among countries (1, 10–16) that used this instrument to evaluate the methodological quality and transparency of their national guidelines. The period studied and the country of origin are indicated in the legend of the figure. Japan was the only country reported to have high-quality guidelines (13), whereas all others were classified as those with low-quality guidelines.

U raspravama u dvije fokusne skupine, načini na koje su percipirali KS razlikovali su se među ispitanicima. Dio ispitanika bio je uvjeren da uopće nema hrvatskih KS-a; neki su bili svjesni njihovog postojanja, ali su ih okarakterizirali kao metodološki niske kvalitete. Među nekim ispitanicima postoji predodžba da, ako i koriste KS, liječnici uglavnom koriste strane smjernice bez njihove prilagodbe lokalnom zdravstvenom okružju u kojem se primjenjuju. Tijekom rasprave ispitanici su gotovo u pravilu izražavali nerealna očekivanja kako KS mogu riješiti mnoge trenutne probleme našega nacionalnoga zdravstvenog sustava, i to uglavnom vezane uz organizacijska i financijska pitanja. Teme proizašle analizom razgovora obiju fokusnih grupa reflektiraju poimanje važnosti KS-a u zdravstvu naše zemlje kao i stavove koji u pravilu precjenjuju mogući učinak smjernica. S druge strane, upadljivo nedostatno znanje i pogrešna shvaćanja vezana za izradu, svrhu i implementaciju smjernica unaprijed onemogućuju njihovu sustavnu primjenu. Najvažniji citati ispitanika fokus-skupina vezani uz izradu, ali i iskustva i stavovi vezani uz implementaciju navedeni su u Table 2. Potpuni popis citata se nalazi u originalnom članku. (1)

Highlighted conclusions of discussions in focus groups, organized according to themes with representative participant quotations. Incorrect understandings are shaded with a light blue background.
Tema / Topic Primjeri citata / Examples of quotes
Definicija kliničkih smjernica / Definition of clinical guidelines
KS su pogrešno percipirane kao skup krutih i formalnih propisa kojih se treba pridržavati. / CGs are wrongly perceived as a set of rigid and formal rules that must be followed. · „… vjerujemo da su smjernice uklesane u kamen.“ / ‘’... we believe that guidelines are set in stone.’’· „... jer djeluju kao regulacija prometa.“ / ‘’... because they act as traffic regulations.’’
Smjernice su pogrešno percipirane kao klinički putevi./ CGs are wrongly perceived as clinical pathways. • „Moraš znati razlog zašto premještaš pacijenta iz manje bolnice u veću.“/ ‘’You need to know the reason why you are moving a patient from a smaller hospital to a larger one.’’
Smjernice su pogrešno percipirane kao standardni operativni postupci./ CGs are wrongly perceived as standard operative procedure documents. • „U našem poslu koristimo mnoge kliničke smjernice; samo što ih ne zovemo tako, mi ih nazivamo standardni operativni postupci.“ / ‘’In our work, we use many clinical guidelines; only we do not call them that, we call them standard operative procedures.’’
Preporuke (sastavni dio smjernica) pogrešno su percipirane kao zasebni alat za donošenje kliničkih odluka od smjernica./ Recommendations (an integral part of guidelines) are wrongly perceived as a separate clinical decision-making tool. • „Smjernice su najčešće nekakav službeni dokument koji radi nekakva službena grupa koja je najčešće povezana s nekakvim stručnim društvima i ministarstvom, dok su preporuke nešto što se temelji na nekoj dobroj kliničkoj praksi ... preporuke su nekakav smjer u klinici kojim treba ići, ali nije nužno da se tim smjerom treba ići.“ / ‘’Guidelines are most often some kind of official document developed by some kind of official group that is most often connected to some kind of professional societies and ministries, while recommendations are something that is based on some good clinical practice ... recommendations are some kind of direction in the clinic that should be followed, but it is not necessary that we should go in that direction.’’• „... smjernice su jedan malo jači, ..., putokaz, a preporuke su malo labilniji putokaz u kliničkome radu.“ / ‘’... guidelines are a slightly stronger, ..., pathway, and recommendations are a slightly more labile pathway in clinical work.’’
Administrativna pravila Hrvatskog zavoda za zdravstveno osiguranje (HZZO) su smjernice – uočena je pogrešna percepcija od strane kolega./ The administrative rules of the Croatian Health Insurance Fund (CHIF) are guidelines – a misconception was observed by colleagues. • „To su klauzule ..., nema veze sa smjernicama, a to ljudi krivo percipiraju.“/ ‘’Those are clauses. ..., it has nothing to do with the guidelines, and people misperceive that.’’
Što je svrha/cilj kliničkih smjernica? / What is the purpose of clinical guidelines?
Standardizacija zdravstvene skrbi/ To establish a standard of care • „Kako bismo osigurali da svaki liječnik u obiteljskoj medicini radi na istoj razini, da patolozi čitaju nalaze na isti način, a reumatolozi liječe pacijente na isti način.“/ ‘’So that we can ensure that every doctor in family medicine works at the same level, that pathologists read the findings the same way, and that rheumatologists treat the patient the same way.”
Smanjenje potencijalnih rizika koji proizlaze iz sukoba interesa pri izboru liječenja/ To mitigate potential risks arising from a physician’s conflict of interest in treatment selection • „Smjernice nam omogućuju ujednačavanje sustava koji se sastoji od tisuće liječnika s različitim osobnim interesima.“/ ‘’Guidelines enable us to unify a system comprised of thousands of physicians with diverse personal interests.’’• „Vjerojatno ih farmaceutska industrija malo kupi.“/ ‘’Probably the pharmaceutical industry buys a few of them.’’
Pomicanje dijela odgovornosti pri donošenju kliničkih odluka s liječnika na KS/ To move some of the responsibilities for patient care decision making away from physicians and toward guidelines • „Smjernice pomiču dio odgovornosti pri odlučivanju o skrbi za pacijenta od liječnika prema smjernicama.“ / ‘’Guidelines shift some of the responsibility for patient care decision-making from physicians to guidelines.’’• „... kad bismo imali smjernice, i nama bi bilo značajno lakše. Jer ako se ti točno držiš kuharice, onda si znatno manje odgovoran i pred pacijentom.“ / ‘’... if we had guidelines, it would be much easier for us too. Because if you follow the cookbook exactly, then you are much less responsible in front of the patient.’’
Pogrešno percipirana svrha smjernica – postizanje određenog nivoa kontrole u zdravstvenom sustavu/ Misperceived purpose of guidelines – to achieve some level of control in the healthcare system • Kontrola kvalitete skrbi, „Smjernice nastaju kako bi mogli kontrolirati kvalitetu rada ...“ / Quality of care control, ‘’A guideline arises from how we can control the quality of work …’’• Unaprjeđenje kontrole i optimizacija poslovnih procesa, „Svrha smjernica je uvesti red u zdravstveni sustav. Indirektno se to može napraviti integriranjem KS-a u informatički sustav, i takva integracija zahtjeva definirane poslovne procese.“/ Better control and optimization of business processes, ‘’The purpose of guidelines is to introduce order into a healthcare system. This is to be achieved indirectly by integrating CGs into digital healthcare information systems, as such integration requires that business processes are defined.’’• Unaprjeđenje kontrole troškova, „Na kraju, cilj smjernica je postići ciljane uštede.“/ Better cost control, ‘’In the end, the aim of a guideline imple-mentation is to achieve target savings.’’
Strukturni okvir razvoja KS-a – sastav radnih skupina? / Guideline development framework – composition of a working group?
Stručna medicinska društva i medicinski stručnjaci – drugi stručnjaci se ne navode/ Professional medical societies and medical ex-perts – other experts are not mentioned • „Radne skupine se trebaju sastojati od stručnih društava i stručnjaka“, pritom napominjući da su stručnjaci isključivo liječnici, tj. „stručnjaci za određene bolesti“./ ‘’Working groups should consist of medical societies and experts’’, while noting that experts are exclusively medical doctors, i.e. ‘’specialists for certain diseases.’’
Različiti timovi sastavljeni od različitih medicinskih stručnjaka i predstavnika osiguravajućeg društva – drugi stručnjaci se ne navode/ Diverse teams of various medical specialists and a representative of the insurance company – other experts are not mentioned • „Timovi su važni i tim koji razvija KS trebao bi se sastojati, na primjer, od dijagnostičara, radiologa, onkologa i eventualno predstavnika osiguravajuće kuće. Po meni bi bilo dobro da dolaze iz različitih središta.“/ ‘’Teams are important and a team which develop CG should consist of, for example, a diagnostician, a radiologist, an oncologist and possibly an insurance company representative. In my opinion, it would be good if they come from different centres.’’
Bolesnici – uključivanje samo zbog „dijeljenja“ odgovornosti, a ne zbog perspekive bolesnika / Patients – inclusion only for ‘’sharing’’ responsibility, not for the perspective of the patient • „Možda iz ovog razloga (napomena autora: u vezi s raspravom o pravima pacijenata u Hrvatskoj), pacijenti bi trebali također biti uključeni u razvoj smjernica, tako da oni također razumiju situaciju i preuzmu neku odgovornost.“/ ‘’Maybe for this reason (author’s note: in relation to the discussion about patients’ rights in Croatia), patients should also be involved in the development of guidelines, so that they also understand the situation and take some of the responsibility.’’
Strukturni okvir razvoja KS-a – resursi potrebni za razvoj KS-a / Guideline development framework – resources needed for GD
Novac i vrijeme/ Money and time • „Trebalo bi osigurati resurse, vrijeme i novac.“/ ‘’Resources, time and money sholud be provided.’’
Politička podrška/ Political support • „... to je proces (govori se o procesu izrade smjernica, op. a.) koji je politički uvjetovan.“/ ‘’... that is a process (author’s note: talk about guidelines developing) which is politically conditioned.’’
Stručnjaci sa znanjem metodologije izrade smjernica/ Experts with knowledge of the methodology of developing CGs • „Ja mislim da bi njima trebala ustvari pomoć stručnjaka koji bi tu metodologiju njima protumačio i oni to na taj način radili.“ / ‘’I think that they actually need help from experts who would explain that methodology to them and aftewards they would work it that way.’’
Metodologija razvoja KS-a – metodološki procesi / Guideline development methodology – methodology processes
Metodologija je neodgovarajuća/ Methodology is inadequate • „... smjernice, metodološki su različite, sadržajno, prepisivane, prevođene, loše prevođene. Dakle, nema deset smjernica koje su pisane istom metodologijom, istim jezikom, istim redoslijedom.“/ “... the guidelines are methodologically different, content-wise, rewritten, translated, poorly translated. Therefore, there are not ten guidelines that are written using the same methodology, in the same language, in the same order.’’• „Međutim, mali je broj smjernica, barem sada objavljenih kod nas, koje su slijedile prave one metodološke uzuse koje bi trebalo slijediti kod izrade tih smjernica. ... Želim ponoviti da je većina naših smjernica metodološki nedakvatna.“/ ‘’There are only a small number of guidelines that have been published so far in our country that have followed the correct methodological steps that should be followed in developing guidelines. … I would like to reiterate that most of our guide-lines are methodologically inadequate.’’
Opis tipičnog procesa razvoja KS-a u Hrvatskoj otkriva da su smjernice većinom temeljene na mišljenju stručnjaka, a ne na dokazima. / Description of a typical GD process in Croatia reveals that CGs are mainly expert opinion-based. • „Kada se smjernice razvijaju, okuplja se skupina ljudi koji su uključeni u rad određenog medicinskog područja ili koji na neki način rade s medicinskim stručnjacima na tom polju. Na primjer, kada smo razvijali smjernice za X … onda smo se sastali i razgovarali, svaki sa strane svoje profesije, što učiniti u određenoj situaciji. Naravno, nismo davali preporuke iz ničega, jedan dio se temeljio na našem iskustvu, drugi dio se temeljio na inozemnom iskustvu koje smo pokupili na nekim sastancima, kongresima i tako dalje. I zapravo je trebalo dosta vremena prije nego što smo mi kao radna skupina objavili ove smjernice.“/ ‘’When guidelines are developed, a group of people are brought together who are involved in a particular medical field or who work in some way with medical professionals in that field. For example, when we developed guidelines for X... we met and discussed, each from the side of his profession, what to do in a particular situation. Of course, we did not make recommendations out of thin air, one part was based on our experience, another part was based on foreign experience that we had gathered at some meetings, congresses and so on. And that actually took quite a while before we as a working group published these guidelines.’’
Opažen nedostatak metodološke ekspertize u radnim skupinama za izradu smjernice/ Perceived lack of methodological expertise in the working groups for GD • „… ljudi koji rade te smjernice nisu dovoljno upućeni u metodologiju samog rada smjernica.“/ ‘’... developers are not well-versed in the methodology of GD.’’
Ograničavajući čimbenici implementacije KS-a / Limiting factors of CG implementation
Poteškoće u organizacijskoj strukturi zdravstvenog sustava/ Difficulties in the organizational structure of the health system Neoptimalan protok informacija o KS-ima, „... u vezi edukacije, ne bih se baš složio/la da se provodi na adekvatan način na odjelima. Mladi kolege su često prepušteni sami sebi. Bez obzira na to što postoje neke smjernice, oni možda niti ne znaju da te smjernice postoje, nitko im nije rekao, nitko im nije skrenuo pažnju.“ / Suboptimal flow of information about CG, ‘’..., regarding education, I would not really agree that it is carried out in an adequate way in the departments. Young colleagues are often left to themselves. Regardless of the fact that there are some guidelines, they may not even know that these guidelines exist, no one told them, no one paid attention to them.’’Nedostatak resursa/vremena / veliko opterećenje radnim obvezama, • „... Ili nemamo aparata, ili nema izvođača, tehničara...“; • „... da mi imamo 15 pacijenata u ambulanti, to bi se moglo. Nego mi imamo 40 pacijenata dnevno, a to onda ne možete.“ / Lack of resources/time/high workload, • ‘’... Either we don’t have the equipment, or there are no operators, technicians...’’; • ‘’... if we had 15 patients in the clinic, that would be possible. But, we have 40 patients a day, and then you can’t do that.’’
Edukacija / Education Edukacija zdravstvenog osoblja, • „... Ako radiš smjernicu za racionalnu primjenu antibiotika, moraš educirati i liječnike i bolničke farmaceute i farmaceute na PZZ-u i pacijente i provesti širu radnu akciju osvješćivanja.“; • „Ali tu je edukacija izuzetno važna. Tu se mlade kolege treba educirati u tom smislu da postoje smjernice, da ih se treba držati, koje su smjernice u pojedinoj struci i svatko kada specijalizira ima svog nekog mentora koji ga kontrolira, koji ga prati itd. I taj mentor je zapravo taj koji treba nametati mladom kolegi potrebu korištenja smjernica, i nakon toga će se ipak on na to naučiti. Ima ljudi koji se nikad neće naučiti ni na što.“/ Education of health workers, • ‘’... If you are working on a guideline for the rational use of antibiotics, you must educate doctors and hospital pharmacists and pharmacists at primary care centers and patients and carry out a wider awareness raising campaign.’’; • ‘’But education is extremely important here. There, young colleagues should be educated in the sense that there are guidelines, that they should be followed, what are the guidelines in a particular profession, and everyone when specializing has a mentor who controls him, who follows him, etc. And that mentor is actually the one who should impose on a young colleague the need to use guidelines, and after that he will learn to do so. There are people who will never learn anything.’’Edukacija bolesnika, • „Zapravo za svaku smjernicu koja se tiče kliničkog rada imali smo potrebu napraviti i smjernicu za pacijente, jer smjernica može regulirati rad liječnika, njihovo ponašanje, njihov način odlučivanja, a vrlo često je potrebno i pacijenta s kojim rade informirati i identificirati njegovo ponašanje. Šta ti vrijedi odluka o rezervnim antibioticima ako svi pacijenti misle da antibiotik uspješno liječi gripu. Ili, imaš drugu krajnost, gdje u 56 hrvatskih bolnica imaš 56 različitih smjernica za higijensko pranje ruku.“/ Patient education, • “Actually, for every clinical guideline, we had the need to create a guideline for patients, because the guideline can regulate the work of doctors, their behavior, their way of making decisions, and very often it is also necessary to inform the patient with whom they are working and identify his behavior. What is the use of a decision about reserve antibiotics if all patients think that the antibiotic successfully cures the flu. Or, you have the other extreme, where in 56 Croatian hospitals you have 56 different guidelines for hygienic hand washing.’’
Nedostatna motivacija zdravstvenog osoblja/ Insufficient motivation of health workers • „Ljudi se ne pridržavaju smjernica. Vjerojatno ih farmaceutska industrija malo kupi. Ne znam koliko toga ima, ali sigurno ima.“ / ‘’People don’t follow the guidelines. The pharmaceutical industry probably buys a few of them. I don’t know how much there is, but there certainly is.’’• „... U procesu rada (izrade smjernica, op. a.), neke stvari promijene u svom dvorištu, ostanu na kraju dvojica-trojica kojima je u interesu da se smjernica provodi, dok su ostali svoje probleme riješili.“/ ‘’... In the process of work (author’s note: guideline development), they change some things in their own backyard, and in the end there are two or three who have an interest in implementing the guideline, while the rest have solved their problems.’’
Nedostatna financijska podrška/ Insufficient financial support • „Samo je to (implementacija smjernica, op. a.) iznimno skup proces i u Hrvatskoj se nikad ne događa.“/ “It’s just (author’s note: implementation of the guidelines) an extremely expensive process and it never happens in Croatia.”• „... govorimo o nekoj smjernici koju pripremi neka dobro educirana, dobro motivirana i dovoljno financijski opremljena skupina...“/ “... we are talking about a guideline prepared by a well-educated, well-motivated and sufficiently financially provided group...”
Nepostojanje podrške političkih struktura i nadređenih osoba/ Lack of support from political structures and superiors • „Isto tako kada se rade neke smjernice, onda je jako neobično da vlast, a u ovom slučaju to nije ni HZZO, nego Ministarstvo zdravlja, nije napravilo ama baš ništa da te smjernice budu uklopljene u svakodnevan rad. Netko to treba napraviti, neću ja k’o doktor to sad radit’, znači netko to treba napraviti odozgora.“/ “Similarly, when some guidelines are made, it is very unusual that the government, and in this case it is not the CHIF but the Ministry of Health, has done absolutely nothing to incorporate these guidelines into everyday work. Someone needs to do it, I, as a doctor, will not do it now, so someone needs to do it from above.’’

KS – kliničke smjernice / CG – clinical guidelines; HZZO – Hrvatski zavod za zdravstveno osiguranje / CHIF – Croatian Health Insurance Fund; GD – guideline development

 Rasprava

Metodološka kvaliteta i transparentnost hrvatskih KS-a nije zadovoljavajuća – ocjena kvalitete uz pomoć validiranog upitnika AGREE II procijenjena je znatno nižom od 60%.

Domene „Uključenost-svih-dionika-u-izradu-smjernice“ i „Urednička-neovisnost“ tijekom promatranog razdoblja pokazale su blago poboljšanje metodološke kvalitete. Sve ostale domene, pa i one najslabije ocijenjene, „Metodološka-kvaliteta-prikupljanja-i-sinteze-dokaza“ te „Primjenjivost-smjernice“ nisu se poboljšale. Nepostojanje trenda poboljšanja metodološke kvalitete smjernica tijekom ispitivanog perioda u zemlji kao što je naša, koja proizvodi niskokvalitetne smjernice, upućuje na manjkavost aktivnosti usmjerenih na poboljšanje kvalitete nacionalnih KS-a ili njihov potpun nedostatak.

Niskokvalitetne hrvatske KS uglavnom su razvijane pod vodstvom stručnih društava; bolje kvalitete bile su one razvijene od strane Ministarstva zdravstva ili neslužbenih radnih skupina. No, bez obzira tko je primarno zadužen za razvoj nacionalnih KS-a, stručna medicinska ili znanstvena društva, pojedine agencije ili tijela Ministarstva zdravstva, primjeri iz drugih zemalja s nacionalnim smjernicama loše kvalitete ukazuju na puno dublji problem razvoja KS-a. (10–12, 14–16) Naime, smjernice napisane od strane Ministarstva zdravstva pokazale su se u Hrvatskoj kao najkvalitetnije. Riječ je o smjernicama Interdisciplinarne sekcije za kontrolu rezistencije na antibiotike (ISKRA), čija je izrada započela uz potporu Ministarstva zdravstva kao dio međunarodnog projekta MATRA, financiranog od Ministarstva vanjskih poslova Nizozemske. Radnim skupinama prvih nekoliko smjernica bila je dostupna stalna pomoć međunarodnih konzultanata. Organizirano im je nekoliko radionica o pisanju preporuka koje su vodili renomirani međunarodni stručnjaci, a u oblikovanju preporuka sudjelovali su i članovi nizozemske radne skupine za upotrebu antibiotika te vanjski nezavisni recenzent. No, rezultati istraživanja iz drugih zemalja koje uglavnom proizvode niskokvalitetne smjernice pokazuju da odabir vladine agencije za nadzor nad pisanjem KS-a (10, 12) nad stručnim društvima (11) ne osigurava proizvodnju smjernica visoke kvalitete, već bi strukturni okvir nadzora nad pisanjem smjernica trebalo poboljšati. Optimalan pristup za kvalitetnije smjernice možda bi u Hrvatskoj trebao uključivati tješnju suradnju između Ministarstva zdravstva i stručnih društava – kao nositelja medicinske struke – kako bi se iskoristile prednosti obiju strana i pružila podrška vlade te zakonodavne ovlasti, što daje veću težinu u implementaciji i praćenju. Uskom suradnjom ministarstva i stručnih društava mogao bi se osigurati sustav za praćenje primjene smjernica i evaluaciju njihove učinkovitosti, čime se brže i efikasnije može reagirati na eventualne nedostatke ili potrebe za prilagodbama. Takve smjernice mogu biti bolje integrirane s drugim zdravstvenim i socijalnim politikama, osiguravajući koherentan pristup zdravlju na nacionalnoj razini. Ispitanici fokus-skupina bili su uvjereni kako se objavljene nacionalne KS ne implementiraju u praksi i da ne postoji implementacijski plan u Hrvatskoj. (1)

Tijekom rasprava fokus-skupina iskristalizirao se primarni prijedlog vezan za strukturni okvir razvoja smjernica: određivanje ključnih smjernica na nacionalnoj razini koje su trenutno suboptimalne, a čemu bi trebalo prethoditi utvrđivanje svih trenutnih smjernica u uporabi (smjernice objavljene u službenom časopisu Liječničkom vjesniku te međunarodne smjernice koje su možda prevedene na hrvatski jezik, a možda i nisu, ali se često koriste).

Kao jedan od glavnih uzroka nezadovoljavajuće kvalitete hrvatskih smjernica identificiran je nedostatak metodološkog znanja, ali i pogrešne percepcije KS-a kao alata te pretjerana samouvjerenost u metodološko znanje među autorima KS-a (1), što može ometati buduće usavršavanje i obuku članova radnih skupina. (1) Dodatni čimbenici povezani s niskom kvalitetom KS-a, proizašli iz rasprava u fokus-skupinama, bili su: neadekvatna metodologija; nedostatak implementacijskih sustava; nedostatak svijesti o potrebi za uredničkom neovisnošću i nedovoljnom uključivanju stručnjaka različitih profesija u radne skupine za izradu smjernica. Iskustva drugih zemalja, poput Japana (13) i Australije (17), pokazuju kako je moguće poboljšati metodološku kvalitetu smjernica de novo, ali isto tako i usvojenih, prilagođenih ili kontekstualiziranih, i to zajedničkim djelovanjem više organizacija u cilju izgradnje socijalne infrastrukture za KS. Primarno se radi o stvaranju protokola za razvoj KS-a, dostupnom podučavanju autora nacionalnih smjernica metodologiji i unaprjeđenju vještina vezanih uz razvoj smjernica. Također, smatramo da bi bilo poželjno u skupine autora smjernica uključiti metodološke, ali i druge stručnjake, kao što su informacijski specijalisti i ekonomisti, te predstavnike bolesnika. Hrvatske radne skupine autora sastavljene su gotovo isključivo od liječnika, a rijetko kada od drugih zdravstvenih djelatnika. No, rezultati našeg istraživanja nisu pokazali povezanost između kvalitete smjernica i broja medicinskih udruženja/organizacija koje sudjeluju u pisanju KS-a, što pokazuje da samo količina medicinskog znanja nije dostatna za razvoj visokokvalitetnih smjernica. Isključivanjem dionika ili stručnjaka kao što su drugi zdravstveni djelatnici, stručnjaci u drugim profesijama, bolesnici i kreatori zdravstvene politike dosta se sužava perspektiva, a i ograničava kompetentnost radnih skupina te izglednost smjernica za implementaciju.

Alternativna strategija ponuđenim prijedlozima za unaprjeđenje izrade smjernica mogla bi biti procjena smjernica od strane vanjskih stručnih recenzenata i poboljšanje KS-a prije objave prema njihovim sugestijama. Stalna izloženost studenata medicine medicini utemeljenoj na dokazima i smjernicama tijekom studija može podići razinu znanja budućih korisnika i autora KS-a te poboljšati klimu utemeljenu na dokazima u zdravstvenom sustavu.

Ograničenje ovog istraživanja povezano je s upotrebom upitnika AGREE II. Ovaj instrument procjenjuje samo je li se u KS-ima navela odgovarajuća informacija, no ako je neka stavka uključena u izradu smjernica, ali to nije i zapisano/prijavljeno, takvo što ukupni rezultati procjene neće utvrditi. Nadalje, za razlikovanje visokokvalitetnih od niskokvalitetnih smjernica primijenili smo uobičajeno korištenu graničnu ocjenu od 60% (18, 19), iako ta granica još uvijek nije standardizirana. Potom, u rad su uključene smjernice objavljene do uključno 2017. godine. S obzirom na to da se strukturni okvir izrade KS-a u Hrvatskoj nije mijenjao tijekom promatranoga vremenskog razdoblja, kao i nakon njega, te da analiza nije ukazala na značajne promjene u kvaliteti smjernica tijekom tog razdoblja, može se pretpostaviti da će opisani izazovi i dalje biti prisutni. Ipak, za konačnu potvrdu ovih zaključaka bilo bi poželjno provesti dodatnu analizu za razdoblje 2018. – 2025.

 Zaključak

Čimbenici za koje je utvrđeno da utječu na kvalitetu nacionalnih smjernica mogu pomoći dionicima koji razvijaju intervencije i obrazovne programe usmjerene na poboljšanje kvalitete smjernica u Hrvatskoj, ali i u drugim državama sa sličnim zdravstvenim sustavom.

 Zahvala

Zahvaljujemo svim kolegicama i kolegama koji su sudjelovali u izradi različitih dijelova originalne studije: Davorki Vrdoljak, Slavici Jurić Petričević, Ivanu Buljanu, Dariju Sambunjaku, Željku Krznariću i Ani Marušić na suradnji i podršci, kao i Mariju Maličkom, METRICS, pri Stanford University, za recenziju rukopisa i davanje vrijednih komentara i preporuka.

INFORMACIJE O SUKOBU INTERESA

Autori nisu deklarirali sukob interesa relevantan za ovaj rad.

INFORMACIJA O FINANCIRANJU

Studija je napravljena u okviru projekta Hrvatske zaklade za znanost, projekt No. IP-2014-09-7672 (Profesionalizam u zdravstvu).

 LITERATURA KovačevićTVrdoljakDPetricevicSJBuljanISambunjakDKrznaricZ Factors associated with the quality and transparency of national guidelines: a mixed-methods study. Int J Environ Res Public Health. 2022;19:9515–37. 10.3390/ijerph1915951535954872 Institute of Medicine (US) Committee on Standards for Developing Trustworthy Clinical Practice Guidelines. Clinical Practice Guidelines We Can Trust. Washington (DC): National Academies Press (US); 2011. Dostupno na: https://www.ncbi.nlm.nih.gov/books/NBK209539/ [Pristupljeno 21. studenoga 2022.] LugtenbergMBurgersJSWestertGP. Effects of evidence-based clinical practice guidelines on quality of care: a systematic review. Qual Saf Health Care. 2009;18(5):385–92. 10.1136/qshc.2008.02804319812102 EcclesMPGrimshawJMShekellePSchunemannHJWoolfS. Developing clinical practice guidelines: target audiences, identifying topics for guidelines, guideline group composition and functioning and conflicts of interest. Implement Sci. 2012;7:60. 10.1186/1748-5908-7-6022762776 ShekellePWoolfSGrimshawJMSchunemannHJEcclesMP. Developing clinical practice guidelines: reviewing, reporting, and publishing guidelines; updating guidelines; and the emerging issues of enhancing guideline implementability and accounting for comorbid conditions in guideline development. Implement Sci. 2012;7:62. 10.1186/1748-5908-7-6222762242 WoolfSHGrolRHutchinsonAEcclesMGrimshawJ. Clinical guidelines: potential benefits, limitations, and harms of clinical guidelines. BMJ. 1999;318(7182):527–30. 10.1136/bmj.318.7182.52710024268 GrimshawJMThomasREMacLennanGFraserCRamsayCRValeL Effectiveness and efficiency of guideline dissemination and implementation strategies. Health Technol Assess. 2004;8(6):iii–iv, 1–72. 10.3310/hta806014960256 Liječnički vjesnik. Smjernice. Liječnički vjesnik: glasilo Hrvatskoga liječničkog zbora. Zagreb, 1877. Dostupno na: https://lijecnickivjesnik.hlz.hr/rubrika/smjernice [Pristupljeno 28. studenoga 2022.]. BrouwersMCKhoMEBrowmanGPBurgersJSCluzeauFFederG AGREE II: advancing guideline development, reporting, and evaluation in health care. Prev Med. 2010;51(5):421–4. 10.1016/j.ypmed.2010.08.00520728466 Colunga-LozanoLEGerardo-MoralesVPerez-GaxiolaGVazquez-AlvarezAOGonzalez-TorresFJPerales-GuerreroL Methodological assessment of Mexican clinical practice guidelines: GRADE framework adherence and critical appraisal. J Eval Clin Pract. 2021;27(2):385–90. 10.1111/jep.1344732779256 DansLFSalaveria-ImperialMLAMiguelRTDTan-LimCSCEubanasGASTolosaMTS Guidelines in low and middle income countries paper 3: Appraisal of Philippine clinical practice guidelines using Appraisal of Guidelines for Research and Evaluation II: improvement needed for rigor, applicability, and editorial independence. J Clin Epidemiol. 2020;127:184–90. 10.1016/j.jclinepi.2020.06.03632621853 LoezarCPerez-BracchiglioneJArancibiaMMezaNVargasMPapuzinskiC Guidelines in low and middle income countries paper 2: Quality assessment of Chilean guidelines: need for improvement in rigor, applicability, updating, and patients’ inclusion. J Clin Epidemiol. 2020;127:177–83. 10.1016/j.jclinepi.2020.07.01832853762 SetoKMatsumotoKFujitaSKitazawaTAminRHatakeyamaY Quality assessment of clinical practice guidelines using the AGREE instrument in Japan: A time trend analysis. PLoS One. 2019;14(5):e0216346. 10.1371/journal.pone.021634631048914 TimanáRAlva-DiazCSuarezVPimentelPDongoV. Characteristics and quality of the of clinical practice guidelines in the Social Security of Health of Peru. Semergen. 2018;44(8):549–56.30327261 Canelo-AybarCBalbinGPerez-GomezAFlorezID. Clinical practice guidelines in Peru: evaluation of its quality using the AGREE II instrument. Rev Peru Med Exp Salud Publica. 2016;33(4):732–8. 10.17843/rpmesp.2016.334.255928327844 ZhouQWangZShiQZhaoSXunYLiuH Clinical Epidemiology in China series. Paper 4: the reporting and methodological quality of Chinese clinical practice guidelines published between 2014 and 2018: A systematic review. J Clin Epidemiol. 2021;140:189–99. 10.1016/j.jclinepi.2021.08.01334416326 BarkerTHDiasMSternCPorrittKWiechulaRAromatarisE Guidelines rarely used GRADE and applied methods inconsistently: a methodological study of Australian guidelines. J Clin Epidemiol. 2021;130:125–34. 10.1016/j.jclinepi.2020.10.01733130237 SmithCAToupin AprilKJutaiJWDuffyCMRahmanPCavalloS A systematic critical appraisal of clinical practice guidelines in juvenile idiopathic arthritis using the Appraisal of Guidelines for Research and Evaluation II (AGREE II) instrument. PLoS One. 2015;10(9):e0137180. 10.1371/journal.pone.013718026356098 BrosseauLRahmanPToupin AprilKPoitrasSKingJDe AngelisG A systematic critical appraisal for non pharmacological management of osteoarthritis using the appraisal of guidelines research and evaluation II instrument. PLoS One. 2014;9(1):e82986. 10.1371/journal.pone.008298624427268