Kulturološka prilagodba upitnika u pravilu se provodi kroz nekoliko uzastopnih koraka (Figure 1). Početni korak podrazumijeva inicijalni prijevod upitnika na ciljani jezik. Preporučuje se da inicijalno prevođenje obavljaju dvije dvojezične osobe (u daljnjem tekstu prevoditelji) kojima je ciljani jezik prevođenja materinji jezik, a suradnjom kojih se dolazi do zajedničke inačice prijevoda. Jedan od prevoditelja trebao bi biti upoznat s konceptima koji se upitnikom ispituju, dok je poželjno da drugi prevoditelj s istima nije upoznat, odnosno, da nema medicinsku pozadinu. Takva osoba naziva se neupućen prevoditelj. (1–3)

Zatim slijedi povratno prevođenje na izvorni jezik (engl. back-translation) koje provodi osoba koja ne smije prethodno biti upoznata s izvornom verzijom upitnika. Postupak povratnog prevođenja predstavlja dodatnu metodu provjere valjanosti upitnika, kojom se osigurava da prevedena inačica sadržajno odgovara izvornoj. (1, 2) Dostupne su formalne metode usporedbe izvorne inačice i one dobivene povratnim prevođenjem, pri čemu se koriste dvije mjere: usporedivost jezika i sličnost interpretacije. Usporedivost jezika odnosi se na formalnu sličnost riječi, izraza i rečenica, tj. podrazumijeva sličnost jezične forme. Sličnost interpretacije definira se kao stupanj u kojem obje verzije izazivaju isti odgovor, čak i kada formulacije nisu identične. Idealno je da stavke zadrže i slična značenja i sličnu jezičnu formu, no sličnost interpretacije se preferira, čak i ako je postignuta uz odstupanja u jezičnom izrazu da bi se osigurala ekvivalentnost značenja. (5, 6) Preporučuje se da ocjenjivanje provodi barem trideset ispitanika koji tečno govore izvorni jezik, koristeći Likertove ljestvice u rasponu od 1 (izuzetno slično) do 7 (nimalo slično), pri čemu prosječna ocjena 3 ili više zahtijeva reviziju prijevoda. Također, prosječna ocjena između 2,5 i 3 za interpretabilnost smatra se upitnom te se može podvrgnuti dodatnoj korekciji. (5, 6)

Poklapanje izvorne inačice s onom dobivenom povratnim prevođenjem podrazumijeva dosljedno prevođenje, no ne jamči zadovoljavajuću inačicu na ciljanom jeziku. Daljnji tijek podrazumijeva formiranje tima stručnjaka koji provjerava ekvivalentnost različitih inačica uz implementaciju eventualnih promjena te preliminarno testiranje upitnika na ciljanoj populaciji uz usmeno provjeravanje razumijevanja. (1, 2)

Po završetku procesa prijevoda, potrebno je provesti evaluaciju psihometrijskih karakteristika upitnika s ciljem utvrđivanja njegove metrijske pouzdanosti i valjanosti u novome jezičnom okruženju.

Pouzdanost (engl. reliability) predstavlja dosljednost rezultata upitnika.

Unutarnja konzistentnost odražava stupanj u kojem su stavke upitnika međusobno povezane, odnosno jesu li dosljedne u mjerenju istog fenomena. Najčešće se procjenjuje pomoću koeficijenta alfa, poznatog i kao Cronbachova alfa, čije se vrijednosti kreću od 0 do 1, pri čemu veća vrijednost odražava jaču međusobnu povezanost stavki. Vrijednosti Cronbachove alfe od 0,7 uglavnom se smatraju prihvatljivima, a ovisne su o duljini samog upitnika i varijabilnosti ponuđenih odgovora. Vrijednosti veće od 0,9 upućuju na potencijalnu redundantnost pitanja. (2, 7)

Pouzdanost ponovljenog mjerenja (test-retest pouzdanost, ponovljivost) odnosi se na stupanj u kojem odgovori ispitanika ostaju dosljedni pri ponovljenom ispunjavanju istog upitnika. Procjenjuje se pomoću Pearsonovog koeficijenta korelacije r, koji se tada naziva koeficijentom stabilnosti, a čije veće vrijednosti ukazuju na jaču pouzdanost ponovljenog mjerenja. Budući da se pouzdanost ponovljenog mjerenja temelji na stabilnosti obilježja ispitanika, primjenjiva je na upitnike koji su konstruirani za mjerenje osobina ličnosti, interesa ili stavova koji su relativno stabilni kroz vrijeme, no ne može se koristiti za upitnike koji su osmišljeni za mjerenje prolaznih obilježja. (2)

Treća mjera pouzdanosti, pouzdanost između promatrača, primjenjiva je na upitnike kojima više promatrača nastoji procijeniti istu skupinu ispitanika, a odnosi se na stupanj konzistentnosti promatrača u opažanjima. Izražava se kao Cohenov koeficijent kappa, čiji je raspon od 0 do 1, pri čemu 1 označava savršenu suglasnost. (2)

Valjanost (engl. validity) upitnika odražava sposobnost upitnika da mjeri koncept koji je predviđeno da mjeri. Više je metoda provjere valjanosti upitnika, među kojima se kao najčešće korištene izdvajaju: izravna valjanost, sadržajna valjanost i konstruktivna valjanost. (2)

Izravna valjanost (engl. face validity) odnosi se na sposobnost instrumenta da bude razumljiv i relevantan ciljanoj populaciji. Procjenjuje se na temelju dojma ispitanika te se kao takva, iako može biti korisna kao početna procjena, smatra najslabijim oblikom utvrđivanja valjanosti mjernog instrumenta. (2)

Sadržajna valjanost (engl. content validity) označava stupanj u kojem upitnik obuhvaća najvažnije aspekte nekog koncepta (8), a proces je posebno važan prilikom razvoja novog upitnika (2). Za tu svrhu formira se panel stručnjaka upoznatih s konceptom koji se ispituje, čiji je zadatak procijeniti neophodnost, relevantnost i jasnoću svake stavke. (9) Za vrednovanje sadržajne valjanosti dostupno je nekoliko kvantitativnih metoda, a među češće korištenima je računanje omjera sadržajne valjanosti (engl. content validity ratio – CVR) za procjenu neophodnosti pojedine stavke te indeksa sadržajne valjanosti (engl. content validity index – CVI) za procjenu relevantnosti pojedine stavke. (9)

Indeks valjanosti sadržaja (engl. content validity index, CVI) može se mjeriti na razini pojedinačnih stavki (engl. item-CVI, I-CVI) i na razini cijele skale (engl. scale-CVI, S-CVI). Za ocjenjivanje svake stavke koristi se etablirana Likertova ljestvica od 1 (nije relevantno) do 4 (vrlo relevantno). I-CVI se dobiva dijeljenjem broja stručnjaka koji su stavku ocijenili s 3 ili 4 s ukupnim brojem stručnjaka. Vrijednosti I-CVI kreću se od 0 do 1, pri čemu se vrijednosti od 0,78 smatraju relevantnima. Skalni indeks valjanosti sadržaja (S-CVI) predstavlja prosjek svih I-CVI vrijednosti i uglavnom se smatra adekvatnim kada je veći od 0,8 (9), dok neki autori predlažu prag od 0,9 (7). Može se izraziti i kao univerzalna suglasnost (engl. universal agreement, S-CVI/UA) među stručnjacima, što predstavlja omjer stavki koje su svi stručnjaci ocijenili s 3 ili 4, podijeljen s ukupnim brojem stavki na skali. (9)

Jasnoća stavki također se može kvantificirati korištenjem Likertove ljestvice i izračunom prosječnih vrijednosti jasnoće za svaku stavku, kako bi se identificirale one koje zahtijevaju dodatna pojašnjenja ili preformulaciju. U dostupnoj literaturi koriste se Likertove ljestvice s različitim brojem stupnjeva, pri čemu viši stupnjevi označavaju veću jasnoću stavke. (9, 10)

Konstruktivna valjanost (engl. construct validity) odnosi se na stupanj u kojem upitnik točno mjeri teorijski konstrukt koji tvrdi da mjeri, a predstavlja krovni pojam koji objedinjuje sve ostale podtipove valjanosti. (8) Procjenjuje se ispitivanjem povezanosti rezultata upitnika s drugim varijablama s kojima bi prema teoriji trebao biti pozitivno (konvergentna valjanost) ili negativno (divergentna valjanost) povezan. (2, 8) Može se potvrditi i metodom valjanosti poznatih skupina (engl. known-group validity) koja podrazumijeva usporedbu rezultata dviju skupina s jasno različitim razinama stručnosti ili iskustva na određenom testu (4, 11) ili analizom unutarnje strukture samog upitnika uporabom faktorske analize.

Upitnik ReproKnow razvijen je za procjenu znanja žena oboljelih od sustavnih autoimunosnih bolesti o temama vezanim uz reproduktivno zdravlje. Pitanja su sastavljena na temelju informacija iz edukativne brošure za pacijentice koju je izradilo Američko reumatološko društvo (engl. American College of Rheumatology, ACR). S ciljem poboljšanja sadržajne valjanosti, oformljen je tim stručnjaka koji je evaluirao upitnik, nakon čega su pojedina pitanja uklonjena ili dorađena. U proces je uključeno i nekoliko pacijentica od kojih je kroz intervju dobivena povratna informacija o jasnoći i sadržaju pitanja. (4) Publicirana verzija upitnika sastoji se od deset pitanja s višestrukim ponuđenim odgovorima, kojima se procjenjuje znanje o različitih aspektima reproduktivnog zdravlja. Konstruktivna valjanost procijenjena je analizom poznatih skupina, odnosno usporedbom medijana rezultata između reumatoloških specijalizanata i medicinskih sestara. Razina znanja odražavala je razinu formalne edukacije i stručne osposobljenosti iz reumatologije među korisnicima, što upućuje na zadovoljavajuću konstruktivnu valjanost. (4) Unutarnja konzistentnost izražena je kao koeficijent alfa, koji je izračunat na temelju odgovora pacijentica i iznosio je 0,62, što ukazuje na umjerenu unutarnju konzistentnost. Kako bi se ispitalo je li umjerena unutarnja konzistentnost rezultat višedimenzionalnosti upitnika, provedena je analiza glavnih komponenata (engl. principal components analysis – PCA) i faktorska analiza, no statistički identificirano višefaktorsko rješenje nije imalo jasnu kliničku utemeljenost. (4)

Uz inicijalni prijevod upitnika na hrvatski jezik, dogovorom autora, učinjene su manje prilagodbe lokalnom kontekstu. Naime, s obzirom na to da u našem podneblju uporaba kontracepcijskih injekcija nije široko rasprostranjena, pretpostavljeno je da dio ispitanica neće biti upoznat s navedenom metodom kontracepcije, zbog čega je pitanje o metodi kontracepcije koja je najbolja u sprječavanju trudnoće prilagođeno na način da je umjesto odgovora „kontracepcijska injekcija“ ponuđen odgovor „kontracepcijska pilula“ koja ima sličan mehanizam djelovanja i usporedivu učinkovitost pri pravilnoj primjeni. (12) Uz to, odgovor „IUD (intrauterine device)“ ponuđen je ispitanicama kao „intrauterini uložak – spirala“ budući da je pojam „spirala“ češće korišten u populaciji, zbog čega smo smatrali da će ga više ispitanica prepoznati pod tim nazivom. Nadalje, iako je u izvornoj verziji kao odgovor na svako pitanje ponuđen rodno neutralan izraz „not sure“, u našoj je inačici, s obzirom na nepostojanje rodno neutralnog izraza u hrvatskom jeziku te činjenicu da je upitnik namijenjen ženama, odabran izraz „nisam sigurna“. U ostalim elementima upitnik ReproKnow na hrvatskom jeziku (Figure 4) uglavnom slijedi izvornu inačicu na engleskom jeziku.

Tijekom predstavljanja upitnika liječnicima Zavoda, kao i kroz intervjue s pacijenticama uključenima u preliminarno testiranje i procjenu izravne valjanosti, kao glavni nedostatak upitnika izdvojena je usmjerenost na pacijentice s autoimunosnim bolestima općenito, bez uvažavanja specifičnih dijagnoza, zbog čega su pojedina pitanja bila zbunjujuća. Navedeno je posebice dolazilo do izražaja u pitanjima koja su se odnosila na rizik rađanja djeteta s prirođenim anomalijama za koji je poznato da ovisi o dijagnozi i serološkoj aktivnosti. (13, 14) Od strane liječnika dodatno je kao problematično izdvojeno pitanje koje se odnosi na prijenos bolesti na potomstvo jer nije jasno je li riječ o genetskom nasljeđivanju ili izravnom prijenosu bolesti putem posteljice ili tijekom poroda. Nastojeći zadržati usporedivost s originalnom inačicom, nismo se odlučili na korekciju navedenih pitanja, a pacijentice su dobile uputu da se upitnik odnosi na žene sa sustavnim autoimunosnim bolestima općenito.

Relevantnost sadržaja, izražena kao indeks sadržajne valjanosti stavke (I-CVI), kao i prosječna jasnoća stavki, prikazane su u Table 1 – lijevo. Skalni indeks sadržajne valjanosti (S-CVI) iznosi 0,98, dok je vrijednost univerzalne suglasnosti (S-CVI/UA) 0,80.

Diskrepancija u povratnom prijevodu proizlazila je iz prethodno učinjenih prilagodbi koje nisu bile poznate osobi zaduženoj za povratni prijevod, kao i iz tendencije korištenja formalnijeg izraza u odnosu na izvorni tekst. Primjerice, kolokvijalni izraz „moms“ u povratnom je prijevodu zamijenjen neutralnijim „mothers“, „can get pregnant“ prevedeno je kao „can conceive“, dok je „birth control“ interpretirano kao „contraception“. Prosječne vrijednosti stupnja sličnosti jezične forme i sličnosti interpretacije prikazane su u Table 1 – desno.

Kruskal-Wallis test pokazao je statistički značajnu razliku u ukupnim rezultatima na upitniku ReproKnow između skupina (H(2)=14,376, p=<0,001) koja je proizlazila iz statistički značajne razlike između pacijentica i liječnika (Z=–3,604, p=<0,001) te između pacijentica i medicinskih sestara/tehničara (Z=–2,822, p=0,005).

S druge strane, razlika između liječnika i medicinskih sestara/tehničara nije bila statistički značajna (Z=–0,782, p=0,434), iako su liječnici ostvarili nešto više prosječne rezultate (medijan 7,5 za medicinske sestre/tehničare i 8,5 za liječnike), kako je prikazano na Figure 5.

Procijenjena unutarnja pouzdanost skale iznosila je Cronbachova alfa = 0,61, s 95-postotnim intervalom pouzdanosti [0,49, 0,71], što ukazuje na upitnu razinu konzistentnosti.

Rezultati ovog istraživanja ukazuju na visoku relevantnost i prihvatljivu jasnoću stavki upitnika ReproKnow nakon prijevoda i kulturne prilagodbe na hrvatski jezik. Indeks sadržajne valjanosti stavki (I-CVI) bio je uglavnom vrlo visok, s ukupnim skalnim indeksom (S-CVI) od 0,98, što potvrđuje zadovoljavajuću relevantnost stavki prema preporukama u literaturi. (9) Također, univerzalna suglasnost (S-CVI/UA) iznosila je 0,80, što dodatno podupire kvalitetu prijevoda i prilagodbe.

Jasnoća stavki ocijenjena je vrlo visoko, pri čemu su sve stavke dobile prosječne ocjene između 2,6 i 3,0 na ljestvici od 1 do 3, što upućuje na njihovu dobru razumljivost i jednostavnost. Visoka jasnoća upitnika ključna je za omogućavanje ispitanicima da odgovaraju s lakoćom, što direktno doprinosi pouzdanosti i valjanosti njihovih odgovora. (9) Međutim, jedno pitanje pokazalo se kao manje jasno od ostalih – ono koje se odnosilo na preporučene radnje pacijentica nakon saznanja o trudnoći. U kognitivnom intervjuu pacijentice su često smatrale dva odgovora točnima, iako se tražio samo jedan – osim traženog odgovora da nastave koristiti lijekove dok ne kontaktiraju liječnika, mnoge su smatrale točnim i odgovor da dogovore termin ginekološkog ultrazvuka. Ovo opažanje treba se uzeti u obzir pri interpretaciji rezultata upitnika.

Usporedba izvorne inačice s onom dobivenom povratnim prijevodom pokazala je prihvatljive vrijednosti sličnosti jezične forme i interpretacije. (5, 6) Navedene diskrepancije, poput zamjene kolokvijalnih izraza neutralnijima, koje su rezultirale nešto lošijim ocjenama sličnosti jezične forme, bile su očekivane, no ne bi trebale utjecati na sadržajnu valjanost upitnika s obzirom na visoku razinu sličnosti u interpretaciji.

Usporedba rezultata upitnika ReproKnow među skupinama pokazuje očekivane razlike u razini znanja između pacijentica i zdravstvenih djelatnika, što podupire njegovu konstruktivnu valjanost. (4, 11) Zanimljivo je, međutim, da između liječnika i medicinskih sestara/tehničara nije utvrđena statistički značajna razlika. Ova pojava može se objasniti činjenicom da je paralelno s tijekom istraživanja, u listopadu 2023., održan kongres Hrvatskoga reumatološkog društva na kojem su medicinske sestre kroz strukturirani edukacijski program bile detaljno educirane o temama reproduktivnog zdravlja pacijentica sa sustavnim autoimunosnim bolestima. Ova dodatna edukacija vjerojatno je utjecala na porast razine znanja u toj skupini, čime se smanjila razlika u rezultatima između njih i liječnika. S obzirom na navedeno, rezultati upitnika odražavaju razlike u formalnoj edukaciji i stručnom usavršavanju ispitanika, što dodatno potvrđuje njegovu konstruktivnu valjanost.

Vrijednost Cronbachove alfe u našem istraživanju (0,61) usporediva je s onom iz izvorne validacije instrumenta (0,62) (4), što ide u prilog prihvatljivosti dobivenog rezultata. Ipak, valja napomenuti da je riječ o relativno niskoj vrijednosti, što predstavlja potencijalno ograničenje ovog istraživanja. Međutim, treba uzeti u obzir da se upitnik ReproKnow sastoji od malog broja stavki s ograničenom varijabilnošću odgovora te da obuhvaća različite tematske cjeline unutar područja reproduktivnog zdravlja. (4) Budući da je Cronbachova alfa funkcija broja stavki, varijabilnosti odgovora i njihove međusobne povezanosti (2, 6), niža vrijednost u ovom kontekstu ne mora nužno značiti smanjenu mjeriteljsku kvalitetu instrumenta.

S obzirom na to da se radi o relativno kratkom i lako pamtljivom upitniku, kao i o temi za koju se pretpostavlja da će pacijentice pokazati interes, očekivano je da će nakon ispunjavanja upitnika usvojiti točne odgovore. Primjerice, moguće je da će nakon sudjelovanja u istraživanju potražiti dodatne informacije ili dobiti edukaciju o temi, a mnoge od njih već su se neposredno nakon ispunjavanja upitnika i izravno interesirale kod nas koji je točan odgovor kada su postale svjesne da ga ne znaju. Stoga smatramo da se razina znanja koju upitnik mjeri ne može smatrati stabilnom u vremenu, zbog čega nismo proveli ispitivanje pouzdanosti ponovljenog mjerenja.

Prednost je ovog istraživanja uključivanje više skupina ispitanika (pacijentice, liječnici i medicinske sestre/tehničari), što je omogućilo širu procjenu konstruktivne valjanosti instrumenta. Dodatno, korištene su različite, međusobno nadopunjujuće metode testiranja valjanosti, koje su kvantificirane i provedene u skladu s preporukama iz literature. Također, relativno velik broj ispitanika u fazi testiranja pouzdanosti daje dodatnu snagu rezultatima. S druge strane, ograničenja istraživanja uključuju činjenicu da prevoditelji nisu bili profesionalni prevoditelji, što neki autori preporučuju kao dio standardne procedure prijevoda. Ipak, u ovom slučaju riječ je o liječnicima s izvrsnim znanjem izvornog jezika i stručnim poznavanjem teme, što je omogućilo visoku razinu terminološke točnosti. Nadalje, intervjui s pacijenticama i kolegama nisu provedeni u strogo strukturiranom obliku, što može predstavljati ograničenje u pogledu sustavnosti i replikabilnosti prikupljenih uvida. Nadalje, s obzirom na to da faktorska analiza originalnog upitnika nije otkrila klinički relevantne faktore (4), u ovoj fazi nismo se odlučili na provođenje faktorske analize prevedene inačice, što ograničava zaključke o unutarnjoj strukturi instrumenta. U daljnjem tijeku moguće je provođenje iste na većem uzorku ili testiranje primjenjivosti upitnika u drugim centrima, čime bi se dodatno procijenila njegova valjanost.

Prvi rezultati pilot-istraživanja primjene hrvatske inačice upitnika ReproKnow, provedenog na pedeset ispitanica, prikazani su 2023. godine na kongresu Hrvatskoga reumatološkog društva. (15) Prošireno istraživanje, koje je obuhvatilo 165 ispitanica, također je predstavljeno na istom kongresu 2024. godine. (16) Dobiveni prosječni rezultati bili su očekivani i u skladu s rezultatima dobivenima korištenjem izvorne inačice upitnika (4), no zabilježen je trend neinformiranosti bolesnica o kontracepciji i nedosljedno korištenje kontracepcije (15, 16). Ovi nalazi jasno nalažu potrebu za daljnjim aktivnostima usmjerenim na povećanje informiranosti o reproduktivnom zdravlju.

Rezultati ovog istraživanja ukazuju na to da je hrvatska inačica upitnika ReproKnow, nakon provedenog procesa prijevoda i kulturne prilagodbe, valjan i jasno razumljiv instrument za procjenu znanja o reproduktivnom zdravlju. Visoke vrijednosti sadržajne valjanosti te pozitivne ocjene jasnoće stavki potvrđuju kvalitetu prevedenog upitnika, dok je konstruktivna valjanost potvrđena razlikama u razini znanja među ispitivanim skupinama. Unatoč graničnoj vrijednosti Cronbachove alfe, rezultat je u skladu s izvorno validiranim upitnikom te u kontekstu ograničenog broja stavki i njihove raznovrsnosti ne umanjuje mjeriteljsku kvalitetu instrumenta i primjenjivost u praksi. Zaključno, hrvatska inačica upitnika ReproKnow predstavlja pouzdan alat za evaluaciju znanja o reproduktivnom zdravlju među ciljnim skupinama u hrvatskom kontekstu i primjenjiva je u istraživačkom, ali i svakodnevnom kliničkom radu.