Áreiðanleiki og Klassíska raungildislíkanið PDF

2025-01-28 Áreiðanleiki og Klassíska raungildislíkanið Auðun Valborgarson 28.01.2025 1 Efni dagsins Áreiðanleiki (e. reliability). Klassíska raungildislíkanið (e. Classical Test Theory) Fræðilegar forsendur (e. theoretical assu...

2025-01-28 Áreiðanleiki og Klassíska raungildislíkanið Auðun Valborgarson 28.01.2025 1 Efni dagsins Áreiðanleiki (e. reliability). Klassíska raungildislíkanið (e. Classical Test Theory) Fræðilegar forsendur (e. theoretical assumptions) Frá 1968 2 1  2025-01-28 Áreiðanleiki (e. reliability) Að hve miklu leyti breytileiki mælds gildis (e. observed score) endurspeglar breytileika í raungildi (e. true score). Áreiðanleiki snýr að stöðugleika mælingarinnar. Hægt er að hugsa um mælingu þannig að við séum að reyna að greina eitthvað merki (e. Á𝐫𝐞𝐢ð𝐚𝐧𝐥𝐞𝐢𝐤𝐢 = 𝑀𝑒𝑟𝑘𝑖 signal) innan um suð (e. noise). 𝑀𝑒𝑟𝑘𝑖 + 𝑆𝑢ð Við gerum ráð fyrir að það sé alltaf einhver tilviljunarkennd skekkja (suð í mælingu) sem hefur áhrif á mælinguna. Getum hugsað um áreiðanleika sem hlutfall þess sem við viljum mæla innan um mæliskekkju. 3 Túlkun á áreiðanleikastuðlum 0 0,5 1 Enginn áreiðanleiki. Fullkominn áreiðanleiki. Erum einungis að mæla skekkju. Erum einungis að mæla raungildið. Lágur áreiðanleiki, mikil villudreifing. Hár áreiðanleiki, lítil villudreifing. Staðalvilla mælingar (e. standard error of measure - 𝑠𝑒 ) Segir til um meðal mælivillu á prófi. Er á sama kvarða og mælingin sjálf. 𝑠𝑒 = 𝑠 1 − 𝑅 𝑠 𝑒𝑟 𝑠𝑡𝑎ð𝑎𝑙𝑓𝑟á𝑣𝑖𝑘 𝑚æ𝑙𝑑𝑎 𝑔𝑖𝑙𝑑𝑖𝑠𝑖𝑛𝑠 𝑅 𝑒𝑟 á𝑟𝑒𝑖ð𝑎𝑛𝑙𝑒𝑖𝑘𝑖 𝑝𝑟ó𝑓𝑠𝑖𝑛𝑠 4 2  2025-01-28 Áreiðanleiki samkvæmt klassíska raungildislíkaninu Classical test theory (CTT) XO: Mælt gildi (e. Observed scores). Mæling úr tilteknu prófi. Mælt gildi = Raungildi + Villa XT: Raungildi (e. True score). Meðaltal allra hugsanlegra mælinga við ólíkar aðstæður. XE: Villuþáttur (e. Error). Utanaðkomandi þættir sem hafa áhrif á (Xo = Xt + Xe) mælingu. Villa í mælingum á sér ýmsar rætur: Mælitækinu sjálfu Leiðbeiningum, orðalagi spurninga, svarkostum Framkvæmd mælingar Í hóp, fyrir framan matsmann, hvenær dags, hvenær árs Hver framkvæmir mælinguna Er samræmi í áreiðanleika milli matsmanna? 5 Fræðilegt dæmi Gögn sem ég safnaði Tæknilega vitum við ekki hvert raungildið er né villan. Út frá ákveðnum forsendum (e. assumptions) getum við dregið ályktun (e. estimate) um raungildið og villuna. 𝑠𝑒 =𝑠 1−𝑅 = 20,21 1 − 0,71 = 10,88 stig 6 3  2025-01-28 Grunnforsendur CTT 1. Mælt gildi er fall af raungildi og mæliskekkju: 𝑥̅ = 𝑥̅ + 𝑥̅ 2. Að villa sé tilviljunarkennd (e. random error): Villudreifing núllast út í þýði (𝑋 æ = 𝑅𝑎𝑢𝑛𝑔𝑖𝑙𝑑𝑖) Fylgni villu við raungildi stefnir að núlli, 𝑟 = 0 Um tvær mælingar gildir að: I. Fylgni raungildis á mælingu1 við villu á mælingu2 stefnir að núlli, 𝑟 =0 II. Fylgni raungildis á mælingu2 við villu á mælingu1 stefnir að núlli, 𝑟 =0 III. Fylgni villu á mælingu1 við villu á mælingu2 stefnir að núlli, 𝑟 =0 7 1. Mælt gildi er fall af raungildi og villu 𝑥̅ = 𝑥̅ + 𝑥̅ Við skoðum heildardreifingu (e. total variance) hjá hópi einstaklinga: 𝒔𝟐𝒐 = 𝒔𝟐𝒕 + 𝒔𝟐𝒆 Vitum aldrei hvert raungildið er með vissu. Drögum ályktanir um raungildi út frá mældu gildi og villuþætti. Gerum ráð fyrir að hverri mælingu fylgi einhver tilviljunarkennd skekkja. Raugildið er meðaltal allra hugsanlegra mældra gilda við ólíkar aðstæður. 8 4  2025-01-28 1. Mælt gildi er fall af raungildi og villu 𝑥̅ = 𝑥̅ + 𝑥̅ = + 𝒔𝟐𝒐 = 𝒔𝟐𝒕 + 𝒔𝟐𝒆 9 2. Að villa sé tilviljunarkennd 𝑋 æ = 𝑅𝑎𝑢𝑛𝑔𝑖𝑙𝑑𝑖 Ályktum um raungildið út frá endurteknum mælingum. Ef við endurtökum mælingar nógu oft gerum við ráð fyrir að villuþættir í mælingu núlli sjálfa sig út (meðaltal villu stefnir að 0). XO = XT + XE Ef 𝑋 = 0 þá er 𝑋 æ = 𝑅𝑎𝑢𝑛𝑔𝑖𝑙𝑑𝑖 10 5  2025-01-28 2𝑋 æ = 𝑅𝑎𝑢𝑛𝑔𝑖𝑙𝑑𝑖 Villan núllast út af því að hún er tilviljunarkennd (e. random error) = + 11 2. Að villa sé tilviljunarkennd I. Skekkjan er tilviljunarkennd og óháð raungildinu. Skekkjan er jafn líkleg til að hafa áhrif á þá sem skora hátt eða lágt á prófi. Umhverfisþættir sem hafa kerfisbundin áhrif á próftaka ógna áreiðanleika. II. Skekkja í mælingu1 á ekki að hafa áhrif á skekkju í mælingu2. Þættir eins og þreyta, æfing eða umhverfisþættir geta haft áhrif og verið ógn við áreiðanleika. III. Skekkja á einu prófi á ekki að hafa áhrif á raungildi í öðru prófi. 𝑠 = 𝑠 + 𝑠 + 2𝑟 𝑠 𝑠 , regla um dreifni slembibreyta 𝑠 = 𝑠 + 𝑠 + 0 , ef villan er tilviljunarkennd þá er fylgnin 0 𝒔𝟐𝒐 = 𝒔𝟐𝒕 + 𝒔𝟐𝒆 12 6  2025-01-28 2. Að villa sé tilviljunarkennd 13 Fjórar leiðir til þess að hugsa um áreiðanleika Tafla úr Psychometrics: An Introduction, Furr (2018). Raungildi Mælivilla Hlutfall af dreifni Áreiðanleiki er hlutfall Áreiðanleiki er skortur á dreifingar raungildis á móti villudreifingu dreifingu mælds gildis 𝒔𝟐𝒕 𝒔𝟐𝒆 𝑹𝑿𝑿 = 𝑹𝑿𝑿 = 𝟏 − 𝒔𝟐𝒐 𝒔𝟐𝒐 Fylgni Áreiðanleiki er fylgni á milli Áreiðanleiki er skortur á raungildis og mælds gildis í fylgni á milli mælds gildis öðru veldi og villunnar í öðru veldi 𝑹𝑿𝑿 = 𝒓𝟐𝒐𝒕 𝑹𝑿𝑿 = 𝟏 − 𝒓𝟐𝒐𝒆 14 7  2025-01-28 𝑅 = Hlutfall dreifni raungildis af mældum gildum 291,67 408,33 15 𝑅 =𝑟 Að hve miklu leyti mælt gildi skýrir dreifingu raungildis 0,84 16 8  2025-01-28 Frá forsendum til áreiðanleikastuðla Hliðstæð (Parallel) Próf uppfyllir allar forsendur CTT. Jafngild (Tau-equivalent). Próf uppfyllir flestar forsendur CTT. Nærri jafngild (Essentially tau- equivalent) Próf uppfyllir flestar forsendur CTT, en prófatriði eru misþung. Samstofna (Congeneric). Líkan sem setur minnstar takmarkanir á forsendur CTT. 17 Rönkkö, M., & Cho, E. (2020). An Updated Guideline for Assessing Discriminant Validity. Organizational Research Methods. https://doi.org/10.1177/1094428120968614 18 9  2025-01-28 Test Models Assumptions,a Implications, and Valid Indices of Reliability úr Næstum jafngild Hliðstæð Jafngild Samstofna Furr, R. M. (2021). Psychometrics (4th edition). SAGE Publications, Inc. (US). (Essentially Tau- (Parallel) (Tau-Equivalent) (Congeneric) Equivalent) Forsendur (e. Assumptions) Að villa sé tilviljunarkennd (forsenda 2 í CTT) Já Já Já Já Einvíð (e. Unidimensionality) Já Já Já Já Línuleg tengsl á milli raungildis og svarmynstra á prófi Já Já Já Já Hallatala (e. slope) raungildis b = 1 (þáttahleðslur í þáttagreiningu) Já Já Já Nei Skurðpunktur (e. intercept) raungildis a = 0 Já Já Nei Nei Dreifni villu er eins (t.d. s2e1 = s2e2 ) Já Nei Nei Nei Áhrif (e. Implications) CTT: 𝑋 =𝑋 𝑋 =𝑋 𝑋 =𝑎+𝑋 𝑋 = 𝑎 + 𝑏𝑋 𝑟 = 1.0 Já Já Já Já 𝑠 =𝑠 Já Já Já Nei 𝑋 =𝑋 Já Já Nei Nei 𝑋 =𝑋 Já Já Nei Nei 𝑅 =𝑅 og 𝑟 =𝑟 Já Nei Nei Nei 𝑠 =𝑠 Já Nei Nei Nei Tegundir áreiðanleikastuðla Hliðstæð próf (e. Alternate forms) Já Nei Nei Nei Endurprófunar áreiðanleiki (e. Test–retest) Já Nei Nei Nei Helmingunar áreiðanleiki (e. Split-half) Já Nei Nei Nei Alpha Já Já Já Nei Omega Já Já Já Já 19 10