Podcast
Questions and Answers
Í samhengi áreiðanleikastuðla, hvaða fullyrðing lýsir best forsendum fyrir notkun hliðstæðra prófa (e. Alternate forms) þegar metið er samræmi milli mælinga?
Í samhengi áreiðanleikastuðla, hvaða fullyrðing lýsir best forsendum fyrir notkun hliðstæðra prófa (e. Alternate forms) þegar metið er samræmi milli mælinga?
- Hliðstæð próf eru aðeins nothæf ef mælingarnar eru fullkomlega óháðar hver annarri, þannig að engin fylgni er á milli þeirra.
- Hliðstæð próf krefjast þess að mælingarnar hafi sömu dreifingu, en gera ekki ráð fyrir neinni sérstakri fylgni milli þeirra eða við aðrar breytur.
- Hliðstæð próf krefjast þess að meðaltal og staðalfrávik mælinga séu nákvæmlega eins, en þurfa ekki að uppfylla strangar kröfur um fylgni.
- Hliðstæð próf gera ráð fyrir því að mælingarnar séu í raun hliðstæðar, þ.e. þær mæli sama fyrirbæri og hafi sömu dreifingu og fylgni við aðrar breytur. (correct)
Í hvaða tilvikum er endurprófunar áreiðanleiki (e. Test-retest reliability) talinn vera óviðeigandi aðferð til að meta áreiðanleika mælinga, og hvers vegna?
Í hvaða tilvikum er endurprófunar áreiðanleiki (e. Test-retest reliability) talinn vera óviðeigandi aðferð til að meta áreiðanleika mælinga, og hvers vegna?
- Þegar um er að ræða breytur sem eru mældar með mjög nákvæmum tækjum, þar sem minnstu breytingar geta haft óveruleg áhrif á niðurstöðurnar.
- Þegar um er að ræða breytur sem eru mældar með staðlaðri aðferðafræði, þar sem aðferðin tryggir áreiðanleika óháð tíma.
- Þegar um er að ræða breytur sem eru háðar minnisáhrifum eða breytast náttúrulega yfir tíma, þar sem seinni mælingar geta verið ónákvæmar vegna fyrri reynslu. (correct)
- Þegar um er að ræða breytur sem eru stöðugar yfir tíma, þar sem endurteknar mælingar gefa alltaf sömu niðurstöðu.
Í hvaða samhengi er helmingunaraðferðin (e. split-half reliability) við áreiðanleikamælingu talin vera óhentug eða gefa villandi niðurstöður?
Í hvaða samhengi er helmingunaraðferðin (e. split-half reliability) við áreiðanleikamælingu talin vera óhentug eða gefa villandi niðurstöður?
- Þegar prófefni eru mjög einsleit og mæla nákvæmlega sama þátt, þar sem helmingunin gefur of hátt mat á áreiðanleika.
- Þegar prófefni eru lögð fyrir stóran hóp einstaklinga, þar sem helmingunin er óþörf vegna stærðar úrtaksins.
- Þegar prófefni eru hönnuð til að vera eins erfið, þar sem helmingunin jafnar út erfiðleikastigið.
- Þegar prófefni eru fjölbreytt og mæla mismunandi þætti, þar sem helmingunin getur vanmetið áreiðanleika vegna skorts á innri samkvæmni. (correct)
Í áreiðanleikafræði, hvaða áhrif hefur aukin breytileiki í úrtaki á mat á áreiðanleikastuðli, að öllu öðru jöfnu?
Í áreiðanleikafræði, hvaða áhrif hefur aukin breytileiki í úrtaki á mat á áreiðanleikastuðli, að öllu öðru jöfnu?
Hvaða tölfræðilega forsenda er mikilvægust þegar áreiðanleiki er metinn með Cronbach's alfa?
Hvaða tölfræðilega forsenda er mikilvægust þegar áreiðanleiki er metinn með Cronbach's alfa?
Hvaða áhrif hefur það á áreiðanleikastuðul ef próflengd er aukin, að öllu öðru jöfnu?
Hvaða áhrif hefur það á áreiðanleikastuðul ef próflengd er aukin, að öllu öðru jöfnu?
Í áreiðanleikafræði, hver er helsti munurinn á staðalvillu mælingar (SEM) og áreiðanleikastuðli?
Í áreiðanleikafræði, hver er helsti munurinn á staðalvillu mælingar (SEM) og áreiðanleikastuðli?
Hvernig hefur lækkun á áreiðanleikastuðli prófs áhrif á breidd öryggisbilsins (e. confidence interval) fyrir raunverulegt skor einstaklings, að öllu öðru jöfnu?
Hvernig hefur lækkun á áreiðanleikastuðli prófs áhrif á breidd öryggisbilsins (e. confidence interval) fyrir raunverulegt skor einstaklings, að öllu öðru jöfnu?
Í aðhvarfi að meðaltali (e. regression to the mean), hvernig myndi leiðrétting á punktgildi (e. point estimate) einstaklings breytast ef áreiðanleiki prófsins nálgast núll?
Í aðhvarfi að meðaltali (e. regression to the mean), hvernig myndi leiðrétting á punktgildi (e. point estimate) einstaklings breytast ef áreiðanleiki prófsins nálgast núll?
Í hvaða tilvikum væri notkun punktgildis (e. point estimate) ásættanleg, jafnvel þótt það sé vitað að það felur í sér ákveðna óvissu?
Í hvaða tilvikum væri notkun punktgildis (e. point estimate) ásættanleg, jafnvel þótt það sé vitað að það felur í sér ákveðna óvissu?
Hvernig tengist staðalvilla mælingar (e. standard error of measurement) og áreiðanleiki prófs? Hvernig hefur breyting á annarri áhrif á hina?
Hvernig tengist staðalvilla mælingar (e. standard error of measurement) og áreiðanleiki prófs? Hvernig hefur breyting á annarri áhrif á hina?
Í íþróttasálfræði, ef þjálfari metur hæfileika knattspyrnumanns með óáreiðanlegu mati, hvernig getur þjálfarinn notað aðhvarf að meðaltali (e. regression to the mean) til að bæta spár sínar um frammistöðu leikmannsins í næstu leikjum?
Í íþróttasálfræði, ef þjálfari metur hæfileika knattspyrnumanns með óáreiðanlegu mati, hvernig getur þjálfarinn notað aðhvarf að meðaltali (e. regression to the mean) til að bæta spár sínar um frammistöðu leikmannsins í næstu leikjum?
Hvernig hefur breyting á áreiðanleika mælitækis bein áhrif á staðalvillu mælingar, að því gefnu að staðalfrávik haldist óbreytt?
Hvernig hefur breyting á áreiðanleika mælitækis bein áhrif á staðalvillu mælingar, að því gefnu að staðalfrávik haldist óbreytt?
Í rannsókn þar sem staðalfrávik mælinga er 15 einingar, hvaða áreiðanleiki myndi leiða til staðalvillu sem er jöfn helmingi staðalfráviksins?
Í rannsókn þar sem staðalfrávik mælinga er 15 einingar, hvaða áreiðanleiki myndi leiða til staðalvillu sem er jöfn helmingi staðalfráviksins?
Hvernig er hægt að túlka áreiðanleika mælinga í samhengi við hlutfall raunverulegrar breytileika og heildarbreytileika?
Hvernig er hægt að túlka áreiðanleika mælinga í samhengi við hlutfall raunverulegrar breytileika og heildarbreytileika?
Í hvaða tilviki gæti staðalvilla mælingar verið meiri en staðalfrávik mælinga, og hvaða ályktanir má draga af því?
Í hvaða tilviki gæti staðalvilla mælingar verið meiri en staðalfrávik mælinga, og hvaða ályktanir má draga af því?
Hvaða áhrif hefur það á staðalvillu mælingar ef áreiðanleiki mælitækis er metinn sem 0?
Hvaða áhrif hefur það á staðalvillu mælingar ef áreiðanleiki mælitækis er metinn sem 0?
Hvaða aðferð er best til þess að meta áreiðanleika mælinga í langtímarannsókn þar sem sömu einstaklingar eru mældir margoft yfir áratug?
Hvaða aðferð er best til þess að meta áreiðanleika mælinga í langtímarannsókn þar sem sömu einstaklingar eru mældir margoft yfir áratug?
Í hvaða tilvikum myndi það skipta mestu máli að nota staðalvillu mælingar frekar en staðalfrávik þegar ákvarðanir eru teknar út frá mælingum?
Í hvaða tilvikum myndi það skipta mestu máli að nota staðalvillu mælingar frekar en staðalfrávik þegar ákvarðanir eru teknar út frá mælingum?
Hvernig getur kerfisbundin villa (systematic bias) haft áhrif á túlkun á staðalvillu mælinga?
Hvernig getur kerfisbundin villa (systematic bias) haft áhrif á túlkun á staðalvillu mælinga?
Í ljósi þess að hægt er að túlka áreiðanleika sem $R = 1 - (villubreytileiki / heildarbreytileiki)$, hvaða ályktun má draga ef villubreytileiki er meiri en heildarbreytileiki?
Í ljósi þess að hægt er að túlka áreiðanleika sem $R = 1 - (villubreytileiki / heildarbreytileiki)$, hvaða ályktun má draga ef villubreytileiki er meiri en heildarbreytileiki?
Hvernig getur stjórnandi dregið úr staðalvillu mælinga í stóru gagnasafni sem safnað er með sjálfvirkum skynjurum?
Hvernig getur stjórnandi dregið úr staðalvillu mælinga í stóru gagnasafni sem safnað er með sjálfvirkum skynjurum?
Hvernig hefur einsleitni próftaka áhrif á áreiðanleika mælinga og hvernig er hægt að bregðast við því til að auka áreiðanleikann?
Hvernig hefur einsleitni próftaka áhrif á áreiðanleika mælinga og hvernig er hægt að bregðast við því til að auka áreiðanleikann?
Hvers vegna er áreiðanleiki sagður vera úrtaksbundinn og hvaða þýðingu hefur þetta fyrir alhæfingar byggðar á mælingum?
Hvers vegna er áreiðanleiki sagður vera úrtaksbundinn og hvaða þýðingu hefur þetta fyrir alhæfingar byggðar á mælingum?
Hvernig metur helmingunaráreiðanleiki innri áreiðanleika prófs og hvaða áskoranir fylgja því að beita þessari aðferð?
Hvernig metur helmingunaráreiðanleiki innri áreiðanleika prófs og hvaða áskoranir fylgja því að beita þessari aðferð?
Gefið að $r_{hh}$ tákni fylgnistuðul milli tveggja helminga prófs, hvaða fullyrðing lýsir best hvernig áreiðanleiki alls prófsins ($R_{XX}$) er reiknaður samkvæmt Spearman-Brown formúlunni og hvers vegna er þessi leið notuð?
Gefið að $r_{hh}$ tákni fylgnistuðul milli tveggja helminga prófs, hvaða fullyrðing lýsir best hvernig áreiðanleiki alls prófsins ($R_{XX}$) er reiknaður samkvæmt Spearman-Brown formúlunni og hvers vegna er þessi leið notuð?
Hver er helsti kosturinn og helsti gallinn við að nota helmingunaraðferðina til að meta áreiðanleika, og hvaða aðrar aðferðir gætu hentað betur í ákveðnum tilvikum?
Hver er helsti kosturinn og helsti gallinn við að nota helmingunaraðferðina til að meta áreiðanleika, og hvaða aðrar aðferðir gætu hentað betur í ákveðnum tilvikum?
Hvernig getur fjöldi atriða í prófi haft áhrif á innri áreiðanleika samkvæmt CCT (Classical Test Theory) og hvaða takmarkanir eru á þessu sambandi?
Hvernig getur fjöldi atriða í prófi haft áhrif á innri áreiðanleika samkvæmt CCT (Classical Test Theory) og hvaða takmarkanir eru á þessu sambandi?
Í hvaða aðstæðum væri helmingunaráreiðanleiki sérstaklega óhentugur og hvaða aðrar aðferðir við áreiðanleikamælingu væru þá ráðlegri?
Í hvaða aðstæðum væri helmingunaráreiðanleiki sérstaklega óhentugur og hvaða aðrar aðferðir við áreiðanleikamælingu væru þá ráðlegri?
Hvernig getur breytileiki (e. variance) í raungildum (e. true scores) og villum (e. errors) haft áhrif á áreiðanleika mælinga og hvaða ályktanir má draga af því?
Hvernig getur breytileiki (e. variance) í raungildum (e. true scores) og villum (e. errors) haft áhrif á áreiðanleika mælinga og hvaða ályktanir má draga af því?
Hvaða áhrif hefur það á áreiðanleika prófs ef próftakendur eru mjög einsleitur hópur m.t.t. eiginleikans sem verið er að mæla, og hvernig getur þetta haft áhrif á notkun prófsins í mismunandi hópum?
Hvaða áhrif hefur það á áreiðanleika prófs ef próftakendur eru mjög einsleitur hópur m.t.t. eiginleikans sem verið er að mæla, og hvernig getur þetta haft áhrif á notkun prófsins í mismunandi hópum?
Ímyndaðu þér að þú sért að þróa nýtt sálfræðilegt próf til að mæla kvíða. Hvernig myndir þú nýta þér skilning á hugtökunum 'innri áreiðanleiki' og 'helmingunaráreiðanleiki' til að tryggja að prófið sé áreiðanlegt?
Ímyndaðu þér að þú sért að þróa nýtt sálfræðilegt próf til að mæla kvíða. Hvernig myndir þú nýta þér skilning á hugtökunum 'innri áreiðanleiki' og 'helmingunaráreiðanleiki' til að tryggja að prófið sé áreiðanlegt?
Í samhengi við áreiðanleikaútreikninga, hvernig myndi hagnýttur sálfræðingur greina á milli notkunar á Cronbach's Alpha og Mc зондонald's Omega, miðað við undirliggjandi forsendur um villuafbrigði atriða og áhrif þeirra á heildarmat áreiðanleikans?
Í samhengi við áreiðanleikaútreikninga, hvernig myndi hagnýttur sálfræðingur greina á milli notkunar á Cronbach's Alpha og Mc зондонald's Omega, miðað við undirliggjandi forsendur um villuafbrigði atriða og áhrif þeirra á heildarmat áreiðanleikans?
Íhugaðu rannsókn þar sem notast er við split-half aðferðina til að meta áreiðanleika. Hvaða tölfræðilega aðferð væri viðeigandi til þess að leiðrétta fyrir undirmati á áreiðanleika sem hlýst af því að helminga mælitækið, og hvernig hefur sú leiðrétting áhrif á túlkun á áreiðanleikastuðlinum?
Íhugaðu rannsókn þar sem notast er við split-half aðferðina til að meta áreiðanleika. Hvaða tölfræðilega aðferð væri viðeigandi til þess að leiðrétta fyrir undirmati á áreiðanleika sem hlýst af því að helminga mælitækið, og hvernig hefur sú leiðrétting áhrif á túlkun á áreiðanleikastuðlinum?
Íhugaðu klíníska rannsókn þar sem áreiðanleiki mats á geðröskunum er metinn með Cohen's Kappa stuðlinum. Hvaða gildissvið stuðulsins gefur til kynna viðunandi samræmi milli matsmanna til að tryggja trúverðugar ályktanir um útbreiðslu og eðli geðraskana í rannsóknarúrtakinu?
Íhugaðu klíníska rannsókn þar sem áreiðanleiki mats á geðröskunum er metinn með Cohen's Kappa stuðlinum. Hvaða gildissvið stuðulsins gefur til kynna viðunandi samræmi milli matsmanna til að tryggja trúverðugar ályktanir um útbreiðslu og eðli geðraskana í rannsóknarúrtakinu?
Í samhengi við áreiðanleikamælingu, hvaða aðferðafræðilegu útfærslur myndu best tryggja að endurteknar mælingar (test-retest) á flóknum sálfræðilegum eiginleikum endurspegli raunverulegan stöðugleika eiginleikans frekar en mælingavillur eða breytingar af völdum ytri þátta?
Í samhengi við áreiðanleikamælingu, hvaða aðferðafræðilegu útfærslur myndu best tryggja að endurteknar mælingar (test-retest) á flóknum sálfræðilegum eiginleikum endurspegli raunverulegan stöðugleika eiginleikans frekar en mælingavillur eða breytingar af völdum ytri þátta?
Íhugaðu að þú sért að hanna rannsókn til að meta áreiðanleika nýs sálfræðilegs mats sem ætlað er að mæla flókið hugsmíði. Hvaða samsetning af áreiðanleikaaðferðum myndi veita yfirgripsmestu og trúverðugustu vísbendingar um gæði matsins?
Íhugaðu að þú sért að hanna rannsókn til að meta áreiðanleika nýs sálfræðilegs mats sem ætlað er að mæla flókið hugsmíði. Hvaða samsetning af áreiðanleikaaðferðum myndi veita yfirgripsmestu og trúverðugustu vísbendingar um gæði matsins?
Hvernig ætti að túlka marktækt lága fylgni í split-half áreiðanleikaprófi í ljósi þess að mælitækið er hannað til þess að meta eitt og sérstakt hugsmíði?
Hvernig ætti að túlka marktækt lága fylgni í split-half áreiðanleikaprófi í ljósi þess að mælitækið er hannað til þess að meta eitt og sérstakt hugsmíði?
Í rannsókn þar sem meta á áreiðanleika flókins klínísks viðtals með mati á samræmi milli matsmanna, hvernig ætti að meta og meðhöndla mögulegar ósamræmi í mati sem koma upp vegna mismunandi túlkana á viðmiðum eða breytileika í atferlismati?
Í rannsókn þar sem meta á áreiðanleika flókins klínísks viðtals með mati á samræmi milli matsmanna, hvernig ætti að meta og meðhöndla mögulegar ósamræmi í mati sem koma upp vegna mismunandi túlkana á viðmiðum eða breytileika í atferlismati?
Íhugaðu rannsókn þar sem notast er við endurteknar mælingar (test-retest) til að meta áreiðanleika spurningalista sem mælir skapgerðarbreytur. Hvernig gæti meðvitaður eða ómeðvitaður tilhneiging svarenda til að svara á ákveðinn hátt (e. response bias) haft áhrif á túlkun á áreiðanleikastuðlinum?
Íhugaðu rannsókn þar sem notast er við endurteknar mælingar (test-retest) til að meta áreiðanleika spurningalista sem mælir skapgerðarbreytur. Hvernig gæti meðvitaður eða ómeðvitaður tilhneiging svarenda til að svara á ákveðinn hátt (e. response bias) haft áhrif á túlkun á áreiðanleikastuðlinum?
Í samhengi við áreiðanleika, hvernig myndi notkun á tölfræðilegum aðferðum eins og almennum línulegum módelum (e. general linear models) eða blönduðum áhrifamódelum (e. mixed-effects models) bæta túlkun á áreiðanleikastuðlum, sérstaklega þegar unnið er með endurteknar mælingar eða gögn frá mörgum matsmönnum?
Í samhengi við áreiðanleika, hvernig myndi notkun á tölfræðilegum aðferðum eins og almennum línulegum módelum (e. general linear models) eða blönduðum áhrifamódelum (e. mixed-effects models) bæta túlkun á áreiðanleikastuðlum, sérstaklega þegar unnið er með endurteknar mælingar eða gögn frá mörgum matsmönnum?
Flashcards
Áreiðanleiki þegar X = X
Áreiðanleiki þegar X = X
Í CTT, þegar X = X, er áreiðanleiki stuðullinn 1.0.
Staðalfrávik (s=s)
Staðalfrávik (s=s)
Í CTT, þegar staðalfrávik (s) er jafnt staðalfráviki (s), er stuðullinn 'Já'.
X = X í CTT
X = X í CTT
Í CTT, þegar X er jafnt X, er áreiðanleiki 'Já'.
X' = X í CTT
X' = X í CTT
Signup and view all the flashcards
Hliðstæð próf
Hliðstæð próf
Signup and view all the flashcards
Endurprófunar áreiðanleiki
Endurprófunar áreiðanleiki
Signup and view all the flashcards
Helmingunar áreiðanleiki
Helmingunar áreiðanleiki
Signup and view all the flashcards
Hvað eru áreiðanleikastuðlar?
Hvað eru áreiðanleikastuðlar?
Signup and view all the flashcards
Endurtekningar áreiðanleiki
Endurtekningar áreiðanleiki
Signup and view all the flashcards
Innri áreiðanleiki
Innri áreiðanleiki
Signup and view all the flashcards
"True score"
"True score"
Signup and view all the flashcards
Atriði sem mini-próf
Atriði sem mini-próf
Signup and view all the flashcards
Skipt-í-tvennt áreiðanleiki
Skipt-í-tvennt áreiðanleiki
Signup and view all the flashcards
Alpha stuðull
Alpha stuðull
Signup and view all the flashcards
Omega stuðull
Omega stuðull
Signup and view all the flashcards
Einsleitni og áreiðanleiki
Einsleitni og áreiðanleiki
Signup and view all the flashcards
Fjölbreytni og áreiðanleiki
Fjölbreytni og áreiðanleiki
Signup and view all the flashcards
Úrtaksbundið áreiðanleika
Úrtaksbundið áreiðanleika
Signup and view all the flashcards
Fjöldi atriða og áreiðanleiki
Fjöldi atriða og áreiðanleiki
Signup and view all the flashcards
Helmingunarfylgni
Helmingunarfylgni
Signup and view all the flashcards
Formúla helmingunaráreiðanleika
Formúla helmingunaráreiðanleika
Signup and view all the flashcards
Vandi við helmingun
Vandi við helmingun
Signup and view all the flashcards
Mælivilla
Mælivilla
Signup and view all the flashcards
Raungildi (True Score)
Raungildi (True Score)
Signup and view all the flashcards
Punktgildi
Punktgildi
Signup and view all the flashcards
Aðhvarf að meðaltali
Aðhvarf að meðaltali
Signup and view all the flashcards
Aðhvarfsleiðrétting
Aðhvarfsleiðrétting
Signup and view all the flashcards
Öryggisbil
Öryggisbil
Signup and view all the flashcards
Öryggi öryggisbils
Öryggi öryggisbils
Signup and view all the flashcards
Hvað gefur staðalvilla til kynna?
Hvað gefur staðalvilla til kynna?
Signup and view all the flashcards
Hvað þýðir há staðalvilla?
Hvað þýðir há staðalvilla?
Signup and view all the flashcards
Hvað fylgir háari staðalvillu?
Hvað fylgir háari staðalvillu?
Signup and view all the flashcards
Hver er staðalvillan þegar R = 1?
Hver er staðalvillan þegar R = 1?
Signup and view all the flashcards
Hvað gerist fyrir áreiðanleika ef staðalvillan hækkar?
Hvað gerist fyrir áreiðanleika ef staðalvillan hækkar?
Signup and view all the flashcards
Til hvers er áreiðanleiki notaður?
Til hvers er áreiðanleiki notaður?
Signup and view all the flashcards
Hver er formúlan fyrir staðalvillu mælingar (sem)?
Hver er formúlan fyrir staðalvillu mælingar (sem)?
Signup and view all the flashcards
Hver er hámarksstærð staðalvillu?
Hver er hámarksstærð staðalvillu?
Signup and view all the flashcards
Hvað táknar staðalvillan (sem)?
Hvað táknar staðalvillan (sem)?
Signup and view all the flashcards
Hvernig er áreiðanleiki reiknaður út frá staðalvillu og staðalfráviki?
Hvernig er áreiðanleiki reiknaður út frá staðalvillu og staðalfráviki?
Signup and view all the flashcards
Study Notes
- The lecture discusses Reliability and Reliability Coefficients.
- Apply the model to ultimately infer reliability.
- The lecture took place on February 4th, 2025.
Topics Discussed
- From assumptions to reliability coefficients
- Reliability coefficients
- The effect of reliability on measurement
Reliability Coefficients
- The reliability of tests is theoretical, not directly seen in real-world situations.
- Conclusions can be made about reliability and error using empirical data rooted in observation.
Measured Value Components
- Measured Value = True Value + Error
True Value Equation
- True Value = What we wish a test to measure
- True Value is a target
Proportions of Variance
- Proportion of variance of true values against the variance of measured values
- Looks at true values in order to evaluate the variance of measured values
Formulas
- Áreiðanleiki = Rxx
- Rxx = Variance of True Value / Variance of Measured Value
- Rxx = 1 − Variance of Error / Variance of Variance of Measured Value
Correlation
- Correlation of true values and measured values squared
- Rxx = rot
- Deficiency of correlation between measured value and square of error
- Rxx = 1 − roe
Reliability: From Theory to Practice
- Memory tests involve participants memorizing letters with their ability to repeat them then assessed.
- It’s a test of active and working memory
- Reliability is the correlation between true values and measured values squared.
- Focus on the data
- Examines the correlation between measurements to find reliability.
- Reliability = rtime1time2^2 = (0.96)^2 = 0.92
- The correlation between these two measurements is the reliability of the test.
- Cor(time1, time2) =0.96
- The correlation between these two measurements is the test's reliability.
- r(tíma1,tíma2) = 0.96. This correlation is the test's reliability.
From Assumptions to Reliability Coefficients
- The previous slide assumes the test is parallel.
Types of Reliabilities
Parallel
- The test satisfies all assumptions of Classical Test Theory (CTT).
Tau-equivalent
- The test fulfills most CTT assumptions.
Essentially Equivalent
- The test fulfills most CTT assumptions, but items vary in weight.
Congeneric
- The model places minimal restrictions on CTT assumptions.
- These assumptions affect how reliability is assessed.
Parallel testing
- Equal covariances, equal variances.
- That which is hoped to be assessed
- Equal covariances, variances may differ.
- Overly broad
- Covariances and variances may differ
Test-takers Performance
- The only thing that matters to a coeval scale, is that the line is correct
- The only thing that matters for congenetic is that the order is always right
Test Models
- Summarized from "Test Models Assumptions, and Implications, and Valid Indices of Reliability" from Furr, 2021.
Assumptions
- Error is random in CTT
- Unidimensionality
Linear Associations Within a Test
- Slope of true values b=1
- X1 = X2 = 1
- Intercept of true values a=0
Types of Reliability Coefficients
- Alternate forms
- Test-retest
- Split-half
- Alpha
- Omega
Types of Assessment
- Parallel testing Does not meet assumptions
- Endurprófunar- Test-Retest Does not meet assumptions
- Helmingunar - Split-Half Does not meet assumptions
- Alpha meets all
- Omega meets all
Types of Error
- Sample of test items (content sampling) Helmingunar - Split-Half Alternate Forms
- Change in test-takers (Stability) Endurprófunar - Test-Retest
- Consistency of raters Stöðugleiki Matmanna-Inter-rater reliability
Types of Reliability Tests
- Reliability of parallel tests
- Two test versions should yield the same results
- Internal- How well the items are connected.
- Ehv true score will come up in all test items
- Each question is a mini test
- What happens to you effects the answers you are going to give
- It will not measure what it intends to measure
Parallel Forms Reliability
- If two tests are parallel, examines the correlation between them
- Two test versions for the students
- The correlation is then the reliability coefficient of parallel tests.
Requirements for Parallel Testing
- True values of versions 1 and 2 are equal.
- Error variance of versions 1 and 2 are equal.
- Error is random
- Risk of carryover effect
- Solved by dividing the two groups
Test-Retest Reliability
Steps of the test
- Same individual takes the same test after some time.
- Fewer problems versus parallel as it is the same test.
Procedure
- Administer the same test twice.
- Examine correlations between time points 1 and 2.
- Correlation is the test-retest reliability coefficient.
- Provides information on stability of construct.
Conditions
- True Value of Version 1 should stay the same in version 2
- Must have same variation from each other
- Error must be random, which mirrors the Classical Test Theory
Internal Reliability
Breakdown of items
- Each test comprises a set of items.
- Treat parts of the item set as a separate test.
Test Design
- Correlation between test parts or items then becomes internal reliability.
- High correlation indicates internal consistency.
Length impact
- Test length often has an impact on internal reliability.
- Longer tests are likely to have higher reliability than shorter tests.
- Adding test items increases true value variance more than error enhancing reliability.
Homogeneity
- Sample homogeneity impacts internal reliability.
- Uniform test-takers are likely to lower reliability because the variance is low.
Hetrogenity impact
- Increasing heterogeneity of true value increases reliability.
- Reliability is sample-contingent
Affect of Items
- The model doesn't account for other elements influencing high reliability.
- Number of test items have an impact on internal reliability in CCT
Split-Half Reliability
- Simplest and oldest method.
- Divide the given test into two
- It will effect the answers you are going to give
Helmingunaráreiðanleiki Equation
- Rxx= 2rhh / 1+rhh - where h is the test half.
- Examine correlation split into half
- Problem on how to fairly split a test
Internal Reliability Correlation
- Correlation between different test parts varies, with it being an indicator that they don't measure quite the same things
Cornbachs alpha
- Average of all possible split-half reliabilities.
- The Alpha approach is not as strict about assumptions
- Assumes the profiles from each division are the same
Cornbachs alpha/ KR20 Equation
- Cornbachs alpha = ( k / k-1) * (1 - variance of items/ S2
- k = quantity of items in profit
- ∑cii = Sum of comovement in all items
- S^2 = variance in total
True or False answers for alpha
- Uses the same idea as alpha, but uses
- alpha for 2 values
- Mean of total divided by range of sum of total is not possible to change in alpha pq/( total variance)/ sigma *2
Item Analysis
- Item 05 has biggest influence on if an item is to be dropped
- This causes a lower alpha rating
- See where there are high errors and what is wrong with them
- Item mean and SD
Omega Measurements
- Calculated through factor analysis - get sign and noise information
- There is more to the data than true and false
- Sign can be related to attribute loading
- Sign shows how closely someone is related to underlying attributes of factor
Statistical Significance
- Formula with all components
- How to measure components and numbers
- Metið áreiðanleikann út frá þáttahleðslunum
Reliability vs Truescene values
Omega-Reliability Correlation
- Test or Homogeneity
- robust F statistical is 1.474 with a p-value of 0.0881
- The omega is 0.9083697.
Reliability and standard measurement
- The standard error of measurement gives the average error of measurement
SEM Formula
- SEM = Sqrt(Variance) * Sqrt(1 * ReliabilityCoefficient)
- Reliability is at par with measurement, is a benefit
Factors of SEM
- The higher the reliability the lower the SEM
- Cost is the factor that is there is the evaluation of the error with real, measured values
Reliability and standard errors
Factors of Reliability
- Standard error indicates a normal distribution
- One number is very clear for error - which is good to have
- Hight standard error, there is an error
- The lower it is - the higher the certainty will be
Point values
Using measurement
- Measured score of an individual that can be used to predict truename score of individual
- Point values can have certain reliability as we have only 1 measurement
Regression of variables
- Regression to the MEAN
- Regression to the mean - People give extreme values and change and evolve when something change
- People may give answers that are incorrect - point of bias to their answer
- Cannot get to get past averages and scores - Cannot find reliability with the process
Value of correction
Correction is the measure of knowing scores and means
- Can only guide to a certain degree
- Cannot always be accurate due to several factors
- Give value through value
Interval of trust
- Can give a value when it is very reliable, with it having value to us
- Use data and points to guide to an area - in which an error will be given
Percentages for test scores
Give interval through Standard deviation
- Standard Deviation is accurate in this situation
- Find the values
Affect of error of trust
- Trust is effect by Reliability
- Affects are also known by test scores
Factors on scores
- Value and certainty in evaluation by error
- Affect of evaluation can very in trust and reliability
Effect of error on a test
- Noise from upper noise
- Can be lead a data from low level
Statistics
- Statistical analysis is changed and valued
- Analytic context through statistics is important
Real value on graphs
Graphing information
Graph points affect distribution analysis
Distribution is vital to measuring info
- Want to max information so it can be viable
If information goes against the values
- Then there will be value that the person does not fully represent
Two kinds of ways to evaluate
- Sealing and Ground effect
Low scores do not represent those tests fully
- If there are errors than it is likely some factor has not represented fully
Studying That Suits You
Use AI to generate personalized quizzes and flashcards to suit your learning preferences.