Áreiðanleiki og stuðlar

Choose a study mode

Play Quiz
Study Flashcards
Spaced Repetition
Chat to Lesson

Podcast

Play an AI-generated podcast conversation about this lesson
Download our mobile app to listen on the go
Get App

Questions and Answers

Í samhengi áreiðanleikastuðla, hvaða fullyrðing lýsir best forsendum fyrir notkun hliðstæðra prófa (e. Alternate forms) þegar metið er samræmi milli mælinga?

  • Hliðstæð próf eru aðeins nothæf ef mælingarnar eru fullkomlega óháðar hver annarri, þannig að engin fylgni er á milli þeirra.
  • Hliðstæð próf krefjast þess að mælingarnar hafi sömu dreifingu, en gera ekki ráð fyrir neinni sérstakri fylgni milli þeirra eða við aðrar breytur.
  • Hliðstæð próf krefjast þess að meðaltal og staðalfrávik mælinga séu nákvæmlega eins, en þurfa ekki að uppfylla strangar kröfur um fylgni.
  • Hliðstæð próf gera ráð fyrir því að mælingarnar séu í raun hliðstæðar, þ.e. þær mæli sama fyrirbæri og hafi sömu dreifingu og fylgni við aðrar breytur. (correct)

Í hvaða tilvikum er endurprófunar áreiðanleiki (e. Test-retest reliability) talinn vera óviðeigandi aðferð til að meta áreiðanleika mælinga, og hvers vegna?

  • Þegar um er að ræða breytur sem eru mældar með mjög nákvæmum tækjum, þar sem minnstu breytingar geta haft óveruleg áhrif á niðurstöðurnar.
  • Þegar um er að ræða breytur sem eru mældar með staðlaðri aðferðafræði, þar sem aðferðin tryggir áreiðanleika óháð tíma.
  • Þegar um er að ræða breytur sem eru háðar minnisáhrifum eða breytast náttúrulega yfir tíma, þar sem seinni mælingar geta verið ónákvæmar vegna fyrri reynslu. (correct)
  • Þegar um er að ræða breytur sem eru stöðugar yfir tíma, þar sem endurteknar mælingar gefa alltaf sömu niðurstöðu.

Í hvaða samhengi er helmingunaraðferðin (e. split-half reliability) við áreiðanleikamælingu talin vera óhentug eða gefa villandi niðurstöður?

  • Þegar prófefni eru mjög einsleit og mæla nákvæmlega sama þátt, þar sem helmingunin gefur of hátt mat á áreiðanleika.
  • Þegar prófefni eru lögð fyrir stóran hóp einstaklinga, þar sem helmingunin er óþörf vegna stærðar úrtaksins.
  • Þegar prófefni eru hönnuð til að vera eins erfið, þar sem helmingunin jafnar út erfiðleikastigið.
  • Þegar prófefni eru fjölbreytt og mæla mismunandi þætti, þar sem helmingunin getur vanmetið áreiðanleika vegna skorts á innri samkvæmni. (correct)

Í áreiðanleikafræði, hvaða áhrif hefur aukin breytileiki í úrtaki á mat á áreiðanleikastuðli, að öllu öðru jöfnu?

<p>Aukinn breytileiki getur leitt til hærri áreiðanleikastuðuls, að því gefnu að mælitækið nái að greina muninn á milli einstaklinga með mismunandi einkenni. (D)</p> Signup and view all the answers

Hvaða tölfræðilega forsenda er mikilvægust þegar áreiðanleiki er metinn með Cronbach's alfa?

<p>Cronbach's alfa gerir ráð fyrir að öll atriði mæli sama hugsmíð, en krefst ekki jafnrar dreifingu. (D)</p> Signup and view all the answers

Hvaða áhrif hefur það á áreiðanleikastuðul ef próflengd er aukin, að öllu öðru jöfnu?

<p>Aukin próflengd leiðir alltaf til hærri áreiðanleikastuðuls, vegna þess að hún dregur úr áhrifum tilviljunarkenndra villna. (C)</p> Signup and view all the answers

Í áreiðanleikafræði, hver er helsti munurinn á staðalvillu mælingar (SEM) og áreiðanleikastuðli?

<p>SEM metur væntanlegt frávik einstaklings frá raunverulegu skori, en áreiðanleikastuðullinn mælir hlutfall raunverulegs breytileika af heildarbreytileika. (C)</p> Signup and view all the answers

Hvernig hefur lækkun á áreiðanleikastuðli prófs áhrif á breidd öryggisbilsins (e. confidence interval) fyrir raunverulegt skor einstaklings, að öllu öðru jöfnu?

<p>Breidd öryggisbilsins eykst, þar sem óvissan um raunverulegt skor einstaklingsins eykst vegna minni áreiðanleika. (C)</p> Signup and view all the answers

Í aðhvarfi að meðaltali (e. regression to the mean), hvernig myndi leiðrétting á punktgildi (e. point estimate) einstaklings breytast ef áreiðanleiki prófsins nálgast núll?

<p>Leiðréttingin myndi nálgast muninn á meðalskori hópsins og meðalskori allra einstaklinga í úrtakinu. (A)</p> Signup and view all the answers

Í hvaða tilvikum væri notkun punktgildis (e. point estimate) ásættanleg, jafnvel þótt það sé vitað að það felur í sér ákveðna óvissu?

<p>Þegar unnið er með stórt úrtak þar sem einstaklingsmunur skiptir litlu máli og markmiðið er að meta meðaltalsárangur hópsins. (D)</p> Signup and view all the answers

Hvernig tengist staðalvilla mælingar (e. standard error of measurement) og áreiðanleiki prófs? Hvernig hefur breyting á annarri áhrif á hina?

<p>Lægri staðalvilla mælingar gefur til kynna hærri áreiðanleika, þar sem minni skekkja í mælingum leiðir til áreiðanlegri niðurstaðna. (A)</p> Signup and view all the answers

Í íþróttasálfræði, ef þjálfari metur hæfileika knattspyrnumanns með óáreiðanlegu mati, hvernig getur þjálfarinn notað aðhvarf að meðaltali (e. regression to the mean) til að bæta spár sínar um frammistöðu leikmannsins í næstu leikjum?

<p>Með því að aðlaga matið nær meðaltali allra leikmanna í liðinu, byggt á áreiðanleika matsins og fyrri frammistöðu leikmannsins. (D)</p> Signup and view all the answers

Hvernig hefur breyting á áreiðanleika mælitækis bein áhrif á staðalvillu mælingar, að því gefnu að staðalfrávik haldist óbreytt?

<p>Þegar áreiðanleiki eykst, minnkar staðalvillan í öfugu hlutfalli, sem nálgast núll þegar áreiðanleikinn nálgast einn. (B)</p> Signup and view all the answers

Í rannsókn þar sem staðalfrávik mælinga er 15 einingar, hvaða áreiðanleiki myndi leiða til staðalvillu sem er jöfn helmingi staðalfráviksins?

<p>0,75 (D)</p> Signup and view all the answers

Hvernig er hægt að túlka áreiðanleika mælinga í samhengi við hlutfall raunverulegrar breytileika og heildarbreytileika?

<p>Áreiðanleiki gefur til kynna hlutfallið af raunverulegri breytileika sem er til staðar í mældum gögnum. (A)</p> Signup and view all the answers

Í hvaða tilviki gæti staðalvilla mælingar verið meiri en staðalfrávik mælinga, og hvaða ályktanir má draga af því?

<p>Þetta getur gerst þegar áreiðanleiki mælingarinnar er neikvæður, sem gefur til kynna alvarleg vandamál með mælitækið. (C)</p> Signup and view all the answers

Hvaða áhrif hefur það á staðalvillu mælingar ef áreiðanleiki mælitækis er metinn sem 0?

<p>Staðalvillan verður jöfn staðalfráviki mælinganna, sem endurspeglar hámarksóvissu. (A)</p> Signup and view all the answers

Hvaða aðferð er best til þess að meta áreiðanleika mælinga í langtímarannsókn þar sem sömu einstaklingar eru mældir margoft yfir áratug?

<p>Að nota áreiðanleikamælingu sem tekur tillit til breytinga á milli tímabila og einstaklinga, eins og almenntanleika kenningin (Generalizability Theory). (D)</p> Signup and view all the answers

Í hvaða tilvikum myndi það skipta mestu máli að nota staðalvillu mælingar frekar en staðalfrávik þegar ákvarðanir eru teknar út frá mælingum?

<p>Þegar áreiðanleiki mælinganna er lágur og nauðsynlegt er að meta öryggisbil einstakra mælinga. (A)</p> Signup and view all the answers

Hvernig getur kerfisbundin villa (systematic bias) haft áhrif á túlkun á staðalvillu mælinga?

<p>Kerfisbundin villa hefur engin áhrif á staðalvillu, þar sem staðalvillan mælir aðeins tilfallandi villur. (A)</p> Signup and view all the answers

Í ljósi þess að hægt er að túlka áreiðanleika sem $R = 1 - (villubreytileiki / heildarbreytileiki)$, hvaða ályktun má draga ef villubreytileiki er meiri en heildarbreytileiki?

<p>Áreiðanleiki er neikvæður, sem gefur til kynna að mælingarnar séu andhverfar við raunveruleikann. (B)</p> Signup and view all the answers

Hvernig getur stjórnandi dregið úr staðalvillu mælinga í stóru gagnasafni sem safnað er með sjálfvirkum skynjurum?

<p>Að staðla mælingarferlið og kvarða skynjarana reglulega til að draga úr kerfisbundnum villum. (C)</p> Signup and view all the answers

Hvernig hefur einsleitni próftaka áhrif á áreiðanleika mælinga og hvernig er hægt að bregðast við því til að auka áreiðanleikann?

<p>Einsleitni dregur úr áreiðanleika þar sem hún minnkar breytileika í raungildi; auka má áreiðanleika með því að auka fjölbreytni í úrtakinu. (C)</p> Signup and view all the answers

Hvers vegna er áreiðanleiki sagður vera úrtaksbundinn og hvaða þýðingu hefur þetta fyrir alhæfingar byggðar á mælingum?

<p>Áreiðanleiki er úrtaksbundinn vegna þess að hann er háður eðli hópsins sem verið er að meta; alhæfingar eru takmarkaðar við hópa með svipaða eiginleika. (D)</p> Signup and view all the answers

Hvernig metur helmingunaráreiðanleiki innri áreiðanleika prófs og hvaða áskoranir fylgja því að beita þessari aðferð?

<p>Helmingunaráreiðanleiki metur innri áreiðanleika með því að skipta prófinu í tvo hluta og skoða fylgni á milli þeirra; áskorunin felst í að ákveða hvernig skuli skipta prófinu á réttlátan hátt. (D)</p> Signup and view all the answers

Gefið að $r_{hh}$ tákni fylgnistuðul milli tveggja helminga prófs, hvaða fullyrðing lýsir best hvernig áreiðanleiki alls prófsins ($R_{XX}$) er reiknaður samkvæmt Spearman-Brown formúlunni og hvers vegna er þessi leið notuð?

<p>$R_{XX} = \frac{2r_{hh}}{1 + r_{hh}}$; þessi leið er notuð til að áætla áreiðanleika alls prófsins út frá áreiðanleika helmings þess. (B)</p> Signup and view all the answers

Hver er helsti kosturinn og helsti gallinn við að nota helmingunaraðferðina til að meta áreiðanleika, og hvaða aðrar aðferðir gætu hentað betur í ákveðnum tilvikum?

<p>Kosturinn er að hún er auðveld í framkvæmd, gallinn er að niðurstaðan er háð því hvernig prófinu er skipt; Cronbach's Alpha eða parallel forms aðferðir gætu verið betri kostir. (B)</p> Signup and view all the answers

Hvernig getur fjöldi atriða í prófi haft áhrif á innri áreiðanleika samkvæmt CCT (Classical Test Theory) og hvaða takmarkanir eru á þessu sambandi?

<p>Í samræmi við CCT eykur aukinn fjöldi atriða innri áreiðanleika, en þetta á sér takmörk og líkanið tekur ekki mið af öðrum þáttum sem geta haft áhrif. (B)</p> Signup and view all the answers

Í hvaða aðstæðum væri helmingunaráreiðanleiki sérstaklega óhentugur og hvaða aðrar aðferðir við áreiðanleikamælingu væru þá ráðlegri?

<p>Helmingunaráreiðanleiki er óhentugur þegar atriði prófsins eru ekki einsleit eða mæla ólíka þætti; þá væri Cronbach's alpha eða factor analysis ráðlegri. (C)</p> Signup and view all the answers

Hvernig getur breytileiki (e. variance) í raungildum (e. true scores) og villum (e. errors) haft áhrif á áreiðanleika mælinga og hvaða ályktanir má draga af því?

<p>Stór breytileiki í raungildum miðað við lítinn breytileika í villum eykur áreiðanleika; mælingin er að mestu að endurspegla raunverulegan mun á milli einstaklinga. (B)</p> Signup and view all the answers

Hvaða áhrif hefur það á áreiðanleika prófs ef próftakendur eru mjög einsleitur hópur m.t.t. eiginleikans sem verið er að mæla, og hvernig getur þetta haft áhrif á notkun prófsins í mismunandi hópum?

<p>Einsleitni dregur úr áreiðanleika þar sem hún minnkar breytileika í raungildi; prófið gæti verið óáreiðanlegt fyrir ólíka hópa. (B)</p> Signup and view all the answers

Ímyndaðu þér að þú sért að þróa nýtt sálfræðilegt próf til að mæla kvíða. Hvernig myndir þú nýta þér skilning á hugtökunum 'innri áreiðanleiki' og 'helmingunaráreiðanleiki' til að tryggja að prófið sé áreiðanlegt?

<p>Ég myndi meta innri áreiðanleika með aðferðum eins og Cronbach's Alpha til að tryggja að atriðin mæli sama þátt, og nota helmingunaráreiðanleika sem viðbótarpróf til að athuga samkvæmni milli helminga prófsins. (C)</p> Signup and view all the answers

Í samhengi við áreiðanleikaútreikninga, hvernig myndi hagnýttur sálfræðingur greina á milli notkunar á Cronbach's Alpha og Mc зондонald's Omega, miðað við undirliggjandi forsendur um villuafbrigði atriða og áhrif þeirra á heildarmat áreiðanleikans?

<p>Cronbach's Alpha gerir ráð fyrir jöfnum villuafbrigðum atriða, sem gerir það næmara fyrir ofmati á áreiðanleika þegar þessi forsenda er brotin, á meðan McDonald's Omega gerir ráð fyrir ólíkum villuafbrigðum og gefur því nákvæmari mat í flóknari tilvikum. (C)</p> Signup and view all the answers

Íhugaðu rannsókn þar sem notast er við split-half aðferðina til að meta áreiðanleika. Hvaða tölfræðilega aðferð væri viðeigandi til þess að leiðrétta fyrir undirmati á áreiðanleika sem hlýst af því að helminga mælitækið, og hvernig hefur sú leiðrétting áhrif á túlkun á áreiðanleikastuðlinum?

<p>Nota ætti Spearman-Brown formúluna til að áætla áreiðanleika alls mælitækisins og leiðréttingin mun auka áreiðanleikastuðulinn, sem gefur til kynna hversu vel heildarmælitækið myndi virka ef það væri ekki helmingað. (B)</p> Signup and view all the answers

Íhugaðu klíníska rannsókn þar sem áreiðanleiki mats á geðröskunum er metinn með Cohen's Kappa stuðlinum. Hvaða gildissvið stuðulsins gefur til kynna viðunandi samræmi milli matsmanna til að tryggja trúverðugar ályktanir um útbreiðslu og eðli geðraskana í rannsóknarúrtakinu?

<p>Kappa gildi á bilinu 0.61 til 0.80 er talið vera gott samræmi, sem bendir til þess að matið sé nægilega áreiðanlegt til að draga ályktanir um rannsóknarúrtakið án verulegra áhyggna af ósamræmi. (D)</p> Signup and view all the answers

Í samhengi við áreiðanleikamælingu, hvaða aðferðafræðilegu útfærslur myndu best tryggja að endurteknar mælingar (test-retest) á flóknum sálfræðilegum eiginleikum endurspegli raunverulegan stöðugleika eiginleikans frekar en mælingavillur eða breytingar af völdum ytri þátta?

<p>Að nota lengri tímabil milli mælinga til að lágmarka minnisáhrif, en það eykur líkurnar á að raunverulegar breytingar á eiginleikanum eigi sér stað, sem flækir túlkunina á áreiðanleikanum. (B)</p> Signup and view all the answers

Íhugaðu að þú sért að hanna rannsókn til að meta áreiðanleika nýs sálfræðilegs mats sem ætlað er að mæla flókið hugsmíði. Hvaða samsetning af áreiðanleikaaðferðum myndi veita yfirgripsmestu og trúverðugustu vísbendingar um gæði matsins?

<p>Samsetning af endurteknum mælingum (test-retest), split-half aðferð og mati á samræmi milli matsmanna, ásamt ítarlegri greiningu á atriðum til að tryggja að hvert atriði stuðli að mælingu hugsmíðinnar. (A)</p> Signup and view all the answers

Hvernig ætti að túlka marktækt lága fylgni í split-half áreiðanleikaprófi í ljósi þess að mælitækið er hannað til þess að meta eitt og sérstakt hugsmíði?

<p>Það gefur til kynna að mælitækið sé í raun að mæla tvö aðskilin hugsmíði frekar en eitt, sem bendir til þess að endurskoða þurfi undirliggjandi kenningu. (B)</p> Signup and view all the answers

Í rannsókn þar sem meta á áreiðanleika flókins klínísks viðtals með mati á samræmi milli matsmanna, hvernig ætti að meta og meðhöndla mögulegar ósamræmi í mati sem koma upp vegna mismunandi túlkana á viðmiðum eða breytileika í atferlismati?

<p>Þróa staðlaðari viðmið og þjálfa matsaðila betur til að draga úr breytileika í mati, og nota ósamræmi sem tækifæri til að bæta skilning á viðmiðunum. (B)</p> Signup and view all the answers

Íhugaðu rannsókn þar sem notast er við endurteknar mælingar (test-retest) til að meta áreiðanleika spurningalista sem mælir skapgerðarbreytur. Hvernig gæti meðvitaður eða ómeðvitaður tilhneiging svarenda til að svara á ákveðinn hátt (e. response bias) haft áhrif á túlkun á áreiðanleikastuðlinum?

<p>Svarthneiging getur leitt til ofmats á áreiðanleikastuðlinum ef svarendur svara á svipaðan hátt í báðum mælingum, óháð raunverulegum breytingum á skapgerðinni. (B)</p> Signup and view all the answers

Í samhengi við áreiðanleika, hvernig myndi notkun á tölfræðilegum aðferðum eins og almennum línulegum módelum (e. general linear models) eða blönduðum áhrifamódelum (e. mixed-effects models) bæta túlkun á áreiðanleikastuðlum, sérstaklega þegar unnið er með endurteknar mælingar eða gögn frá mörgum matsmönnum?

<p>Þessar aðferðir gera kleift að aðgreina kerfisbundna breytileika frá tilviljunarkenndum villum, meta áhrif ýmissa þátta á matið og gefa nákvæmari mynd af áreiðanleika en hefðbundnar aðferðir. (B)</p> Signup and view all the answers

Flashcards

Áreiðanleiki þegar X = X

Í CTT, þegar X = X, er áreiðanleiki stuðullinn 1.0.

Staðalfrávik (s=s)

Í CTT, þegar staðalfrávik (s) er jafnt staðalfráviki (s), er stuðullinn 'Já'.

X = X í CTT

Í CTT, þegar X er jafnt X, er áreiðanleiki 'Já'.

X' = X í CTT

Í CTT, þegar X' (mæld gildi) er jafnt X (raunverulegt gildi), er áreiðanleiki 'Já'.

Signup and view all the flashcards

Hliðstæð próf

Í CTT, hliðstæð próf meta áreiðanleika með því að nota tvö mismunandi en jafngild próf.

Signup and view all the flashcards

Endurprófunar áreiðanleiki

Í CTT, endurprófunar áreiðanleiki felur í sér að sama próf er lagt fyrir tvisvar og niðurstöðurnar bornar saman.

Signup and view all the flashcards

Helmingunar áreiðanleiki

Helmingunar áreiðanleiki felur í sér að skipta prófi í tvo helminga og skoða fylgni milli þeirra.

Signup and view all the flashcards

Hvað eru áreiðanleikastuðlar?

Áreiðanleikastuðlar eru notaðir til að meta áreiðanleika mælinga í mismunandi aðstæðum.

Signup and view all the flashcards

Endurtekningar áreiðanleiki

Endurtekningar áreiðanleiki skoðar fylgni milli mælinga hjá sama einstaklingi yfir tíma.

Signup and view all the flashcards

Innri áreiðanleiki

Innri áreiðanleiki segir til um hversu vel atriði í mælitæki tengjast innbyrðis.

Signup and view all the flashcards

"True score"

Hugsað sem "true score" sem ætti að koma fram í öllum atriðum (t.d. hræðsla við kóngulær).

Signup and view all the flashcards

Atriði sem mini-próf

Hvert atriði er eins og mini próf og fylgnin er mæld á milli þeirra. Þetta gefur vísbendingu um innri áreiðanleika.

Signup and view all the flashcards

Skipt-í-tvennt áreiðanleiki

Skipt-í-tvennt aðferð metur áreiðanleika með því að skipta prófinu í tvennt og athuga fylgni.

Signup and view all the flashcards

Alpha stuðull

Alpha stuðull mælir innri áreiðanleika með því að skoða fylgni milli atriða.

Signup and view all the flashcards

Omega stuðull

Omega stuðull er annar mælikvarði á innri áreiðanleika, líkt og Alpha.

Signup and view all the flashcards

Einsleitni og áreiðanleiki

Ef próftakar eru einsleitur hópur, þ.e. lítill breytileiki, þá minnkar áreiðanleiki mælinga.

Signup and view all the flashcards

Fjölbreytni og áreiðanleiki

Að auka fjölbreytni (ósamleitni) hópsins sem verið er að mæla getur aukið áreiðanleika mælinga.

Signup and view all the flashcards

Úrtaksbundið áreiðanleika

Áreiðanleiki er háður þeim hópi sem verið er að meta og er ekki algilt gildi fyrir próf.

Signup and view all the flashcards

Fjöldi atriða og áreiðanleiki

Að bæta við fleiri atriðum (spurningum) getur aukið innri áreiðanleika prófs samkvæmt CCT.

Signup and view all the flashcards

Helmingunarfylgni

Fylgnin milli tveggja helminga prófs. Notuð til að meta helmingunaráreiðanleika.

Signup and view all the flashcards

Formúla helmingunaráreiðanleika

Formúla notuð til að reikna áreiðanleika út frá helmingunarfylgni.

Signup and view all the flashcards

Vandi við helmingun

Hvernig best er að skipta prófi í tvo hluta til að meta helmingunaráreiðanleika.

Signup and view all the flashcards

Mælivilla

Villan sem er til staðar í mælingum. Villur geta verið tilviljanakenndar eða kerfisbundnar.

Signup and view all the flashcards

Raungildi (True Score)

Raunveruleg geta einstaklings á eiginleika sem mældur er, án áhrifa mælivillu.

Signup and view all the flashcards

Punktgildi

Mælt gildi einstaklings sem á að spá fyrir um raungildi einstaklings.

Signup and view all the flashcards

Aðhvarf að meðaltali

Ef próftaki fær öfgagildi á prófi er líklegt að næsta skor á sama prófi sé nær meðaltali.

Signup and view all the flashcards

Aðhvarfsleiðrétting

Formúla til að leiðrétta fyrir aðhvarfi að meðaltali: 𝑿𝒆𝒔𝒕 = 𝑿𝒐 + 𝑹𝒙𝒙 (𝑿𝒐 − 𝑿𝒐).

Signup and view all the flashcards

Öryggisbil

Bil þar sem við teljum raunverulegt gildi liggja með ákveðinni vissu.

Signup and view all the flashcards

Öryggi öryggisbils

Hlutfall tilvika þar sem öryggisbilið inniheldur raungildið þegar mælingar eru endurteknar.

Signup and view all the flashcards

Hvað gefur staðalvilla til kynna?

Staðalvilla gefur vísbendingu um meðalmuninn á milli mælds gildis og raungildis.

Signup and view all the flashcards

Hvað þýðir há staðalvilla?

Há staðalvilla þýðir mikill munur á mældu gildinu og raungildinu.

Signup and view all the flashcards

Hvað fylgir háari staðalvillu?

Lágur áreiðanleiki.

Signup and view all the flashcards

Hver er staðalvillan þegar R = 1?

Ef áreiðanleiki er fullkominn (R=1) þá er staðalvillan núll.

Signup and view all the flashcards

Hvað gerist fyrir áreiðanleika ef staðalvillan hækkar?

Áreiðanleiki minnkar.

Signup and view all the flashcards

Til hvers er áreiðanleiki notaður?

Notað til að meta villu mælinga.

Signup and view all the flashcards

Hver er formúlan fyrir staðalvillu mælingar (sem)?

𝐬𝐞𝐦 = 𝐬𝐨 𝟏 − 𝐑 𝐱𝐱, þar sem s er staðalfrávik og R er áreiðanleiki.

Signup and view all the flashcards

Hver er hámarksstærð staðalvillu?

Staðalvillan getur ekki verið stærri en dreifing mælda gildisins.

Signup and view all the flashcards

Hvað táknar staðalvillan (sem)?

tákna vikmörk eða öryggisbil.

Signup and view all the flashcards

Hvernig er áreiðanleiki reiknaður út frá staðalvillu og staðalfráviki?

R = 1 - (staðalvilla í öðru / staðalfrávik í öðru)

Signup and view all the flashcards

Study Notes

  • The lecture discusses Reliability and Reliability Coefficients.
  • Apply the model to ultimately infer reliability.
  • The lecture took place on February 4th, 2025.

Topics Discussed

  • From assumptions to reliability coefficients
  • Reliability coefficients
  • The effect of reliability on measurement

Reliability Coefficients

  • The reliability of tests is theoretical, not directly seen in real-world situations.
  • Conclusions can be made about reliability and error using empirical data rooted in observation.

Measured Value Components

  • Measured Value = True Value + Error

True Value Equation

  • True Value = What we wish a test to measure
  • True Value is a target

Proportions of Variance

  • Proportion of variance of true values against the variance of measured values
  • Looks at true values in order to evaluate the variance of measured values

Formulas

  • Áreiðanleiki = Rxx
  • Rxx = Variance of True Value / Variance of Measured Value
  • Rxx = 1 − Variance of Error / Variance of Variance of Measured Value

Correlation

  • Correlation of true values and measured values squared
  • Rxx = rot
  • Deficiency of correlation between measured value and square of error
  • Rxx = 1 − roe

Reliability: From Theory to Practice

  • Memory tests involve participants memorizing letters with their ability to repeat them then assessed.
  • It’s a test of active and working memory
  • Reliability is the correlation between true values and measured values squared.
  • Focus on the data
  • Examines the correlation between measurements to find reliability.
  • Reliability = rtime1time2^2 = (0.96)^2 = 0.92
  • The correlation between these two measurements is the reliability of the test.
  • Cor(time1, time2) =0.96
  • The correlation between these two measurements is the test's reliability.
  • r(tíma1,tíma2) = 0.96. This correlation is the test's reliability.

From Assumptions to Reliability Coefficients

  • The previous slide assumes the test is parallel.

Types of Reliabilities

Parallel

  • The test satisfies all assumptions of Classical Test Theory (CTT).

Tau-equivalent

  • The test fulfills most CTT assumptions.

Essentially Equivalent

  • The test fulfills most CTT assumptions, but items vary in weight.

Congeneric

  • The model places minimal restrictions on CTT assumptions.
  • These assumptions affect how reliability is assessed.

Parallel testing

  • Equal covariances, equal variances.
  • That which is hoped to be assessed
  • Equal covariances, variances may differ.
  • Overly broad
  • Covariances and variances may differ

Test-takers Performance

  • The only thing that matters to a coeval scale, is that the line is correct
  • The only thing that matters for congenetic is that the order is always right

Test Models

  • Summarized from "Test Models Assumptions, and Implications, and Valid Indices of Reliability" from Furr, 2021.

Assumptions

  • Error is random in CTT
  • Unidimensionality

Linear Associations Within a Test

  • Slope of true values b=1
  • X1 = X2 = 1
  • Intercept of true values a=0

Types of Reliability Coefficients

  • Alternate forms
  • Test-retest
  • Split-half
  • Alpha
  • Omega

Types of Assessment

  • Parallel testing Does not meet assumptions
  • Endurprófunar- Test-Retest Does not meet assumptions
  • Helmingunar - Split-Half Does not meet assumptions
  • Alpha meets all
  • Omega meets all

Types of Error

  • Sample of test items (content sampling) Helmingunar - Split-Half Alternate Forms
  • Change in test-takers (Stability) Endurprófunar - Test-Retest
  • Consistency of raters Stöðugleiki Matmanna-Inter-rater reliability

Types of Reliability Tests

  • Reliability of parallel tests
  • Two test versions should yield the same results
  • Internal- How well the items are connected.
  • Ehv true score will come up in all test items
  • Each question is a mini test
  • What happens to you effects the answers you are going to give
  • It will not measure what it intends to measure

Parallel Forms Reliability

  • If two tests are parallel, examines the correlation between them
  • Two test versions for the students
  • The correlation is then the reliability coefficient of parallel tests.

Requirements for Parallel Testing

  • True values of versions 1 and 2 are equal.
  • Error variance of versions 1 and 2 are equal.
  • Error is random
  • Risk of carryover effect
  • Solved by dividing the two groups

Test-Retest Reliability

Steps of the test

  • Same individual takes the same test after some time.
  • Fewer problems versus parallel as it is the same test.

Procedure

  • Administer the same test twice.
  • Examine correlations between time points 1 and 2.
  • Correlation is the test-retest reliability coefficient.
  • Provides information on stability of construct.

Conditions

  • True Value of Version 1 should stay the same in version 2
  • Must have same variation from each other
  • Error must be random, which mirrors the Classical Test Theory

Internal Reliability

Breakdown of items

  • Each test comprises a set of items.
  • Treat parts of the item set as a separate test.

Test Design

  • Correlation between test parts or items then becomes internal reliability.
  • High correlation indicates internal consistency.

Length impact

  • Test length often has an impact on internal reliability.
  • Longer tests are likely to have higher reliability than shorter tests.
  • Adding test items increases true value variance more than error enhancing reliability.

Homogeneity

  • Sample homogeneity impacts internal reliability.
  • Uniform test-takers are likely to lower reliability because the variance is low.

Hetrogenity impact

  • Increasing heterogeneity of true value increases reliability.
  • Reliability is sample-contingent

Affect of Items

  • The model doesn't account for other elements influencing high reliability.
  • Number of test items have an impact on internal reliability in CCT

Split-Half Reliability

  • Simplest and oldest method.
  • Divide the given test into two
  • It will effect the answers you are going to give

Helmingunaráreiðanleiki Equation

  • Rxx= 2rhh / 1+rhh - where h is the test half.
  • Examine correlation split into half
  • Problem on how to fairly split a test

Internal Reliability Correlation

  • Correlation between different test parts varies, with it being an indicator that they don't measure quite the same things

Cornbachs alpha

  • Average of all possible split-half reliabilities.
  • The Alpha approach is not as strict about assumptions
  • Assumes the profiles from each division are the same

Cornbachs alpha/ KR20 Equation

  • Cornbachs alpha = ( k / k-1) * (1 - variance of items/ S2
  • k = quantity of items in profit
  • ∑cii = Sum of comovement in all items
  • S^2 = variance in total

True or False answers for alpha

  • Uses the same idea as alpha, but uses
  • alpha for 2 values
  • Mean of total divided by range of sum of total is not possible to change in alpha pq/( total variance)/ sigma *2

Item Analysis

  • Item 05 has biggest influence on if an item is to be dropped
  • This causes a lower alpha rating
  • See where there are high errors and what is wrong with them
  • Item mean and SD

Omega Measurements

  • Calculated through factor analysis - get sign and noise information
  • There is more to the data than true and false
  • Sign can be related to attribute loading
  • Sign shows how closely someone is related to underlying attributes of factor

Statistical Significance

  • Formula with all components
  • How to measure components and numbers
  • Metið áreiðanleikann út frá þáttahleðslunum

Reliability vs Truescene values

Omega-Reliability Correlation

  • Test or Homogeneity
  • robust F statistical is 1.474 with a p-value of 0.0881
  • The omega is 0.9083697.

Reliability and standard measurement

  • The standard error of measurement gives the average error of measurement

SEM Formula

  • SEM = Sqrt(Variance) * Sqrt(1 * ReliabilityCoefficient)
  • Reliability is at par with measurement, is a benefit

Factors of SEM

  • The higher the reliability the lower the SEM
  • Cost is the factor that is there is the evaluation of the error with real, measured values

Reliability and standard errors

Factors of Reliability

  • Standard error indicates a normal distribution
  • One number is very clear for error - which is good to have
  • Hight standard error, there is an error
  • The lower it is - the higher the certainty will be

Point values

Using measurement

  • Measured score of an individual that can be used to predict truename score of individual
  • Point values can have certain reliability as we have only 1 measurement

Regression of variables

  • Regression to the MEAN
  • Regression to the mean - People give extreme values and change and evolve when something change
  • People may give answers that are incorrect - point of bias to their answer
  • Cannot get to get past averages and scores - Cannot find reliability with the process

Value of correction

Correction is the measure of knowing scores and means

  • Can only guide to a certain degree
  • Cannot always be accurate due to several factors
  • Give value through value

Interval of trust

  • Can give a value when it is very reliable, with it having value to us
  • Use data and points to guide to an area - in which an error will be given

Percentages for test scores

Give interval through Standard deviation

  • Standard Deviation is accurate in this situation
  • Find the values

Affect of error of trust

  • Trust is effect by Reliability
  • Affects are also known by test scores

Factors on scores

  • Value and certainty in evaluation by error
  • Affect of evaluation can very in trust and reliability

Effect of error on a test

  • Noise from upper noise
  • Can be lead a data from low level

Statistics

  • Statistical analysis is changed and valued
  • Analytic context through statistics is important

Real value on graphs

Graphing information

Graph points affect distribution analysis

Distribution is vital to measuring info

  • Want to max information so it can be viable

If information goes against the values

  • Then there will be value that the person does not fully represent

Two kinds of ways to evaluate

  • Sealing and Ground effect

Low scores do not represent those tests fully

  • If there are errors than it is likely some factor has not represented fully

Studying That Suits You

Use AI to generate personalized quizzes and flashcards to suit your learning preferences.

Quiz Team

Related Documents

Áreiðanleiki og áhrif - PDF

More Like This

Use Quizgecko on...
Browser
Browser