Kafli 5

Choose a study mode

Play Quiz
Study Flashcards
Spaced Repetition
Chat to Lesson

Podcast

Play an AI-generated podcast conversation about this lesson

Questions and Answers

Í samhengi við hagnýt not, hvaða grundvallarforsenda liggur að baki ákvörðunum sem teknar eru um einstaklinga með atferlisprófum og greiningaraðferðum?

  • Að mælingar á sálfræðilegum eiginleikum séu aðeins hlutlægar og óháðar túlkun.
  • Að einstaklingsmunur í atferli sé óverulegur og hafi lítil áhrif á daglegt líf.
  • Að áreiðanleiki prófa sé óviðkomandi þegar ákvarðanir eru teknar um einstaklinga.
  • Að atferlismunur milli einstaklinga sé til staðar, hafi mikilvæg áhrif og sé hægt að mæla með ákveðinni nákvæmni. (correct)

Hver er megináherslan í klassískri próffræði (CTT) varðandi áreiðanleika sálfræðilegra prófa?

  • Að hámarka ytri réttmæti prófa, jafnvel þótt það leiði til minni innri áreiðanleika.
  • Að meta hvort munur í prófskorun endurspegli raunverulegan sálfræðilegan mun, frekar en mælingavillur. (correct)
  • Að staðla prófskorun út frá félags-menningarlegum viðmiðum án tillits til innri áreiðanleika.
  • Að útiloka alla mögulega mælingavillur og tryggja fullkomlega hlutlægni prófa.

Hvernig metur CTT áreiðanleika prófs í samhengi við endurteknar mælingar á sama einstaklingi?

  • CTT notar hugmyndina um 'satt skor' sem stöðugt gildi fyrir einstaklinginn og metur hve mikið mæld skor víkja frá því. (correct)
  • CTT leggur áherslu á að útiloka allar ytri breytur sem gætu haft áhrif á prófskor, frekar en að meta áreiðanleika.
  • CTT gerir ráð fyrir að raunveruleg skor einstaklings breytist verulega á milli mælinga, sem gerir áreiðanleikamat óþarft.
  • CTT notar eingöngu samanburð við viðmiðunarhópa til að meta áreiðanleika, án tillits til einstaklingsbundinna breytinga.

Ímyndaðu þér rannsakanda sem notar spurningalista um kulnun í starfi. Hvaða fullyrðing lýsir best væntingum hans í samræmi við CTT?

<p>Rannsakandinn vonar að munur í svörum endurspegli raunverulegan mun á kulnun og að þeir sem skora hátt séu í raun þeir sem upplifa meiri kulnun. (B)</p> Signup and view all the answers

Hvaða fullyrðing lýsir best hlutverki áreiðanleika í ákvarðanatöku, bæði í rannsóknum og hagnýtum aðstæðum samkvæmt CTT?

<p>Áreiðanleiki er nauðsynlegur til að treysta því að prófskor endurspegli raunverulegan mun og séu ekki afleiðing af tilviljunarkenndum villum. (C)</p> Signup and view all the answers

Af hverju er það ónákvæmt að tala um áreiðanleika sem 'allt eða ekkert' fyrirbæri í sálfræðilegum prófum?

<p>Vegna þess að áreiðanleiki er mælikvarði á gráðu, ekki einfalt 'já' eða 'nei'. (C)</p> Signup and view all the answers

Hvað er átt við þegar talað er um að áreiðanleiki “endurspegli nákvæmlega raunverulegan sálfræðilegan mun”?

<p>Að prófið sé hannað til að greina á milli einstaklinga með raunverulegan mismun á ákveðnum sálfræðilegum eiginleikum. (C)</p> Signup and view all the answers

Hvernig tengist hugtakið 'mælivilla' áreiðanleika samkvæmt CTT?

<p>Áreiðanleiki minnkar þegar mælivilla er stór, þar sem hún dregur úr getu prófsins til að endurspegla raunverulegan mun. (C)</p> Signup and view all the answers

Í hvaða tilviku jafngildir áætlaður stuðull áreiðanleika (R) nákvæmlega 1, og hvaða ályktanir má draga af því varðandi mælingavillur?

<p>Þegar sýndarvikmörk eru jöfn raunvikmörkum (true score variance), sem gefur til kynna að engar mælingavillur hafi áhrif á sýndargildin. (A)</p> Signup and view all the answers

Hvernig hefur fjölgun spurninga í könnun áreiðanleika mælinga, að öðru óbreyttu, og undir hvaða kringumstæðum gæti þessi aðferð reynst óhagkvæm eða jafnvel skaðleg?

<p>Fjölgun spurninga eykur áreiðanleika að því gefnu að nýju spurningarnar mæli sama fyrirbæri og auki ekki þreytu eða minnki athygli þátttakenda. (B)</p> Signup and view all the answers

Í rannsókn þar sem áreiðanleiki mælinga er metinn, hvernig er hægt að greina á milli breytileika í sýndargildum (observed scores) sem stafar af raunverulegum mun á milli einstaklinga og breytileika sem rekja má til mælingavillna (measurement error)?

<p>Með því að nota tölfræðilegar aðferðir til að meta hlutfall sýndarvikmarka sem stafar af raunvikmörkum (true score variance) samanborið við heildar sýndarvikmörk. (C)</p> Signup and view all the answers

Ímyndaðu þér að þú sért að endurhanna spurningalista til að meta áreiðanleika. Hvaða aðferðir myndir þú nota til að greina og draga úr ósamræmi í svörum frá sama einstaklingi yfir tíma eða milli mismunandi útgáfa af spurningalistanum?

<p>Nota staðlaðar spurningar, tryggja skýra og ótvíræða orðnotkun, og prófa spurningalistann áður en hann er notaður til að tryggja samræmi. (C)</p> Signup and view all the answers

Í samhengi við áreiðanleika mælinga, hvernig tengist hugtakið 'raunvikmörk' (true score variance) hugtakinu 'mælingavilla' (measurement error), og hvernig hefur þetta samband áhrif á túlkun á áreiðanleikastuðli?

<p>Áreiðanleikastuðull endurspeglar hlutfall raunvikmarka af heildarbreytileika (þ.e., summu raunvikmarka og mælingavillu); hærra hlutfall raunvikmarka gefur til kynna hærri áreiðanleika. (C)</p> Signup and view all the answers

Samkvæmt klassískri próffræði (CTT), hvaða fullyrðing lýsir best sambandi greinds skors ($X_o$), raunskors ($X_t$) og villu ($X_e$)?

<p>Greint skor einstaklings er summa raunskors hans og mælivillu. (A)</p> Signup and view all the answers

Í CTT, hvernig eru mælivillur skilgreindar og hvaða áhrif hafa þær á greind skor prófa?

<p>Mælivillur eru tilviljanakenndar og hafa engin marktæk áhrif á meðaltal greindra skora í stóru úrtaki, en geta haft veruleg áhrif á greint skor einstaklinga. (D)</p> Signup and view all the answers

Í dæminu sem gefið er um Ashley, hvaða þáttur er talinn hafa haft neikvæð áhrif á greint skor hennar á spurningalista um sjálfsmat og hvernig er þetta táknað í CTT?

<p>Neikvæð endurgjöf Ashley á líffræðiprófi olli því að sjálfsmat hennar minnkaði tímabundið, sem táknað er með neikvæðu villuskori ($X_e$). (C)</p> Signup and view all the answers

Hvernig myndi CTT greina aðstæður þar sem einstaklingur skorar stöðugt hærra á prófi en raunveruleg geta hans gefur til kynna?

<p>Sem dæmi um kerfisbundna villu með jákvæða fylgni við raunverulegt skor. (A)</p> Signup and view all the answers

Í CTT, ef próf er gefið tvisvar til sama einstaklings og greind skor eru mismunandi, hver er þá álitið líklegasta skýringin á þessum mismun?

<p>Tilviljunarkennd villa sem hefur áhrif á greindum skor. (C)</p> Signup and view all the answers

Hver er helsta takmörkun CTT við mat á áreiðanleika prófs?

<p>Það veitir áreiðanleikaáætlanir sem eru háðar einkennum prófsins sem verið er að nota. (C)</p> Signup and view all the answers

Ímyndaðu þér að þú notir CTT til að greina áreiðanleika nýs sálfræðilegs prófs. Ef þú finnur að villan er í háu hlutfalli við raunverulega skor, hvaða ályktun gætirðu dregið af því?

<p>Prófið er ekki áreiðanlegt og greind skor inniheldur mikið magn af villu. (B)</p> Signup and view all the answers

Samkvæmt klassískri próffræði (CTT), hvaða fullyrðing lýsir best sambandi raunverulegrar einkunnar ($X_t$), mældrar einkunnar ($X_o$) og mælingavillu ($X_e$)?

<p>$X_o$ er afleiðing af $X_t$ og $X_e$, þar sem $X_e$ er talin vera tilviljunarkennd og óháð $X_t$. (A)</p> Signup and view all the answers

Í samhengi við CTT, hvaða áhrif hefur stórt úrtak á dreifingu mælingavillunnar ($X_e$)?

<p>Dreifing $X_e$ mun nálgast normaldreifingu með meðaltalinu núll, að gefnum tilviljunarkenndum eiginleikum villunnar. (D)</p> Signup and view all the answers

Ímyndaðu þér próf sem er hannað til að mæla kvíða. Samkvæmt CTT, hvaða af eftirfarandi atburðarásum myndi minnst ógilda forsenduna um að mælingavilla sé tilviljunarkennd?

<p>Sumir þátttakendur hafa nýlega upplifað miklar lífsbreytingar, sem hafa áhrif á kvíðastig þeirra á ófyrirsjáanlegan hátt. (B)</p> Signup and view all the answers

Hvernig hefur forsenda CTT um tilviljunarkennda villu áhrif á túlkun á fylgni milli tveggja prófa sem ætlað er að mæla sama hugsmíð?

<p>Fylgni er vanmetin vegna þess að tilviljunarkennd villa dregur úr sameiginlegri dreifni milli prófanna. (B)</p> Signup and view all the answers

Í staðlaðri prófuppsetningu, hvernig myndi þekking á raunverulegri einkunn einstaklings ($X_t$) líklega hafa áhrif á ferlið við að meta trúverðugleika prófs samkvæmt CTT?

<p>Þekking á $X_t$ gerir kleift að meta hið sanna hlutfall raunverulegrar dreifni og mældrar dreifni, að gefnu CTT-líkaninu. (B)</p> Signup and view all the answers

Hvaða tölfræðilega aðferð er minnst viðeigandi til að meta áhrif mælingavillu samkvæmt forsendum CTT?

<p>Að nota atriðissvörunarkenningu (IRT) til að líkan að atriðiseinkennandi ferlum (ICCs) og meta atriðisupplýsingar og villu. (B)</p> Signup and view all the answers

Í stöðluðu kraftmiklu prófunarumhverfi, hvernig breytir inngrip eða leiðsögn í prófinu grundvallarforsendum CTT og venjulegum aðferðum við trúverðugleikamat?

<p>Inngrip ógilda forsenduna um tilviljunarkennda villu, sem gerir hefðbundnar trúverðugleikamat óviðeigandi án breytinga. (C)</p> Signup and view all the answers

Í tilraun þar sem þátttakendur taka sama prófið tvisvar, hvaða aðstæður mun flækjast mest við að nota próf-endurprófunar trúverðugleika til að meta áreiðanleika, samkvæmt CTT?

<p>Þegar prófið hefur mikla stjórnunaráhrif, sem veldur því að þátttakendur bæta sig við seinni stjórnunina. (A)</p> Signup and view all the answers

Hvaða fullyrðing lýsir nákvæmast áhrifum skammvinnra þátta á niðurstöður prófa, samkvæmt hugmyndinni um skekkjur í mælingum?

<p>Skammvinnir þættir geta bæði aukið og minnkað prófskor einstaklings miðað við raunverulega getu hans, sem leiðir til skekkja í mælingum. (A)</p> Signup and view all the answers

Hvernig er hægt að draga úr áhrifum skekkjunnar í mælingum á áreiðanleika prófskora, miðað við skilgreininguna á áreiðanleika sem hlutfall af merki og hávaða?

<p>Auka hlutfall merkis miðað við hávaða með því að lágmarka skekkju í mælingum. (B)</p> Signup and view all the answers

Í samhengi við áreiðanleika prófs, hvaða fullyrðing lýsir best hlutverki jafnvægis milli 'raunverulegra mismuna' og 'mælingavillu'?

<p>Að skilja að áreiðanleiki prófs krefst þess að raunverulegir mismunir séu marktækari en mælingavillur. (C)</p> Signup and view all the answers

Hvernig getur stöðugleiki umhverfisaðstæðna við próftöku haft áhrif á áreiðanleika prófsins, miðað við hugmyndina um skekkju í mælingum?

<p>Að skapa einsleit prófunarumhverfi til að minnka skekkju í mælingum vegna utanaðkomandi þátta. (C)</p> Signup and view all the answers

Hvernig getur hönnun prófs haft áhrif á skekkju í mælingum og áreiðanleika prófskora?

<p>A nota fjölbreytt úrtak spurninga sem endurspeglar markmið og áherslur prófsins. (A)</p> Signup and view all the answers

Hvernig getur persónulegt ástand próftakanda haft áhrif á mælingavillu og áreiðanleika prófs, og hvernig geta prófstjórnendur brugðist við því?

<p>A gefa próftakendum kost á að fresta prófinu ef þeir eru ekki í ásættanlegu ástandi, til að minnka áhrif mælingavillu. (D)</p> Signup and view all the answers

Í hvers konar prófum er nauðsynlegt að meta áreiðanleika prófskora með sérstakri áherslu til að tryggja réttmæti þeirra?

<p>Í prófum þar sem niðurstöður hafa afgerandi áhrif á framtíð einstaklinga, svo sem inntökupróf í háskóla. (D)</p> Signup and view all the answers

Hvernig getur fyrirtæki sem notar hæfileikapróf til að ráða starfsmenn tryggt gildi og áreiðanleika prófskora?

<p>A nota próf sem hefur staðist vísindalega staðfestingu og meta reglulega áreiðanleika prófskora. (C)</p> Signup and view all the answers

Samkvæmt klassískri próffræðikenningu (CTT), hver er nákvæmlega forsenda um tengsl milli sannanlegra einkunna, mældra einkunna og mælingavillu?

<p>Mældar einkunnir eru nákvæmlega jafnar summu sannanlegra einkunna og mælingavillu, þar sem mælingavillan er talin vera tilviljunarkennd og hefur engin áhrif á meðaltal einkunna. (B)</p> Signup and view all the answers

Í samhengi við mat á sálfræðilegum eiginleikum, hvernig hefur það áhrif á túlkun og notkun sannanlegra einkunna að einkunnir séu fyrir áhrifum af mælingavillum?

<p>Mælingavillur draga úr nákvæmni sannanlegra einkunna og krefjast aðferða til að leiðrétta eða draga úr áhrifum þeirra þegar ákvarðanir eru teknar um einstaklinga. (A)</p> Signup and view all the answers

Hver eru nákvæmlega áhrifin af því að mælingavilla sé tilviljunarkennd áreiðanleikastuðla í klassískri próffræðikenningu (CTT)?

<p>Tilviljunarkennd mælingavilla dregur úr áreiðanleikastuðlum, vegna þess að hún eykur ósamræmið milli mældra einkunna og sannanlegra einkunna. (A)</p> Signup and view all the answers

Hvaða meginforsendur CTT (Classic Test Theory) eru nauðsynlegar til að álykta að meðaltal villunnar í mælingu sé núll yfir allan hópinn?

<p>Að villan sé tilviljunarkennd og ótengd sannanlegri einkunn. (D)</p> Signup and view all the answers

Í sálfræðilegri greiningu, hvaða aðferðafræðilegu áhrif hafa áreiðanleikamælingar á rannsóknarnákvæmni í fjölbreyttum rannsóknum?

<p>Hár áreiðanleiki eykur líkurnar á að ná marktækum niðurstöðum og gerir kleift að nota minni úrtök. (A)</p> Signup and view all the answers

Hvernig er nákvæmlega hugtakið 'dreifni' notað til að meta gæði sálfræðilegrar mælingar í samhengi við CCT (Classic Test Theory)?

<p>Dreifni er notuð til að mæla hversu nákvæmlega mældar einkunnir endurspegla sannanlegar einkunnir, þar sem hærri dreifni mældra einkunna gefur til kynna betri aðgreiningu einstaklinga. (C)</p> Signup and view all the answers

Miðað við að Ashley fái sannanlega einkunn 130 og Bob 120, hvernig myndi mælingavilla helst birtast í mældum einkunnum þeirra samkvæmt CTT?

<p>Ef um er að ræða tilviljunarkennda villu gæti Ashley fengið lægri einkunn en Bob þrátt fyrir að hafa hærri sannanlega einkunn. (B)</p> Signup and view all the answers

Hvernig er nákvæmlega hugtakið „áreiðanleiki“ skilgreint í samhengi sálfræðilegra mælinga og hvernig tengist það hlutfalli dreifni sannanlegra einkunna (True score variance) af dreifni mældra einkunna (Observed score variance)?

<p>Áreiðanleiki er skilgreindur sem samkvæmni mælinga og er í beinu hlutfalli við hlutfall dreifni sannanlegra einkunna af dreifni mældra einkunna. Hátt hlutfall gefur til kynna háan áreiðanleika. (B)</p> Signup and view all the answers

Flashcards

Mælingavilla

Tímabundnir þættir sem geta haft áhrif á frammistöðu í prófi (td svefn, tilfinningalegt ástand).

Áreiðanleiki

Mat á því hversu miklar mismunandi niðurstöður endurspegla raunverulegan mun á einstaklingum.

Merki

Raunverulegur munur á einstaklingum sem við viljum greina.

Suð

Mælingavilla sem dylur raunverulegan mun.

Signup and view all the flashcards

Áreiðanleikahlutfall

Hlutfall af raunverulegum mun á móti heildarmun (raunverulegur munur + mælingavilla).

Signup and view all the flashcards

Athugað stig

Niðurstaða prófs fyrir einstakling, sem getur innihaldið bæði raunverulega getu og mælingavillur.

Signup and view all the flashcards

Raunverulegt stig

Raunveruleg geta eða eiginleiki einstaklings, án mælingavillu.

Signup and view all the flashcards

Mælingavilla

Mismunur á athuguðu stigi og raunverulegu stigi.

Signup and view all the flashcards

Formúlan fyrir fylgd einkunn

Raunveruleg einkunn + Villa = Fylgd einkunn

Signup and view all the flashcards

Hvað er raunveruleg einkunn?

Raunveruleg einkunn einstaklings er stöðugt magn af eiginleika sem við viljum mæla.

Signup and view all the flashcards

Hvað er villueinkunn?

Villa í mælingu sem getur aukið eða minnkað einkunn.

Signup and view all the flashcards

Hvernig fáum við fylgdar einkunn?

Fylgdar einkunn er summa raunverulegrar einkunnar og villueinkunnar.

Signup and view all the flashcards

Eðli slembivillu

Villan er jafn líkleg til að hækka eða lækka einkunn.

Signup and view all the flashcards

Áhrif villu á hóp

Villa hefur áhrif á suma með því að hækka einkunnir og aðra með því að lækka einkunnir.

Signup and view all the flashcards

Tengsl villu við raunverulega eiginleika

Stærð og stefna (jákvæð eða neikvæð) villu hefur engin tengsl við raunverulega einkunn einstaklingsins.

Signup and view all the flashcards

Óháð villa

Slembivilla hefur engin tengsl við raunverulega einkunn.

Signup and view all the flashcards

Grunnforsenda CTT

Í CTT er gengið út frá því að athugað einkunn einstaklings sé fall af raunverulegri einkunn hans plús villa.

Signup and view all the flashcards

Formúlan fyrir CTT

Formúlan er Xo = Xt + Xe, þar sem Xo er athuguð einkunn, Xt er raunveruleg einkunn og Xe er villan.

Signup and view all the flashcards

Raunveruleg einkunn (Xt)

Raunveruleg einkunn einstaklings á prófi án áhrifa villu. Við getum aldrei vitað raunverulega einkunn einstaklings.

Signup and view all the flashcards

Villa (Xe)

Mælingarvilla sem hefur áhrif á svar einstaklings. Þessi villa getur verið jákvæð eða neikvæð.

Signup and view all the flashcards

Athuguð einkunn (Xo)

Einkunn einstaklings á prófi, sem er undir áhrifum bæði raunverulegs getustigs og villu.

Signup and view all the flashcards

Dæmi um neikvæða villu

Ef Ashley er með hátt sjálfsmat (Xt = 130) en fær -10 villu vegna slæms dags, þá mun hún fá lægri einkunn en hún á skilið.

Signup and view all the flashcards

Dæmi um jákvæða villu

Ef Bob er með gott sjálfsmat (Xt = 120) en fær +25 villu vegna góðra frétta, þá mun hann fá hærri einkunn en hann á skilið.

Signup and view all the flashcards

Tilgangur CTT formúlunnar

Sú hugmynd að einkunn sem einstaklingur fær á prófi endurspegli bæði raunverulega getu og óhjákvæmilega mælingavillu.

Signup and view all the flashcards

Hagnýtt samhengi

Í hagnýtu samhengi reyna sérfræðingar að taka ákvarðanir um fólk og nota atferlispróf og greiningaraðferðir til að upplýsa þessar ákvarðanir.

Signup and view all the flashcards

Forsenda ákvarðana

Þessar ákvarðanir byggjast á þeirri forsendu að munur sé á atferli fólks, að þessir munir hafi mikil áhrif og að hægt sé að mæla þá af nokkurri nákvæmni.

Signup and view all the flashcards

Sálfræðileg mæling

Sálfræðileg mæling er alltaf háð getunni til að endurspegla nákvæmlega raunverulegan sálfræðilegan mun.

Signup and view all the flashcards

Klassísk próffræði (CTT)

Klassísk próffræði (CTT) er mælingakenning sem skilgreinir huglægan grundvöll áreiðanleika og lýsir aðferðum til að meta áreiðanleika sálfræðilegra prófa.

Signup and view all the flashcards

Áreiðanleiki samkvæmt CTT

Samkvæmt CTT er áreiðanleiki mælikvarði á hversu vel munur á prófskorum endurspeglar raunverulegan sálfræðilegan mun, öfugt við mælingarskekkju.

Signup and view all the flashcards

Tilgangur áreiðanlegra skora

Hvort sem þú notar mælingar í rannsóknaskyni eða hagnýtum tilgangi, vonumst við til að prófskor okkar séu mjög áreiðanleg.

Signup and view all the flashcards

Áreiðanleiki sem allt eða ekkert

Vísindamenn tala stundum eins og áreiðanleiki sé spurning um allt eða ekkert, en gott próf er ALLTAF áreiðanlegt.

Signup and view all the flashcards

R = 1 í áreiðanleika

Ef breytileiki í raunverulegum skor er jafn breytileika í athuguðum skor, þá er R = 1. Þetta gefur til kynna að engin mælivilla hafi áhrif á athuguð skor.

Signup and view all the flashcards

Mælivilla

Mælivilla á sér alltaf stað að einhverju marki. Því er mikilvægt að meta áreiðanleika til að meta hversu mikil mælivillan er.

Signup and view all the flashcards

Bættur áreiðanleiki

Breytingar á spurningalistum geta bætt áreiðanleika. Tryggja þarf að spurningarnar séu skýrar og að fólk skilji þær rétt.

Signup and view all the flashcards

Áreiðanleiki skilgreindur

Áreiðanleiki er hlutfallið af breytileika í athuguðum skor sem má rekja til breytileika í raunverulegum skor. Það mælir hversu mikil áhrif mælivilla hefur.

Signup and view all the flashcards

Meðalvillur eru núll

Villur hafa tilhneigingu til að jafna sig yfir svarendur; sumar einkunnir eru ýktar, aðrar undirmettaðar.

Signup and view all the flashcards

Fylgni raunverulegra og villaeinkunna

Villaeinkunnir samsama ekki raunverulegum einkunnum; þær eru óháðar raunverulegum sjálfsálitsstigum einstaklinga.

Signup and view all the flashcards

Áreiðanleiki í CTT

Áreiðanleiki endurspeglar hve vel munur á mældum einkunnum samsvarar raunverulegum mun.

Signup and view all the flashcards

Villa sem hindrar raunverulegan mun

Raunverulegur munur á fólki getur dulist af mun á mælivillum.

Signup and view all the flashcards

Afbrigði í mældum einkunnum

Heildarmunur á mældum einkunnum afleiðing af raunverulegum mun og mælivillum.

Signup and view all the flashcards

Villa og áreiðanleiki

Því meiri sem villa hefur áhrif á mælda einkunn, því lægra er áreiðanleiki prófsins.

Signup and view all the flashcards

Hlutverk villunnar við að dylja raunverulegan mun

Raunverulegur munur getur verið óskýrari þegar villan er stór.

Signup and view all the flashcards

Útbreiðsla mæliskekkna.

Fyrir hvern einstakling með háa sjálfsálitseinkunn sem er undirmetin er einstaklingur með háa sjálfsálitseinkunn sem er ofmetin.

Signup and view all the flashcards

Study Notes

  • Reliability is a measure of how consistent and accurate test scores are.
  • A highly reliable test produces scores that are mainly influenced by true psychological differences, not measurement error.

Conceptual Basis of Reliability

  • It is hard to measure babies lengths accurately because they squirm erratically, and resist attempts to stretch them out to their full length.
  • If a measurement procedure produces length "scores" that are reliable, there should be good consistency between the measured lengths and their true lengths.
  • Psychological tests should accurately reflect true psychological differences to be useful. Psychological measurement hinges on the ability to reflect real psychological differences accurately.
  • Classical test theory (CTT) defines the conceptual basis of reliability and outlines procedures for estimating the reliability of psychological test scores

CTT and Reliability

  • In CTT, reliability reflects how much differences in test scores reflect true psychological differences versus measurement error.
  • Reliability exists on a continuum; scores can be more or less reliable.
  • Reliability is a theoretical notion and a feature of test scores, analogous to intelligence.
  • Reliability is seen most accurately as a property of test scores, not of a test itself
  • A test can have different psychometric properties for different respondents.

Reliability and CTT Perspective

  • CTT provides the theoretical basis for understanding reliability
  • Estimates can be made to assess the degree to which scores from a measure are reliable under CTT assumptions
  • Reliability implications are important for psychological testing, practice, and research
  • Reliability is a crucial consideration for psychological research and practice

Overview of Reliability & Classical Test Theory

  • Observed scores, true scores, and measurement error play roles in the definition of reliability according to CTT
  • Observed scores come from measuring a characteristic in a sample
  • According to one perspective, true scores refer to true amounts of that characteristic in individuals from the sample; test users desire that observed scores are good estimates of true scores.
  • Some experts prefer a more technical definition of true scores in which it is the average score that a participant would obtain if they completed the scale an infinite number of times
  • Alternatively, true scores can be seen as the scores that would be obtained if the test or measurement was perfectly precise
  • Reliability reflects how consistent the differences in respondents’ observed scores align with the differences in their true scores.
  • Measurement error represents the extent to which these factors contribute random noise to observed scores
  • There is no perfectly reliable measurement, to some extent, the results will always be unreliable.
  • The amount each baby squirms, different nurses might record the measurements as other sources of error affecting test scores.
  • Temporary and transient factors (sleep, emotion, well being etc) could artificially change test scores relative to true scores.
  • To evaluate the reliability of scores from any measure, an estimation of the extent to which individual differences in observed scores are a function of measurement error versus the true or real differences among respondents is needed.
  • True variances are the signal and measurement error is noise. Reliability then can be seen as a ratio of signal and noise: Reliability = signal / signal + noise
  • Reliability is strongest when there is a strong signal and/or little noise.

Observed Scores, True Scores, and Measurement Error

  • Reliability depends on to what extent differences as a result of tests is due to real differences, or due to measurement error.
  • CTT begins with the assumption that a test score is both a persons true score and error.

Key Figures

  • Xo represents an individual's observed test score
  • X₁ represents individual's true score on the relevant psychological characteristic
  • Xe represents the amount of error

Two Core Assumptions Underlying Classical Test Theory

  • Observed scores are a function of true scores + measurement error.
  • Measurement error is random.
  • The first key assumption of CTT is that a person's observed score on a test is a function of the person's true score, plus error. -The respondents' observed scores on the self-esteem questionnaire are determined by their true levels of self-esteem and by the "error" effect of random events or states.
  • The second key assumption underlying CTT is that error occurs as if it is random.
  • Random measurement error artificially inflates some people's scores, deflating others.

Variances in Observed Scores, True Scores, and Error Scores

  • Reliability depends on observed score variability, true score variability, and error score variability.
  • Taking a look at how differences between people can be obscured by measurement error
  • Ashley's true score (X₁=Xo) is inconsistent with observed scores
  • Inconsistency is created by measurement error and artificially inflates/deflates observed scores

Key Idea

  • Measurement error can create such inconsistencies across all respondents,.
  • Measurement error affects apparent differences among all respondents.
  • There is more "spread" among observed scores than among true scores.
  • Measurement error takes true score variance and adds "noise"
  • The total variance of observed scoress from a group of indivuals equals the sum of their true score and error score variances.
  • The variance of observed scores will be larger than the variance of true score, thus error inflates the scores.

Important Formula Derived From These Facts

  • s²o = s²t+ s²e

Thinking of Reliability

  • Four ways to interprete reliability stem from the associations among observed score variance, true score variance and measurement error variance.

Conceptualizing Reliability

  • Statistical basis of reliability can be in terms of Proportions vs correlations
  • Proportions of variance is a ratio of true score variance to observed score variance- or Reliability is the lack of error variance
  • Correlations reliability is the squared correlation between observed scores and true scores, or Reliability is the lack of correlation between observed scores and error scores.

Becoming More Familiar With Reliability

  • Different methods to thinking of reliability, can help find certain concepts more clearly, as variance or correlations
  • Should help develop a deeper understanding of the general meaning of reliability
  • Can help you gain insights of important test

Reliability as the Ratio of True Score Variance to Observed Score Variance

  • True score variance (s2t) as the signal that test takers want to detect
  • Error variance (s2e) as the noise obscuring the signal
  • Reliability (Rxx) = s2t/(s2t+s2e) or True Score Variance/The Total Variance
  • This says that some percent of the differences in scores can be contributed to differences among their true trait levels.
  • In theory, reliability ranges from the number 0 and 1

How To Interpret Score Reliability.

  • As the Xrises up between the numbers 0 and 1, a greater proportion of the difference of observed scores can be attributed to differences from true scores.
  • Perfect reliability score (1.0) will not occur in real testing, reliability of .7 or .8 used in a real test
  • If a true score variance is 0, reliability score is 0. Which means everyone has the same true score.

Reliability as the Lack of Error Variance

  • Reliability can be expressed in terms of a lack of error variance
  • Error variance (s2e) represents the degree to which error affects people
  • The previous section stated that reliability can be seen as the proportion of observed score variance that is attributable to true score variance: as the formula:
    • Rxx = s2t/s2o

Remember

  • Observed core variance is the sum of true score and error variance
  • (Equation 5.3): s02 = st2 +se2

Reliability as the (Squared) Correlation Between Observed Scores and True Scores

  • Reliability is the degree to which differences in observed scores are consistent with differences in true scores.
  • Correlation co-efficient reveals the degree to which differences in one variable are consistent in another.
  • Reliability can be seen in terms of squared correlation between observed scores and true stores
  • Remember the “unsquared” correlation between observed scores and true scores is times called index of reliability. Important not to mistake these concepts as we only used the co-efficient (Rxx) rot= squared
  • Where a correlation can be seen as a covariance divided by product of two standard deviations:

Thus the Correlation Between Observed Scores and True Scores

  • rXY = CXY/SXSY
  • Where the covariance between observed scores and true scores : Cot= Σ(Xo — Xo)(X,—X.) The covariance between true scores and error scores Cte (Xt* Xe)
  • = s?+ Cte =S
  • We find correlation B/W observed Scores true scores is exactly to the ratio of true score variance to observed score variance:
    • Rot = St St 0 Thus, reliability can be seen as the squared correlation between observed scores and true scores. Reliability 1.0 suggests perfectly consistent differences. Reliability 0.0 suggests that it is completely useless and that there may be error.

Reliability as the Lack of (Squared) Correlation Between Observed Scores and Error Scores

  • To the degree that differences in observed test scores reflect differences in the effects of error (instead of true scores), the test is unreliable.

#Equation:

  • Rxx = 1 — roe

Where:

  • roe = the correlation between scores and observed errors on scores.

Reliability and the Standard Error of Measurement

  • The Key Coefficient is an extremely important element for the Psychological Information and testing

Important Terms

  • The Standard Deviation: of error score, can be a way of expressing The standard error of measurement
  • The Standard Error of Measurement: represents the average size of error scores The larger average difference with less reliable test .

Main Key

  • Error=SO √1 - Rxx So is the standard deviation where Rxx is standard for reliability of scores Where, So√1 - Rxx R is perfect 1 Then a result is perfect, if there is no reliability then The Standard Error of Measurement: Is Valid ! Reliability theory ( is a theory known with scores in error. However not necessarily test.

From Theory To Practice: Measurement Methods and their Implications

  • The theory of reliability if framed in three scores : real , error, and observed With no way of knowing people's actual scores The theory still gets the right to actual practice

There are a number of ways to estimate reliability to the Test Scores .

    1. Give two version
    1. Give A test twice
    1. View the test in multiple choice

Studying That Suits You

Use AI to generate personalized quizzes and flashcards to suit your learning preferences.

Quiz Team

Related Documents

More Like This

Kafli 7
45 questions

Kafli 7

ZippyHeliotrope9386 avatar
ZippyHeliotrope9386
Kafli 3
48 questions

Kafli 3

ZippyHeliotrope9386 avatar
ZippyHeliotrope9386
Kafli 2
45 questions

Kafli 2

ZippyHeliotrope9386 avatar
ZippyHeliotrope9386
Kafli 7
47 questions

Kafli 7

ZippyHeliotrope9386 avatar
ZippyHeliotrope9386
Use Quizgecko on...
Browser
Browser