Kafli 6

Choose a study mode

Play Quiz
Study Flashcards
Spaced Repetition
Chat to Lesson

Podcast

Play an AI-generated podcast conversation about this lesson

Questions and Answers

Hvaða fullyrðing lýsir best helstu áskoruninni við að nota próf-endurtektar aðferðina til að meta áreiðanleika mælinga á skapgerðarbreytum, í ljósi þess að skapgerðarbreytur eru líklegar til að sveiflast yfir tíma?

  • Próf-endurtektar aðferðin er of næm fyrir smávægilegum breytingum í mælitækjum, sem leiðir til óáreiðanlegra niðurstaðna þegar mælt er fyrir skapgerðarbreytum.
  • Sveiflur í skapi yfir próf-endurtektar tímabilið valda því að raunveruleg gildi einstaklinga breytast, sem brýtur í bága við forsenduna um stöðugleika sem próf-endurtektar aðferðin byggir á. (correct)
  • Mælingar á skapgerðarbreytum eru óviðkvæmar fyrir umhverfisáhrifum, sem gerir endurteknar mælingar ónákvæmar vegna stöðugleika skapsins.
  • Einstaklingsbundnar breytingar á skapi yfir próf-endurtektar tímabilið hafa óveruleg áhrif á áreiðanleika prófsins, þar sem mælingarnar endurspegla aðallega varanlega persónuleikaþætti.

Í ljósi þess að greind er almennt talin vera stöðugur sálfræðilegur eiginleiki, hvernig hefur þessi stöðugleiki áhrif á túlkun á próf-endurtektar áreiðanleikastuðli fyrir greindarpróf?

  • Ef gengið er út frá því að raunverulegt gildi breytist ekki, gefa breytingar á niðurstöðum til kynna mælingavillur, sem endurspeglast í stærð próf-endurtektar áreiðanleikastuðulsins. (correct)
  • Hár próf-endurtektar áreiðanleikastuðull gefur til kynna að greindarprófið sé ónákvæmt og ofmetur raunverulega getu einstaklingsins.
  • Lágur próf-endurtektar áreiðanleikastuðull er vísbending um að greindarprófið sé óáreiðanlegt, en hefur engin marktæk áhrif á túlkun á greindarprófinu, sem hefur sannað sig.
  • Breytingar á niðurstöðum greindarprófa á milli prófana gefa til kynna marktækar breytingar á greind einstaklingsins og endurspegla ekki mælingavillur.

Ímyndaðu þér rannsókn þar sem skapgerð er metin með prófi-endurtektar aðferðinni. Einstaklingur tilkynnir um verulega jákvæða breytingu á skapi sínu á milli fyrstu og seinni mælinga, vegna óvæntrar viðurkenningar. Hvernig ætti að taka tillit til þessarar upplifunar við túlkun á áreiðanleika prófsins?

  • Breytingin á skapi staðfestir áreiðanleika prófsins, þar sem það sýnir fram á næmi þess fyrir breytingum á innra ástandi einstaklingsins.
  • Aðlögun ætti að gera við próf-endurtektar áreiðanleikastuðulinn til að endurspegla áhrif ytri atburða á skap einstaklingsins.
  • Breytingin á skapi ætti að hunsa þar sem próf-endurtektar áreiðanleiki á að meta stöðugleika prófsins yfir tímabil.
  • Breytingin á skapi dregur úr gildinu á próf-endurtektar aðferðinni, þar sem forsendan um stöðugt raunverulegt gildi er brotin. (correct)

Í samhengi við próf-endurtektar áreiðanleika, hvernig getur tímamunurinn á milli fyrstu og seinni mælinga mismunandi haft áhrif á áreiðanleikastuðulinn fyrir mælingar á bæði stöðugum eiginleikum (eins og greind) og sveiflukenndum ríkjum (eins og skap)?

<p>Lengri tímamunur getur dregið úr áreiðanleika ríkismælinga vegna aukinnar líkur á breytingum, en hefur lítil áhrif á eiginleikamælingar ef forsendan um stöðugleika er uppfyllt. (C)</p> Signup and view all the answers

Hvaða aðferðafræðilega nálgun myndi best henta til að meta áreiðanleika mælinga á skapgerð, með hliðsjón af innri samkvæmni mælitækisins og mögulegum sveiflum á skapgerð yfir stuttan tíma?

<p>Aðferðin með klofningsaðferð til að meta innri samkvæmni prófsins, ásamt ítarlegri greiningu á einstaklingsbundnum breytingum á skapi. (C)</p> Signup and view all the answers

Hvaða fullyrðing lýsir best helstu áskoruninni við að nota aðra útgáfu af prófi til að meta áreiðanleika, þegar kemur að því að uppfylla skilyrði samsíða prófa?

<p>Ólíkindi í efni milli útgáfa geta leitt til þess að þær mæli í raun mismunandi eigindir, sem brýtur í bága við forsendur um samsíða próf og ógildir notkun fylgninnar milli útgáfanna sem áreiðanleikamats. (B)</p> Signup and view all the answers

Í hvaða aðstæðum er próf-endurprófunaraðferðin líklegust til að vera gild aðferð til að meta áreiðanleika?

<p>Þegar prófið er hannað til að mæla stöðugar sálfræðilegar eigindir, svo sem greind eða úthverfu. (A)</p> Signup and view all the answers

Hver er mikilvægasta forsendan sem þarf að uppfylla þegar próf-endurprófunaraðferðin er notuð til að meta áreiðanleika?

<p>Að raunverulegar einkunnir þátttakenda séu stöðugar á milli prófana ($X_{t1} = X_{t2}$). (D)</p> Signup and view all the answers

Hvaða áhrif hefur brot á forsendunni um stöðugar raunverulegar einkunnir á próf-endurprófunaraðferðina?

<p>Það ógildir notkun fylgninnar sem mat á áreiðanleika, þar sem prófið mælir annaðhvort eitthvað annað eða mælir það sama á annan hátt. (D)</p> Signup and view all the answers

Hvaða tölfræðileg forsenda, umfram stöðugleika raunverulegra einkunna, er nauðsynleg til að túlkun á fylgni í próf-endurprófunaraðferðinni sé gild sem mat á áreiðanleika?

<p>Að villudreifingin sé jöfn á milli fyrri og seinni prófana ($s_{e1}^{2}= s_{e2}^{2}$). (D)</p> Signup and view all the answers

Hver er meginmunurinn á varamatsformi á aðferð við að meta áreiðanleika og próf-endurprófs aðferð?

<p>Varamatsform notar mismunandi útgáfur af prófinu, en próf-endurprófsaðferðin notar sama prófið tvisvar. (B)</p> Signup and view all the answers

Í samhengi við próf-endurprófunaraðferðina, hvaða ályktun er hægt að draga ef fylgnin á milli fyrri og seinni prófana er lág?

<p>Annaðhvort er prófið óáreiðanlegt, eða raunveruleg einkunn þátttakenda hefur breyst á milli prófana, eða bæði. (A)</p> Signup and view all the answers

Hvernig getur tíminn á milli prófa í próf-endurprófunaraðferðinni haft áhrif á áreiðanleikamatið?

<p>Mjög stuttur tími getur ýkt áreiðanleikamatið vegna minnisáhrifa, en mjög langur tími getur lækkað matið vegna raunverulegra breytinga á eigindinni sem er mæld. (D)</p> Signup and view all the answers

Hver af eftirfarandi fullyrðinga lýsir nákvæmast helstu takmörkun á notkun aðferðarinnar með hliðstæðum útgáfum (alternate forms method) við mat á áreiðanleika prófs?

<p>Í reynd er ómögulegt að tryggja að hliðstæðar útgáfur mæli nákvæmlega sömu sálfræðilegu eigindir, þar sem mismunandi efni í útgáfunum getur haft áhrif á raunverulega einkunn. (D)</p> Signup and view all the answers

Tvær útgáfur af prófi eru sagðar vera samsíða (parallel) samkvæmt klassískri próffræði (CTT). Hver af eftirfarandi fullyrðingum lýsir nauðsynlegu skilyrði fyrir því að þetta sé rétt?

<p>Útgáfurnar þurfa að mæla nákvæmlega sömu raunverulegu einkunn (true scores) fyrir hvern einstakling og hafa sömu villudreifni. (A)</p> Signup and view all the answers

Í rannsókn er áreiðanleiki prófs metinn með því að nota aðferðina með hliðstæðum útgáfum (alternate forms method). Fylgnistuðullinn milli einkunna á útgáfu A og útgáfu B er 0,70. Hins vegar eru vísbendingar um að útgáfurnar mæli ekki nákvæmlega sömu raunverulegu einkunn (true score). Hver af eftirfarandi fullyrðingum er rétt í ljósi þessara upplýsinga?

<p>Fylgnistuðullinn 0,70 vanmetur líklega áreiðanleika prófsins, þar sem útgáfurnar mæla ekki nákvæmlega sömu raunverulegu einkunn. (D)</p> Signup and view all the answers

Rannsakandi notar aðferðina með hliðstæðum útgáfum (alternate forms method) til að meta áreiðanleika nýs sálfræðilegs prófs. Rannsakandinn kemst að því að fylgni milli útgáfu A og útgáfu B er marktækt há en villudreifni er marktækt mismunandi á milli útgáfanna. Hvaða ályktun er mest viðeigandi að draga af þessum niðurstöðum?

<p>Prófið er ekki áreiðanlegt þar sem útgáfurnar hafa ekki sömu villudreifni, sem brýtur í bága við forsendur um samsíða próf. (D)</p> Signup and view all the answers

Í hverju felst helsti munurinn á því að meta áreiðanleika með aðferðinni test-retest og aðferðinni með hliðstæðum útgáfum (alternate forms method)?

<p><em>Test-retest</em> mælir stöðugleika einkunna í tímans rás, á meðan aðferðin með hliðstæðum útgáfum metur samræmi milli tveggja mismunandi útgáfa af sama prófi. (B)</p> Signup and view all the answers

Hvaða áhrif hefur það á mat á áreiðanleika með aðferðinni með hliðstæðum útgáfum (alternate forms method) ef útgáfurnar eru mislangar?

<p>Ef önnur útgáfan er marktækt lengri en hin, getur það leitt til vanmats á áreiðanleika, þar sem lengri próf hafa oft hærri áreiðanleika. (A)</p> Signup and view all the answers

Hvernig getur rannsakandi best gengið úr skugga um að tvær útgáfur af prófi séu eins nálægt því að vera samsíða (parallel) og mögulegt er, þegar aðferðin með hliðstæðum útgáfum (alternate forms method) er notuð?

<p>Með því að tryggja að útgáfurnar hafi sama meðaltal erfiðleikastigs og dreifingu efnis, og með því að fylgjast náið með fylgni milli einkunna. (B)</p> Signup and view all the answers

Í hvaða tilfellum er aðferðin með hliðstæðum útgáfum (alternate forms method) sérstaklega gagnleg til að meta áreiðanleika, samanborið við aðrar aðferðir?

<p>Þegar óæskilegt er að einstaklingar taki sama próf aftur vegna mögulegrar minnisáhrifa eða þjálfunaráhrifa. (B)</p> Signup and view all the answers

Í ljósi þess að klassísk próffræði (CTT) forsendum um samhliða próf er fylgt að mestu leiti, nema eitt mikilvægt brot sem tengist fylgni á milli villna ($r_{e1e2} = .93$), hvernig hefur þetta brot áhrif á notkun Spearman-Brown formúlunnar fyrir áreiðanleikastuðulinn ?

<p>Notkun Spearman-Brown formúlunnar er ógild þar sem hún gerir ráð fyrir óháðum villum. Notkun hennar mun leiða til ónákvæms mats á áreiðanleika prófsins eftir að það hefur verið lengt eða stytt. (A)</p> Signup and view all the answers

Hver af eftirfarandi fullyrðinga lýsir best mikilvægi þess að meta áreiðanleika mismunadrifs í sálfræðilegum mælingum, sérstaklega í samhengi við rannsóknir á flóknum fyrirbærum?

<p>Þrátt fyrir að mismunadrif geti verið gagnleg til að fanga breytingar og munstur í einstaklingsbundnum gögnum, þá er mikilvægt að vera meðvitaður um takmarkanir þeirra og mögulega skort á áreiðanleika, sem getur haft áhrif á réttmæti ályktana, með því að greina og meta mögulega áreiðanleikagalla. (A)</p> Signup and view all the answers

Hver er víðtækasta afleiðingin af því að engin ein aðferð er fullkomlega nákvæm til að meta áreiðanleika í öllum tilvikum?

<p>Það er mikilvægt að rannsakendur geri sér grein fyrir forsendum og takmörkunum hverrar aðferðar og velji þá aðferð sem best hentar við sérstakar aðstæður og gögn, og viðurkenna að áætlunin gæti ekki verið fullkomlega nákvæm. (C)</p> Signup and view all the answers

Í hvers konar rannsóknarhönnun er líklegast að þörf sé á tveimur eða fleiri prófum á hvern þátttakanda til að meta áreiðanleika?

<p>Langtímarannsókn þar sem þátttakendur eru metnir á sama mælikvarða á nokkrum tímapunktum til að meta breytingar með tímanum. (D)</p> Signup and view all the answers

Hvernig tengist hugtakið samkvæmni mati á áreiðanleika í sálfræðilegum mælingum?

<p>Samkvæmni er grundvallaratriði til að meta áreiðanleika, þar sem áreiðanleiki vísar til þess hversu vel niðurstöður þátttakenda eru í samræmi við mismunandi prófanir, aðferðir eða tímapunkta. (C)</p> Signup and view all the answers

Ímyndaðu þér að þú sért sálfræðingur sem ber ábyrgð á að meta áreiðanleika nýs spurningalista sem er hannaður til að mæla flókið hugtak sem kallast "tilvistarleg einmanaleiki". Eftir að hafa safnað gögnum frá stóru úrtaki einstaklinga kemst þú að því að Cronbach's Alpha-stuðullinn fyrir allan spurningalistann er óviðunandi lágur (e.g., .60). Hver af eftirfarandi atriðum er mest viðeigandi skref til að bæta áreiðanleika spurningalistans?

<p>Bæta við fleiri atriðum við spurningalistann sem eru huglægt skyld atriðunum sem eru nú þegar til staðar. (B)</p> Signup and view all the answers

Í rannsókn á þroskabreytingum hjá unglingum, ákveður rannsakandi að nota mismunadrif til að meta breytingar á sjálfsvirðingu yfir eins árs tímabil. Rannsakandinn notar staðlaðan sjálfsvirðingar mælikvarða við upphaf rannsóknarinnar (Time 1) og aftur ári síðar (Time 2). Eftir að hafa fengið mismunadrifreikna reiknar rannsakandinn áreiðanleika mismunadrifanna og finnur að áreiðanleikastuðullinn er óviðunandi lágur (e.g., .30). Hverjar eru hugsanlegar afleiðingar af lélegri áreiðanleika mismunadrifanna?

<p>Lág áreiðanleiki dregur úr tölfræðilegu afli rannsóknarinnar, sem gerir það erfiðara að greina verulegar þroskabreytingar og eykur líkurnar á villandi niðurstöðum. (A)</p> Signup and view all the answers

Ímyndaðu þér að sálfræðingur útbúi nýtt próf til að meta streituþol. Til að meta áreiðanleika prófsins ákveður sálfræðingurinn að nota prófun-endurtekningar aðferðina. Hins vegar komast þeir að því að einkunnir þátttakenda eru í samræmi við mælitæki við báðar gjafir, en það er kerfisbundin breyting á meðaleinkunninum frá fyrstu gjöfinni til seinni gjafarinnar. Hver af eftirfarandi er algerlega líklegasta skýringin á þessu mynstri niðurstaðna?

<p>Prófið hefur sterka prófun-endurtekningar áreiðanleika, en er undir áhrifum frá þroskaáhrifum. (A)</p> Signup and view all the answers

Í ljósi takmarkana á beinni athugun á sönnum einkunnum og mælingarskekkju í atferlismælingum, hvernig er áreiðanleiki í reynd metinn samkvæmt klassískri próffræði (CTT), og hvaða forsendur eru nauðsynlegar til að tryggja gildar ályktanir?

<p>Með því að nota óbein mat, byggt á áætluðu hlutfalli af breytileika sem rekja má til sönnu einkunna, með því að nota mismunandi aðferðir sem allar krefjast tveggja eða fleiri prófana. (D)</p> Signup and view all the answers

Hver er grundvallarmunurinn á aðferðunum við að meta áreiðanleika með hliðstæðum útgáfum, endurteknu prófi og innri samkvæmni, og hvernig hafa þessir munir áhrif á túlkun áreiðanleikastuðulsins?

<p>Aðferðirnar eru mismunandi að því marki sem þær taka mið af mismunandi uppsprettum villu; túlkun stuðulsins breytist eftir því hvaða uppsprettur eru teknar til greina. (D)</p> Signup and view all the answers

Í hvaða aðstæðum væri áreiðanleikamæling með aðferðinni 'endurtekið próf' óhentug og hvaða valkostir væru betri til að meta áreiðanleika?

<p>Þegar prófið hefur áhrif á frammistöðu við seinni prófun, þá er notkun á 'endurtekið próf' óhentug og 'innri samkvæmni' eða 'hliðstæðar útgáfur' gætu verið betri valkostir. (C)</p> Signup and view all the answers

Hvernig getur breytileiki (e. variance) í hóp haft áhrif á áætlaðan áreiðanleikastuðul prófs, og hvaða tölfræðilegar aðferðir gætu verið notaðar til að leiðrétta fyrir slíkum áhrifum?

<p>Takmarkaður breytileiki getur lækkað áreiðanleikastuðulinn; aðferðir eins og breytileikaleiftiréttingar (e. variance restriction corrections) geta verið notaðar til að leiðrétta fyrir þessum áhrifum. (A)</p> Signup and view all the answers

Hvaða meginforsendur liggja að baki beitingu Cronbach's alfa sem mælikvarða á innri samkvæmni, og hvernig geta brot á þessum forsendum haft áhrif á túlkun stuðulsins?

<p>Cronbach's alfa gerir ráð fyrir að atriðin mæli skylda eiginleika; brot á þessari forsendu geta leitt til undirmats á áreiðanleika. (B)</p> Signup and view all the answers

Í stóru rannsóknarverkefni með fjölmörgum mælingum, hvernig myndir þú ákvarða hvaða áreiðanleikastuðull (þ.e. alternate forms, test-retest, internal consistency) væri hentugastur fyrir hverja mælingu og hvers vegna?

<p>Val á áreiðanleikastuðli ætti að vera grundvallað á eðli mælingarinnar, mögulegum áhrifum endurtekinna mælinga og tilgátum um undirliggjandi eiginleika. (C)</p> Signup and view all the answers

Hvaða aðferðir eru til staðar til að meta áreiðanleika samsettra skorða (e. composite scores) sem eru reiknaðar út frá mörgum prófum eða undirprófum, og hverjar eru helstu áskoranirnar við að meta áreiðanleika slíkra skorða?

<p>Aðferðir eins og Spearman-Brown spáformúlan eða almennari útgáfur af Cronbach's alfa geta verið notaðar, en áskoranir fela í sér að meta samspil áreiðanleika hvers prófs og vægi þeirra í samsettu skorðunni. (C)</p> Signup and view all the answers

Segjum að þú sért að þróa nýtt sálfræðilegt próf til að mæla flókið hugsmíð (e. construct), en þú ert takmarkaður við fjárhagslega og tímalega úrræði. Hvernig myndir þú forgangsraða á milli mismunandi aðferða til að meta áreiðanleika (t.d. endurtekið próf, hliðstæð form, innri samkvæmni) til að hámarka upplýsingarnar sem þú færð um gæði prófsins innan þessara takmarkana?

<p>Nota innri samkvæmni (t.d. Cronbach's alfa) sem fyrsta skref, þar sem það er hagkvæmt og gefur vísbendingar um samræmi atriða; ef alfa er ásættanlegt, sleppa frekari prófunum. (B)</p> Signup and view all the answers

Flashcards

Empírískt áreiðanleikamat

Raunverulegt mat á áreiðanleika byggt á raunverulegum prófsgögnum.

Áreiðanleiki (fræðilegt hugtak)

Eiginleiki prófskora sem ekki er hægt að reikna beint.

Bilið í áreiðanleika

Mismunur á milli kenningar um áreiðanleika og hvernig áreiðanleiki er skoðaður í raun.

Valkostpróf

Áreiðanleiki metinn út frá samræmi skora milli tveggja útgáfa af prófinu.

Signup and view all the flashcards

Endurtekið próf

Áreiðanleiki metinn út frá samræmi skora yfir tvö próftímabil.

Signup and view all the flashcards

Innri samkvæmni

Áreiðanleiki metinn út frá samræmi skora milli hluta prófsins.

Signup and view all the flashcards

Aðferð með hliðstæðum eyðublöðum

Aðferð þar sem áreiðanleiki er metinn á grundvelli samræmis milli tveggja útgáfa af prófinu.

Signup and view all the flashcards

Aðferð við endurtekið próf

Aðferð þar sem áreiðanleiki er metinn með því að gefa sama próf tvisvar með tímanum.

Signup and view all the flashcards

Áreiðanleiki

Ef niðurstöður eru stöðugar yfir prófanir, gefur það vísbendingu um áreiðanleika.

Signup and view all the flashcards

Aðferð með hliðstæðum formum

Aðferð til að meta áreiðanleika með því að nota tvö mismunandi próf.

Signup and view all the flashcards

Áætlun á áreiðanleika

Með því að reikna fylgni á milli tveggja hliðstæðra forma prófs.

Signup and view all the flashcards

Hliðstæð próf

Að prófin mæli nákvæmlega það sama (Xt1 = Xt2) og hafi sömu villu dreifingu (se12= se22).

Signup and view all the flashcards

Fylgni á milli tveggja hliðstæðra prófa

Nákvæmlega jafnt og áreiðanleiki prófskoranna (r1o2 = R11 = R22).

Signup and view all the flashcards

Hliðstæð próf (kostir)

Framleiðir nákvæmar áætlanir um áreiðanleika.

Signup and view all the flashcards

Hliðstæð próf (gallar)

Framleiðir ónákvæmar áætlanir.

Signup and view all the flashcards

Vandamál með hliðstæð form

Við getum aldrei verið fullviss um að hliðstæð form prófs séu í raun hliðstæð.

Signup and view all the flashcards

Formúla fyrir fengið stig

Samkvæmt CTT, er fengið stig summa af raunverulegu stigi og villu.

Signup and view all the flashcards

Eiginleiki samsíða prófa

Raunveruleg stig eru nákvæmlega eins á báðum formum.

Signup and view all the flashcards

Meðaltal villu

Meðaltals villa er 0 fyrir hvert form.

Signup and view all the flashcards

Samband raunverulegra stiga og villu

Raunveruleg stig eru ótengd við villu stig.

Signup and view all the flashcards

Áhrif villu

Villur hafa áhrif á próf eins og þær séu tilviljanakenndar, sem þýðir að villustig frá tveimur formum ættu að vera ótengd.

Signup and view all the flashcards

Mismunaskor

Mismunur á milli tveggja prófskora, notað til að rannsaka breytingar.

Signup and view all the flashcards

Engin ein fullkomin aðferð

Ekkert eitt áreiðanleikamatsform er fullkomið við allar aðstæður.

Signup and view all the flashcards

Forsendur aðferða

Hver aðferð byggir á ákveðnum forsendum um þátttakendur og próf.

Signup and view all the flashcards

Tvær prófanir

Aðferðir við að meta áreiðanleika þarfnast að minnsta kosti tveggja prófana.

Signup and view all the flashcards

Próf með mörgum hlutum

Notkun tveggja eða fleiri hluta í prófi (t.d. spurningar).

Signup and view all the flashcards

Samkvæmni

Samkvæmni í svörum er grundvöllur þess að meta áreiðanleika.

Signup and view all the flashcards

Skaplík sálfræðileg eigindi

Huglæg eigindi sem geta breyst hratt, eins og skap.

Signup and view all the flashcards

Endurtekin prófun

Aðferð til að meta áreiðanleika þar sem sama próf er gefið tvisvar með tímanum.

Signup and view all the flashcards

Einkennalík sálfræðileg eigindi

Huglæg eigindi sem eru stöðug yfir tíma, eins og greind.

Signup and view all the flashcards

Mælingarvilla

Villur sem koma upp þegar mæling er ekki nákvæm.

Signup and view all the flashcards

Raunveruleg skor

Raunverulegt gildi á eiginleika einstaklings, án mælingarvillu.

Signup and view all the flashcards

Endurtekið próf (Test-retest)

Aðferð til að meta áreiðanleika þar sem sama próf er lagt fyrir sama hóp fólks tvisvar.

Signup and view all the flashcards

Áreiðanleiki með endurteknu prófi

Mælikvarði á hversu stöðugt próf mælir yfir tíma.

Signup and view all the flashcards

Stöðugleiki raunverulegrar einkunnar

Sú forsenda að raunveruleg einkunn einstaklings breytist ekki milli prófa.

Signup and view all the flashcards

Jöfn dreifing villna

Sú forsenda að dreifing villna sé sú sama í báðum prófunum.

Signup and view all the flashcards

Fylgni sem áreiðanleikamats

Ef forsendur um stöðugleika og jafna dreifingu villna eru uppfylltar, má nota fylgnistuðulinn á milli prófana sem mat á áreiðanleika.

Signup and view all the flashcards

Aðferð með hliðstæðum útgáfum

Aðferð við að meta áreiðanleika með því að nota tvö mismunandi próf sem eiga að mæla sama fyrirbæri.

Signup and view all the flashcards

Fylgni milli hliðstæða

Tölfræðilegt samband á milli tveggja hliðstæðra prófa sem notað er til að meta áreiðanleika.

Signup and view all the flashcards

Study Notes

Empirical Estimates of Reliability

  • A gap exists between the theory of reliability and its practical examination in behavioral measurement.
  • Reliability is a theoretical property of test scores and cannot be computed directly in real testing situations, but can only be estimated from real data.
  • Classical test theory (CTT) assumptions allow observed test scores to estimate reliability and measurement error.

Three General Methods for Estimating Reliability

  • Alternate Forms:
    • Consistency of scores across two versions of the test estimates reliability.
  • Test-Retest:
    • Consistency of scores across two times of testing estimates reliability.
  • Internal Consistency:
    • Consistency of scores across parts of the test estimates reliability.
    • Each method requires two or more "testings" to generate an estimate of reliability.

General Observations on Estimating Reliability

  • No single method provides completely accurate estimates of reliability under all conditions.
  • The accuracy of each method depends on assumptions about participants, testing procedures, and test psychometric properties.
  • If assumptions are not valid, reliability estimates may not be totally accurate.
  • Every method requires at least two "testings" to generate an estimate of reliability.
  • Consistency across testings is the basis of estimating reliability for every method. More specifically, examining how the "testings" compare.

Alternate Forms Method of Estimating Reliability

  • Alternate forms method (parallel forms reliability) estimates test score reliability using correlation between two different test forms.
  • The correlation can be interpreted as an estimate of reliability.
  • Score differences from one form should align with score differences from another form for a reliable test.

Conditions for Accurate Estimates

  • Accurate interpretation of correlation between alternate forms is appropriate only if the two test forms are parallel.
  • Two tests are considered parallel if they measure identical true scores and have the same amount of error variance.
  • Correlation between two parallel tests is exactly equal to the reliability of the test scores.
  • When strict criteria for parallel tests are met, this method produces accurate estimates of reliability

Challenges with Alternate Forms

  • It is difficult to ensure two forms of a test are truly parallel.
  • Concerns arise as to whether alternate forms reflect the same psychological attribute.
  • The differing content might lead to assessment of different psychological constructs.
  • Carryover or contamination effects due to repeated testing can affect responses.
  • Completion of the first form might influence the second form.
  • Memory for test content, attitudes, or immediate mood states can affect test performance across forms.

Carryover Effects and CTT Assumptions

  • Error scores on one form might correlate with error scores on the other.
  • A fundamental assumption of CTT is that errors affecting any test are random, meaning error scores on one test are uncorrelated with error scores on a second test.
  • The correlation could emerge from carryover effects like mood state or memory.
  • Stable measurement error elements will cause error score correlation.

Test-Retest Method of Estimating Reliability

  • The test-retest method avoids some problems seen in the alternate forms method.
  • It is useful for measures of stable psychological constructs like intelligence or extroversion.
  • An important concern when referring to the alternate forms method of estimating reliability is that alternate test forms have different content and might actually measure different constructs. This could invalidate the use of the correlation as an estimate of reliability.

Test-Retest Procedure

  • Requires the same people to take the exact same test on more than one occasion.
  • If assumptions are met, correlation between first test scores and retest scores reflects test reliability.
  • Consistency between observed scores from testing occasions indicates test reliability.

Test-Retest Assumptions

  • Test-retest rests on the assumption that the two testings meet the criteria for parallel tests.
  • True scores remain stable across testing occasions.
  • Respondents' true scores do not change from the first time they take the test, to the second time they take the test.
  • Measurement the error variance of the first testing equals the error variance of the second testing .
  • Testing occasions produce scores that are equally reliable.
  • When these assumptions are legitimate, the correlation between scores from the two test occasions is an accurate estimate of the score’s reliability.

Confidence in test-retest assumptions

  • The equality of error variances might be reasonable if care is taken in the testing process Measurement.
  • Error is strongly affected by temporary elements within the immediate testing situation-noise, distractions etc
  • Care to control circumstances may produce two testing situations that are reasonably comparable with each other.

Initial Assumption Difficulties

  • It can be more difficult to be confident in the first assumption - that the true scores of people taking your test remain stable.
  • While the test-retest procedure avoids the problem of differing content found with the alternate forms procedure, another arises, as we must assume that participant's true scores have remained completely stable and unchanged .
  • Respondents might experience psychological changes between occasions.
  • At least three factors affect someone's confidence in the stability assumption; whether the attributes are stable across time, transient or statelike characteristics etc.

Transient vs Traitlike Characteristics

  • It would probably not make sense to assume that a person’s score on a mood test would be reliable, due to the potential fluctuations of the individuals mood state and testing environment during testing.
  • Changes in mood state are likely to from various factors in different ways for different people.
  • Some might experience physical distress of some kind, in contrast others could receive good news of some kind that might make them change their minds.
  • Their true construct levels may not be stable across the two testings.
  • For such state like constructs, the test retest method provides a test reliability.

Traitlike Psychological Attributes

  • The procedure may provide reasonable estimates for traitlike psychological attributes.
  • For example, intelligence can be be conceived as relatively stable with strong empirical support from middle childhood through adulthood.
  • It is reasonable to assume that true scored to not change during a test retest interval.
  • changes in observed scores across two testings will represent measurement error which is reflected by the size of the test retest reliability.

Further Factors Affect Confidence

  • The length of the retest interval, longer intervals mean more change.
  • True scores are mor e likely to change across longer test intervals, however shorter ones could cause contamination effects as well.
  • Commonly the most test-retest analyses are conducted from 1-8 weeks. The period which the interval occurs.
  • At different periods that the individual is undergoing, psychological change becomes more present. For example change in cognitive skills.

Summary of Test-Retest

  • The method depends heavily on the assumption that true scores test retest remains consistent in the interval.
  • The test retest correlation specifically reflects the amount in which the measurements of error affect the test scores.
  • Since the true scores do actually reflect in stable degrees you can't know for sure with the limitations.

Internal Consistency For Reliability

  • A third general approach to estimating reliability is throughout internal consistency.
  • This offers a useful way to test reliability, alternative to alternative forms, which offers convenience. This also simplifies various assumptions.

Internal Consistency Usage

  • It can be used from complete test scores, for multiple choice questions the chapter 3, scores, are computed from said questions. It is named comprehensive chapter three most all of psychological tests are.
  • This type of approach is used is that different parts of the test I.e groups of tests used in different areas.

Internal Consistency Test Factors

  • The consistency throughout the factors affects the ability of the test two variables consistency among test parts or test length.
  • As seen a tests' parts are correlated with each other then it is reliable through the test.
  • It will see the nature of measurement is linked to how it arises with the error of measurements and linked to the reliability scores of different approaches.

Specific Test Approaches

  • Will specific all provide general and internal consistency to this way of estimating the the ability, they include split-half approach raw alpha, both continuous and by responses with the standard output pro. This may be shortcomings.
  • This can be used by a wider range of situations table 6.2, and detail in Chapter 12.

Internal Consitency Factors

  • Split Half Test: correlation between halves to the 2Rh2/1+rnh2 Raw Alpha sum of all the covariances among the the sum of the inter, is (k-1)/K/X squared . Test scores a number in front of which it is
  • . sum of the inter-item (sqared and k times . the squared items Standardized Avg* all correlation number , in total it ( the interms - 1 the 3rd of
  • Number of items(k) average all . , sumof items . square
  • all these have 𝑘( Ƹp Variancer of (k-1 K-1/X2 squared
  • Number of items. a Athough Which can apply

Split Half Approach

  • In the event the items from the tests can be split into to parallel subtests of equal size, It's possible to compute score for every subtest to correlate from the score.
  • Effect it produce two more and test this that score the total 10 to has to do sub test based from test into do is three step process, the data is not conforming, the testing may help this with a intuitive test in these data.

Three Step Test Process

  • We find the sub scores for example can the we can combine sub test scores and summing in table table 2 the sub list 1 in short. In the test tests are able then will we able the test between respondent from odd the test and the half of there test.
  • From the test in relation with the table 6.2 will will we can compute in that degree.. entering that's the split-half reliability estimate or ability.

Several developed estimate ability were

  • Developed by Spearman Brown, different and from it and for this .
  • It compute the reliabilty for internal consistency, and based on the tests to perform all is a reliability. it makes them the in sub tests.

Split Test Challenges

  • Unfortunately the,the score do not meet if do 6.1 the of is .

Split Test Data

  • Which can the two have and . different as those these with. as result compute the and obtain which split high estimate the reliability or, it which better split can be split from every.

Difficult Test

  • it that split-half reliability is obtained or can with 451 433 The value. with power tests the will have equal each The test can make easy..

Raw Coefficient Alpha

  • The split test way of the both from level step is tests the has all the the compute the the has be two it and it or all the test.

Studying That Suits You

Use AI to generate personalized quizzes and flashcards to suit your learning preferences.

Quiz Team

Related Documents

More Like This

Psychology Reliability Concepts
66 questions

Psychology Reliability Concepts

ComelyParallelism6626 avatar
ComelyParallelism6626
Psychology Reliability Concepts Quiz
6 questions
Understanding Reliability in Tests
10 questions
Use Quizgecko on...
Browser
Browser