WYKŁAD-zaawansowana-psychometria-2 PDF

Zaawansowana psychometria Konstruowanie narzędzi dr hab. Agata Gąsiorowska, prof. Uniwersytetu SWPS [email protected] Znajomość podstaw psychometrii to warunek adekwatnego stosowania i właściwego interpretowania wyników psychologicznych narzędzi diagnostycznych Organizacja zajęć Cel zajęć Relacja między wykładem a ćwiczeniami – to jest jeden przedmiot. Nie da się zrobić pracy na ćwiczeniach nie chodząc na zajęcia wykładowe. Kurs elearningowy, hasło: adaptacja – tam znajdziemy sylabus, prezentacje do wykładu oraz to, co mamy zrobić na najbliższe zajęcia. Zespoły po 4-5 osób w ramach jednej grupy ćwiczeniowej, krótkie narzędzia z języka angielskiego na polski; artykuły przydzielane są odgórnie. Możemy te fora na e-learningu wykorzystywać do komunikacji między sobą. Będziemy adaptować kwestionariusz i sprawdzać, czy po adaptacji, kwestionariusz, który przetłumaczymy będzie miał takie same właściwości psychometryczne jak wersja oryginalna. Procedura będzie taka, jaka jest naprawdę, badanie też trzeba będzie przeprowadzić. Naszym pierwszym zadaniem merytorycznym będzie to, że każdy z nas ma przeczytać przydzielony artykuł i nie kontaktować się z koleżankami i kolegami z zespoły. Mamy samodzielnie wykopiować sobie to, co jest skalą odpowiedzi, spróbować ją przetłumaczyć na polski, ustalić, czy mamy jednakową wersję, następnie mając skalę odpowiedzi, znów każdy sam tłumaczy pozycje testowe na język polski, tak jak potrafi, pamiętając o zasadach. Na pierwszych ćwiczeniach będziemy zbierać te wersje i patrzeć, jak wyglądają, czym się różnią, która jest najlepsza w kontekście sformułowania i brzmienia tej pozycji testowej i albo będziemy wybierać tę, która jest najlepsza, albo na bazie tego materiału stworzymy nowe brzmienie. Ważne, żeby każdy robił to sam, bo pojawią się rozjazdy i to będzie znaczyło, że pozycja nie jest jasna i trzeba o niej dyskutować, a to są pomysły alternatywne i ważne jest, żeby on istniały. Pierwsze zadanie domowe: Sylabus Zasady zaliczenia Punkty 0-100, min 51pkt 4 kryteria oceny: Sprawdzian końcowy – 40pkt – jeżeli praca grupowa była naprawdę pracą grupową, to w zasadzie nie trzeba się przygotowywać do sprawdzianu końcowego. Mamy więc pracować grupowo. Projekt: 30-60pkt 3 raporty cząstkowe, za każdy max 10pkt, łącznie min 15 pkt do zaliczenia 1 Uwaga: oceny raportów cząstkowy to przede wszystkim oceny za terminowość i sumienność. Lepiej oddać w terminie, nawet nie do końca dobrze zrobiony. Na bazie tych 3 raportów, kiedy je razem złożymy, powstanie końcowa prezentacja (nie będziemy pisać podręcznika, tylko mamy zrobić slajdy prezentacji). Nie będziemy jej prezentować, ale będzie materiałem, który będziemy oddawać na samym końcu. Zakres informacji powinien być podobny do zakresu informacji w podręczniku, gdybyśmy go tworzyli. Podręcznik to jest podstawowy dokument, który opisuje podstawowy test psychometryczny. Prezentacja ma pokazywać, co po kolei robiliśmy, co nam wyszło i jakie są wnioski. I mają tam być zawarte kluczowe elementy – przykładowa prezentacja będzie zamieszczona na e-learningu Będzie również kryterium pracy zespołowej. Jesteśmy oceniani jaki zespół, ale została wprowadzona ocena współpracy zespołowej, czyli będziemy się nawzajem oceniać. Badanie będziemy robić online. Musimy przebadać ok 200 osób. Chcemy zobaczyć jak te dane się zbierają, żeby sprawdzić ich jakość. Literatura podstawowa Hornowska, E. (2001). Testy psychologiczne. Teoria i praktyka, seria Wykłady z Psychologii, t. 6., Warszawa: Wydawnictwo Naukowe „Scholar” Może być jeszcze książka Frończyka – treści sa tam dokładnie takie same. Standardy dla testów stosowanych w psychologii i pedagogice (2007). Gdańsk: GWP Literatura dodatkowa Zawadzki, B. (2006). Kwestionariusze osobowości. Strategie i procedura konstruowania, Warszawa: Wydawnictwo Naukowe „Scholar” Anastasi, A., Urbina, S. (1999) Testy psychologiczne. Warszawa: Pracownia Testów Psychologicznych PTP Brzeziński, J. (1999) Metodologia badań psychologicznych (wyd. 3). Warszawa: Wydawnictwo Naukowe PWN (rozdz. 15-20) Spis treści Jak zbudować dobry test psychologiczny?.............................................................................................. 4 Etap 1. Zdefiniowanie celu pomiaru.................................................................................................... 4 Etap 2. Zdefiniowanie mierzonej cechy............................................................................................... 6 Etap 3. Przygotowanie projektu testu................................................................................................. 6 Etap 4. Określenie formatu pozycji testowych.................................................................................... 7 Etap 5. Wygenerowanie puli pozycji testowych................................................................................ 10 Etap 6. Analiza pozycji pod względem językowym............................................................................ 11 Etap 7. Analiza pozycji pod względem trafności treściowej.............................................................. 12 Etap 8. Przygotowanie formularza testu........................................................................................... 13 Adaptacja testów............................................................................................................................... 14 WYKŁAD 2.............................................................................................................................................. 20 2 Trafność................................................................................................................................................. 20 PODSTAWOWE ASPEKTY TRAFNOŚCI................................................................................................ 20 TRAFNOŚĆ TEORETYCZNA................................................................................................................. 21 Rzetelność............................................................................................................................................. 25 INSTRUKCJA NR 1 (Qualtrics)............................................................................................................. 29 1. Zgoda..................................................................................................................................... 31 2. Metryczka.............................................................................................................................. 36 3. Kwestionariusz pierwszy („mój kwestionariusz”).................................................................. 43 4. Drugi kwestionariusz............................................................................................................. 49 5. Wersje pytań na kobiet i mężczyzn....................................................................................... 52 6. Udostępnianie projektu......................................................................................................... 67 7. Przykład................................................................................................................................. 70 8. Opublikowanie badania......................................................................................................... 74 9. Usuwanie danych i przygotowanie pliku do Jamovi.............................................................. 75 WYKŁAD 3.............................................................................................................................................. 82 Konfirmacyjna analiza czynnikowa.................................................................................................... 82 1. Ustawianie języka.................................................................................................................. 82 2. Czym się różni analiza konfirmacyjna od eksploracyjnej....................................................... 82 3. Kiedy stosujemy konfirmacyjną analizę czynnikową............................................................. 83 4. Wykonanie konfirmacyjnej analizy czynnikowej................................................................... 84 1. Konfirmacyjna analiza czynnikowa dla kwestionariusza jednowymiarowego............... 88 2. Konfirmacyjna analiza dwu lub wielowymiarowa........................................................... 96 3. Konfirmacyjna analiza czynnikowa kwestionariusza dla czynników tworzących jeden wymiar nadrzędny.................................................................................................................. 107 WYKŁAD 4............................................................................................................................................ 107 Rzetelność, trafność i opis............................................................................................................... 107 Dlaczego analiza konfirmacyjna nam nie wyszła?........................................................................... 107 Rzetelność....................................................................................................................................... 107 Sprawdzanie narzędzia do analizy trafności.................................................................................... 114 Przykładowe artykuły...................................................................................................................... 117 WYKŁAD 5............................................................................................................................................ 120 Diagnoza cech w populacji normalnej a diagnoza kliniczna........................................................ 120 3 Jak zbudować dobry test psychologiczny? Jak odróżnić dobry test od testu złego? Żeby test był dobry, musi spełniać kilka warunków: Autor testu – warunek podstawowy: Test ma autora. Test zagraniczny ma również autora polskiej adaptacji. Podręcznik - forma artykułu lub książki - większość testów do badaniach naukowych ma formę artykułów, większość testów do diagnozy ma bardziej rozbudowane elementy dotyczące walidacji, więc ma formę książek. Podręcznik powinien zawierać: Opis teorii lub sposobu doboru grup empirycznych - opis teorii, jeżeli mamy testy oparte o strategię racjonalną, czyli o teorię, lub doboru grup empirycznych, jeżeli mamy testy oparte o strategię empiryczną, tak jak np. test MMPI Opis grupy, na której przeprowadzono badania standaryzacyjne Opis procedury badania i interpretowania wyniku Opis badań dotyczących rzetelności i błędu standardowego pomiaru Opis badań dotyczących trafności zalecanej interpretacji Opis procedury normalizacji i normy – my tego ostatniego punktu nie będziemy robić, ponieważ nasze testy to sa testy przeznaczone do badań naukowych a te nie wymagają normalizacji, ponieważ normalizacja służy do tego, aby zinterpretować wynik testu konkretnej osoby badanej. Pomoce: Dostępny jest opis materiałów testowych, pomocy, arkusza pytań, arkusza odpowiedzi Zabezpieczanie testu: Zostały podjęte wszelkie możliwe kroki, aby materiał testowy został właściwie zabezpieczony. Ochrona prawna: Legalna dystrybucja – wszystkie nasze testy, które będziemy adaptować są opublikowane w artykułach naukowych, a więc są to testy dostępne w otwartym dostępie, a więc nasze adaptacje również będą dostępne w otwartym dostępie. Etap 1. Zdefiniowanie celu pomiaru Ten etap dla nas jest poza nami, ponieważ my tylko adaptujemy testy. Ale gry test jest tworzony od samego początku, to autor musi zdecydować, czy robi ten test po to, aby prowadzić badania na dużą skalę (badania naukowe lub stosowane), czy też po to, aby przeprowadzać diagnozę indywidualną, kliniczną, rekrutacyjną itd. Po co mi ten test jest potrzebny? Po to, żeby prowadzić badania naukowe lub stosowane – np. dowiedzieć się, jak inne zmienne psychologiczne wpływają na mierzoną zmienną, albo podzielić rynek na segmenty konsumentów Po to, żeby przeprowadzać diagnozę indywidualną - kliniczną, edukacyjną, w rekrutacji itp. Każdy test zbudowany do diagnozy indywidualnej musi spełniać dużo bardziej wyśrubowane badania, jeśli chodzi o liczbę badań, skład osób badanych, badania trafności, rzetelności czy wyniki trafności i 4 rzetelności niż testy, które stosujemy do badań naukowych. To nie znaczy, że testy do badań naukowych mogą być byle jakie. One muszą być dobre, ale testy do diagnozy indywidualnej muszą być bardzo dobre, ponieważ tu udzielamy informacji zwrotnej konkretnej osobie badanej. Czyli my w pewnym sensie podejmujemy decyzje o życiu danej osoby. Sugerujemy jej podjęcie jakiejś decyzji. Więc wnioski, które będziemy wyciągać na podstawie testów nie mogą być błędne. Kiedy prowadzimy badania naukowe nie udzielamy informacji zwrotnej konkretnym osobom, bo to nie jest ich celem, a więc nie zaszkodzimy konkretnej osobie badanej. Ale z drugiej strony, jeśli mamy np. badania naukowe polegające na tym, że testujemy skuteczność nowej interwencji psychologicznej i wzięliśmy do badania tej skuteczności jakiś byle jaki test, i wyszło nam, że ta interwencja jest skuteczna, a ona w rzeczywistości nie jest skuteczna. To może samo badanie tym osobom z badania nie zaszkodziło. Ale jeśli ktoś weźmie to badanie i będzie chciał je zaimplementować do rzeczywistości, to wtedy już taka szkoda może się wydarzyć. A więc to nie jest tak, że testy do badań naukowych mogą być złe, ono mogą być po prostu trochę gorsze, mniej dokładne, bardziej ogólne. Test TIPI, z którym zetknęliśmy się na ćwiczeniach jest bardzo niedokładny. Czego moglibyśmy się spodziewać, jeśli na teście osobowości mamy tylko dwa pytania. Jeżeli chcemy diagnozować cechy osobowości zgodnie z Teorią Wielkiej Piątki, ale porządnie, to używamy testów, które są dużo dłuższe, dużo bardziej skomplikowane, np. NEO-PR. Strategia budowy narzędzia Strategia empiryczna – oparta ściśle o dane – jedynym, w miarę dobrze skonstruowanym testem, który jest oparty o dane jest MMPI Strategia racjonalna – oparta ściśle o teorię – tu autorzy wywodzą z teorii, jakie powinny być wymiary konstruktu, który chcą mierzyć i na podstawie teorii generują pozycje testowe do poszczególnych wymiarów i potem te wymiary faktycznie istnieją w kwestionariuszu. W niektórych testach można spotkać taką technikę, która leży gdzieś pośrodku między tymi dwoma podejściami: autorzy tworzą jakąś teorię konstruktu, który będą mierzyć, na podstawie tej teorii generują zbiór pozycji testowych, ale nie wiedzą dokładnie, jakie wymiary będą z tych pozycji testowych i robią eksploracyjną analizę czynnikową, żeby dowiedzieć się, jakie konkretnie wymiary w tym ich narzędziu będą i czy faktycznie pasują do tej cechy, którą chcieli mierzyć. Niestety to podejście oparte i eksploracyjną analizę czynnikową, dzisiaj uważane jest za przestarzałe i za niewystarczające. Z tego powodu będziemy się uczyć, jak się robi tzw. konfirmacyjną analizę czynnikową, czyli będziemy sprawdzać, czy w naszych danych potwierdza się taka struktura narzędzia jak ta, którą założyli oryginalni autorzy. Testy, które są oparte wyłącznie o eksploracyjną analizę czynnikową są pośrodku, ani takie, ani takie. Niby wiem, co jest w moim teście, ale nie do końca, bo mi się nie chciało pomyśleć. Gdy używamy konfirmacyjnej analizy czynnikowej, wiemy z góry jaka powinna być struktura tego testu, więc zachowujemy się tak, jakby on był ściśle oparty o teorię. Czyli w tym momencie wykorzystujemy taką klasyczną strategię racjonalną. Kiedy budujemy test zgodnie ze strategią racjonalną (absolutna większość testów jest wg niej zbudowana) – mamy większe prawdopodobieństwo, że jak wymyślimy pytanie, to będzie ono dobre. Strategia empiryczna polega na tym, że wymyślam bardzo dużo pytań „od czapy” identyfikuję dwie grupy: grupę, która na pewno ma tę cechę i drugą, która na pewno nie ma tej cechy, daję im te 5 pytania i szukam, na których pytaniach wystąpią różnice. Nie ma żadnej wiedzy, czy na tych konkretnych pytaniach wystąpią różnice czy nie, w związku z czym może się okazać, że zostanie wygenerowane 120 pytań a tylko w 15 wyjdą różnice. Jeżeli wychodzą z założenia, że się opieram o teorię, wiem co chcę mierzyć i wiem jakie zachowania są typowe dla pewnych określonych cech, czyli wiem, jak się zachowuje osoba neurotyczna, a jak nieneurotyczna, ekstrawertywna i introwertywna, itd., to jest większe prawdopodobieństwo, że wymyślę taką pozycję testową, która faktycznie będzie mierzyć to, co byśmy chcieli, żeby mierzyła. Etap 2. Zdefiniowanie mierzonej cechy Czytając nasze artykuły, które mamy adaptować powinniśmy wyszukać miejsce, gdzie autorzy definiują to, co oni mierzą. Tam dokładnie mówią, co ma mierzyć nasz kwestionariusz, jakie będą jego wymiary itd. To powinno być dobrze ugruntowane w literaturze, zgodne z koncepcją teoretyczną i w miarę dokładne. Analiza literatury Czy to, co wiadomo na temat definiowania interesującej nas cechy, jest odpowiednie by stać się podstawą kwestionariusza? Czy definicja odpowiada naszej koncepcji teoretycznej i naszym celom? – często pojawia się taki efekt, że studenci będą mierzyć neurotyczność zgodnie z teorią Karen Horney. Nie da się mierzyć neurotyczności kwestionariuszem zgodnie z ta teorią, ponieważ Karen Horney uważała wychodząc z nomenklatury psychoanalitycznej, że wszyscy ludzie są neurotycznie. A jeżeli wszyscy ludzie są neurotyczni, to nie ma różnicy indywidualnej. Tworzyć kwestionariusze czy testy psychologiczne możemy tylko tam, gdzie te różnice istnieją. Tak więc to, czy definicja odpowiada naszej koncepcji i celom oznacza przede wszystkim, czy zaczerpnęliśmy definicje z takiej teorii, która mówi o różnicach indywidualnych. Jeśli ich nie ma, to nie ma co mierzyć. Jeśli wiemy, że wszyscy są jednakowi, to wystarczy pierwszego człowieka zapytać jaki on jest i wszyscy będą tacy sami. Czy definicja jest na tyle dokładna, że można na jej podstawie tworzyć pozycje testowe? Etap 3. Przygotowanie projektu testu Projekt testu najczęściej polega na tym, że autorzy zastanawiają się, jakie są wymiary w teście, które będzie trzeba mierzyć, albo jakie sa aspekty tej cechy, którą chcą zmierzyć. Te wymiary nazywają się obszarami treści. Gdybyśmy chcieli mierzyć cechy Wielką Piątką, to mielibyśmy 5 obszarów: neurotyczność, ekstrawersję, sumienność, ugodowość i otwartość na doświadczenie. Obszary manifestacji to jest to, w czym będą się przejawiały poszczególne obszary treści. Czyli na przykład to, że ktoś jest ekstrawertyczny może się przejawiać w tym co on robi, w jego konkretnych zachowaniach, w tym co on myśli o samym sobie i w tym co on lubi albo czego nie lubi. Obszary treści – z definicji, ale także konsultacji z ekspertami w danej dziedzinie Obszary manifestacji – w jaki sposób mogą przejawiać się poszczególne obszary treści Testy właściwości poznawczych – różnego rodzaju wytwory Testy właściwości afektywnych – wierzenia, emocje, przekonania, zachowania itp. Projekt testu – np. tabela 6 W praktyce większość autorów skupia się tylko na obszarach treści, czyli tylko na tych potencjalnych wymiarach w kwestionariuszu a mało kto bezpośrednio zawraca sobie głowę obszarami manifestacji. Te obszary manifestacji mamy mieć gdzieś z tyłu głowy, gdy układamy pytania, ale to nie znaczy, że autorzy tak literalnie je zapisują. Etap 4. Określenie formatu pozycji testowych My będziemy przyjmować zasadę, że format pozycji testowych w naszych testach będzie dokładnie taki sam, jaki był w testach oryginalnych. We wszystkich testach trzeba przyjąć taką zasadę, że: Do każdej pozycji testowej osoba badana powinna ustosunkować się na TAKIEJ SAMEJ skali odpowiedzi. – nie ma takiej możliwości, żeby pytania były na różnych skalach, ponieważ to powoduje, że nie da się potem robić analiz statystycznych. Jest co prawda taki test jak STAI – lęk jako stan i lęk jako cecha, gdzie na pierwszej stornie jest inna skala a na drugiej też inna. Ale to tak naprawdę sa dwa osobne testy. Nie wyciąga się wspólnego wyniku z pierwszej i drugiej strony. Oczywiście może być tak, że w jednym teście pojawiają się różne skale odpowiedzi, ale to dlatego, że wtedy dla każdej z tych skal mamy osobną część testu, która mierzy co innego i tych wyników się łącznie nie sumuje. Jest to ważne, dlatego, że: Nie możemy dopasowywać skali do treści pozycji - najpierw decydujemy jakiej skali będziemy używać, potem dopasowujemy do niej brzmienie pozycji testowej. – każda pozycja testowa musi pasować do skali odpowiedzi. Jeśli zaczniemy tylko od pozycji testowych, to potem będziemy mieć problem z dopasowaniem do Sali. Skoro każda pozycja musi być do takiej skali, to nie możemy dopasowywać treści pozycji do skali, tylko najpierw musimy wiedzieć, jaka jest skala i tak powinniśmy formułować pozycje testowe, żeby dobrze brzmiały przez pryzmat skali, która została przyjęta. Mamy do wyboru kilka skal odpowiedzi, najczęściej używane to: Skala z wyborem alternatywnym (dwupunktowe) - Tak-Nie, Prawda-Fałsz Skala Likerta (wielopunktowa skala określająca stopień zgody) Te dwie powyższe skale będą występować najczęściej Skale częstości (wielopunktowe skale określające częstość występowania zjawiska/zachowania z treści pozycji testowej) Każda z nich ma swoje wady i zalety Skala dwupunktowa czy wielopunktowa? 7 Mamy spojrzeć na skalę w teście, który nam przypadnie nie automatycznie, ale troszkę bardziej refleksyjnie. Krótkie skale, dwupunktowe, mają swoje zalety w postaci tego, że sa szybkie, łatwo zrozumiałe i skracają czas pracy z testem. Długie skale, wielopunktowe są zdecydowanie dokładniejsze w sensie statystycznym i nawet z krótkiej listy pytań jesteśmy w stanie uzyskać w miarę dokładny pomiar. Trzeba zwrócić na to uwagę i to jest myśl już na później, do krytycznej oceny tego, co będziemy robić, czy długość skali odpowiedzi jest adekwatna w kontekście liczby pozycji testowych. Nie ma tu jasnego założenia, że jak są dwie pozycje testowe, to musi być 7stopniowa skala. Albo, że jak jest minimum 5 pozycji, to wtedy może być 5stopniowa skala. To trzeba zrobić bardziej na wyczucie, aby zobaczyć np. czy rozkłady, gdy już zbierzemy dane, sa chociaż trochę zbliżone do rozkład normalnego, czy są jakieś piramidy, które świadczyłyby o tym, że skala była za mało dokładna w stosunku do liczby pytań. Z drugiej strony, gdy zrobimy skalę bardzo mocno wielopunktową, np. 15punktową, to zamęczymy osoby badane, więc takich skal nikt nie stosuje. Skala parzysta czy nieparzysta? 8 To, czy badacz używa skali parzysto czy nieparzystopunktowej i która z nich jest lepsza, to taka sama dyskusja jak to, co jest pierwsze: jajko czy kura? Jedni badacze lubią parzystopunktowe inni nieparzysto. Każda ma swoje wady i zalety. Jaką sobie badacz wybrał, taką ma. Jedyna rzecz, na którą trzeba zwracać uwagę i jest to jeden, jedyny moment, kiedy możemy sobie pozwolić na poprawkę kwestionariusza, jeśli uznamy ze to jest błąd to jest to, że w przypadku skali nieparzystej, środkowa odpowiedź powinna być odpowiedzią NEUTRALNĄ a nie odpowiedzią, która koduje brak danych. Neutralna odpowiedź, to jest: „ani się zgadzam, ani się nie zgadzam”, „trochę tak, trochę nie”, „trudno powiedzieć”, „czasem tak, czasem nie”, ale to NIE JEST ODPOWIEDŹ „NIE WIEM”. Jeżeli więc spotkamy się z takim kwestionariuszem, który będzie miał nieparzystą liczbę kategorii odpowiedzi i w środkowej kategorii będzie odpowiedź „nie wiem”, to należy to wyrzucić i zrobić parzystą skalę albo trzeba zamienić tę kategorię „nie wiem” na jakąś neutralną. Jak nazwać odpowiedź środkową? Prawidłowo: 1. zdecydowanie się nie zgadzam 2. raczej się nie zgadzam 3. ani się̨ zgadzam, ani się nie zgadzam 4. raczej się zgadzam 5. zdecydowanie się zgadzam także - trudno powiedzieć Nieprawidłowo - NIE WIEM Ile dokładnie stopni na skali? I jak je nazwać? Z punktu widzenia rzetelności kwestionariusza, najlepsze są te skale, które mają 4-7 odpowiedzi. Takie z 2-3 odpowiedziami są dobre, jeśli masz dużo pytań w kwestionariuszu. Więcej niż 7 odpowiedzi może stanowić problem zarówno dla osoby badanej, jak i dla samego badacza - jak bowiem nazwać kolejne punkty na skali? Nazwy punktów muszą bowiem spełniać kilka warunków: musi być tyle samo opcji "pozytywnych" jak i "negatywnych" opcje powinny być symetryczne - tzn. np. opcja pierwsza i ostatnia maja te same słowa, tylko jedna jest pozytywna, a druga jest negatywna "odległości" między opcjami muszą być jednakowe 9 Etap 5. Wygenerowanie puli pozycji testowych My nie będziemy generować pozycji testowych, ale je tłumaczyć. Zasady jednak sa takie same dla generowania i tłumaczenia wtedy, gdy robimy adaptację. Kluczową zasadą jest to, że respondent musi zrozumieć pytanie tak samo, jak rozumiał je badacz, ale to nie jest obowiązek respondenta, tylko badacza. To badacz musi zrobić tak, aby respondent rozumiał pytanie tak samo jak badacz, a w przypadku adaptacji, respondent ma to pytanie zrozumieć tak, jakby to rozumiał respondent anglojęzyczny. Na co musimy zwracać uwagę? Wszystkie pozycje powinny być wyprowadzone z teorii mierzonej cechy Nie należy omijać żadnych obszarów treści, które zostały wcześniej określone – bo może to zmienić przyjętą wcześniej definicję Respondent ma zrozumieć pytanie tak, jak rozumiał je badacz Liczba jednostek leksykalnych (wyrazów) – żeby napisać tę samą treść po polsku co w języku angielskim, musimy użyć dużo większą liczbę wyrazów. Więc jak będziemy tworzyć polskie sformułowania, to będziemy „jechać w całe opowieści o dziwnej treści czterolinijkowe” w niektórych sytuacjach. Jest to bardzo ważne, aby pilnować, że im mniej wyrazów, im krótsza jest pozycja testowa, tym jest ona lepsza, dlatego, że krótsze zdania są bardziej zrozumiałe. Terminologia (dobór słownictwa) – zobaczymy, jak trudno jest zachować język normalnego człowieka, a nie psychologa. Normalny człowiek nie ma „zalegania afektu”, tylko jest mu „długo smutno”. Normalny człowiek „nie dokonuje wyboru produktu z segmentu HoReCa” tylko „idzie do restauracji” itd. Nie wolno „jechać psychologiem” ani „Mickiewiczem”, tylko językiem normalnego człowieka. Normalny człowiek „robi” a nie „dokonuje”, „ma” a nie „posiada”. Im prostszy język będziemy stosować, tym lepiej dla naszych osób badanych, tym bardziej zrozumiałe będą w tym momencie te określenia i lepszy materiał będziemy w tym momencie dostawać. To, co możemy wziąć jako podkładkę, które wyrazy sa lepsze lub gorsze, gdy się zastanawiamy, jak coś sformułować, albo przetłumaczyć, to jest częstość występowania wyrazów w danym języku. Wyraz, który występuje częściej jest lepszy, bo więcej osób się nim posługuje. Jak to sprawdzić? Wpisujemy wyraz w gogle i ten wyraz, który ma więcej wystąpień, to jest ten lepszy wyraz w danym języku, czyli w tym przypadku w polskim. Dostosowanie do poziomu wykształcenia respondentów 10 Częstość występowania wyrazów w danym języku - to, co możemy wziąć jako podkładkę, które wyrazy sa lepsze lub gorsze, gdy się zastanawiamy, jak coś sformułować, albo przetłumaczyć, to jest częstość występowania wyrazów w danym języku. Wyraz, który występuje częściej jest lepszy, bo więcej osób się nim posługuje. Jak to sprawdzić? Wpisujemy wyraz w gogle i ten wyraz, który ma więcej wystąpień, to jest ten lepszy wyraz w danym języku, czyli w tym przypadku w polskim. Forma gramatyczna (przeczenia, tryby warunkowe) – polski język jest beznadziejny, jeśli chodzi o przeczenia i tryby warunkowe. Jeśli mamy podwójne przeczenie, to czasem to jest przeczenie a czasem potaknięcie. A jeszcze jak by do tego dołożyć skalę odpowiedzi, czy „nie zgadzam się, że nigdy nie jadłem zupy pomidorowej”, to się robią z tego koszmarki. Tak więc trzeba pamiętać, aby w sytuacji, gdy w pytaniach będą przeczenia pojedyncze, aby nie wykonać wolty i nie robić podwójnych przeczeń w języku polskim. Jest to więc więcej niż zwykłe tłumaczenie 1:1, czyli transkrypcja, ponieważ tutaj my dbamy o logiczność i czytelność tych sformułowań Sformułowania niejednoznaczne (często, rzadko) – mogą one znaczyć przeróżne rzeczy: „często jeżdżę na wakacje do Czech” a „często myję zęby, to zupełnie inne „często”. Nawet dla osoby, która nosi aparat i nie nosi aparatu, to „często myję zęby” to zupełnie inne „często”, mimo, że mamy tę samą pozycję testową. A jeszcze inaczej: dla introwertyka i ekstrawertyka „często wychodzę ze znajomymi”, to zupełnie inna częstość. Trzeba więc pamiętać, że te określenia niejednoznaczne mogą nam popsuć treść pytania. Sensowność pozycji w kontekście formatu odpowiedzi - kiedy generujemy pytanie sprawdzamy, czy brzmi ono sensownie w kontekście formatu skali, czyli formatu odpowiedzi, którą przyjęliśmy z tej oryginalnej skali. Etap 6. Analiza pozycji pod względem językowym Nie można tego robić tylko samodzielnie – każdy z nas ma tendencję do pisania w pewien charakterystyczny sposób Jak już będziemy mieć tę ostateczną wersję, to trzeba się będzie jej przyjrzeć w kontekście tego, czy nie zrobiliśmy „głuchego telefonu”, czy przy negocjowaniu wspólnej wersji nie sprawiliśmy, że ta wersja odjechała nam od wersji oryginalnej i czy nie zrobiliśmy jakiś głupot językowych. W tym momencie kwestia stylów odpowiadania w tym momencie nie będzie aż tak bardzo istotna, dlatego że jeśliby te style odpowiadania były jakąś ważną kwestią, to nie pojawiłyby się już w tych anglojęzycznych wersjach, natomiast mamy zwrócić uwagę na to, aby kontrolować trudność tekstu. Trudność tekstu – na SWPS w Warszawie powstało narzędzie, które wylicza trudność tekstu dla różnego rodzaju tekstów (literackich, dziennikarskich), jest to jasnopis.pl – wersja demo zupełnie nam wystarczy. Gdy wkleimy jakiś test, to program nam zanalizuje, to pokaże jaka jest klasa tekstu, podkreśli wyrazy, które mamy zmienić na prostsze, te zdanie, które są za długie to w tym momencie zrobi na czerwono (rozpoznaje kropkę, jako koniec zdania). Dzięki temu programowi sprawdzamy, czy osoby robiące te badania będą mogły zrozumieć ten tekst bez problemu. Poziom 3/7 jest poziomem, który będzie wystarczający. Jest to zbudowane na zasadzie Wskaźnika Mglistości Gunninga. Czy sformułowania pozycji testowych nie prowokują badanych w pewien stały sposób, nie związany z ich treścią? --> style odpowiadania Potakiwanie 11 Brak zdecydowania Tendencja centralna i tendencja do wybierania odpowiedzi skrajnych Aprobata społeczna Wskaźnik Mglistości Gunninga (Gunning-FOG Index) Index ten wlicza, ile lat edukacji musi mieć delikwent, aby zrozumieć, co jest napisane. Obliczamy liczbę zdań w danym tekście. Obliczamy liczbę słów w tym samym tekście. Dzielimy (2) przez (1) i otrzymujemy średnią liczbę słów na zdanie. Następnie obliczamy liczbę słów dłuższych niż 3 sylaby. Dzielimy (4) przez (2) i otrzymujemy udział słów trudnych w całym tekście, mnożymy razy 100. Sumujemy 3 z 5 i mnożymy to przez 0.4 - otrzymany wynik to Wskaźnik Mglistości Gunninga. Jest to mniej więcej liczba lat edukacji, jakie trzeba mieć za sobą (w warunkach amerykańskich), aby zrozumieć w pełni dany tekst. Wartości powyżej 17 sprowadza się do 17, co oznacza wykształcenie wyższe. Im mniejszy wynik, tym tekst jest bardziej zrozumiały. „kalkulator” - http://www.logios.pl Im krótsze zdania i im mniej mamy trudnych wyrazów, tym wskaźnik jest niższy, czyli trzeba mieć mniej lat edukacji, żeby zrozumieć co jest napisane. Tego musimy pilnować, bo chcemy, zęby nasze testy były dla wszystkich. Etap 7. Analiza pozycji pod względem trafności treściowej Analizę te wykonujemy, gdy budujemy testy od początku. Sprawdzamy, czy te pozycje mierzą to, co my chcemy mierzyć. My tego nie będziemy robić, ale będziemy musieli sprawdzić, czy nasze tłumaczenie jest dobrym tłumaczeniem. Złotym wzorcem w tłumaczeniu i adaptacji testów psychologicznych jest wykonywanie backtranslation – po tym jak autorzy adaptacji tłumacza te pozycje testowe z np. języka angielskiego na polski, następnie inni ludzie, którzy nie znają anglojęzycznej wersji testu, biorą te pozycje testowe po polsku i tłumaczą je z powrotem na angielski. Tę część również będziemy robić, zamieniają się wzajemnie pozycjami. Mamy się umówić z jednym lub drugim zespołem i wzajemnie zrobić sobie ten backtranslation. Po co to robimy? Na samym końcu mamy oryginalną, anglojęzyczną wersję oraz naszą wypracowana polską wersje i jeszcze tę wersję angielska po backtranslation. Porównujemy tę pierwszą anglojęzyczną wersję do tej ostatniej wersji. Jeżeli wszystko było w porządku, to one powinny znaczyć to samo i wtedy ta polska wersja jest wersją prawidłową. Jeżeli się okaże, że ta polska wersja nr 2 różni się mocno od wersji anglojęzycznej nr 1, to musimy się przyjrzeć, co się zadziało. Czy „głuchy telefon” zaciął się na etapie tłumaczenia na polski i jeżeli tak, to trzeba ta polską wersję poprawić czy 12 na etapie backtranslation, wtedy jest wszystko w porządku. Jest to po to, aby nie zaszło zjawisko „głuchego telefonu”, które jest związane z tym, że my inaczej formułujemy myśli po polsku a inaczej po angielsku. Przetłumaczenie z angielskiego na angielski może być łatwiejsze niż odwrotnie. W każdej grupie znajdą się osoby, dla których będzie to awykonalne. W związku z tym, jeśli tych wersji backtranslation będzie mniej niż wersji odwrotnie nic wielkiego się nie stanie, ale byleby były 2 do porównania. Trafność treściowa – stopień, w jakim treść testu reprezentuje całokształt zachowań, których próbkę pobiera test (Hornowska, 2003, s.85) Pytania dla sędziów: Czy pozycja pochodzi z uniwersum treści? Czy pozycja jest dla tego uniwersum reprezentatywna? Współczynnik trafności treściowej Lawshego 2. Pozycja ma zasadnicze znaczenie dla testu 1. Pozycja jest użyteczna, jednak nie ma zasadniczego znaczenia 0. Pozycja nie powinna znaleźć się w obrębie testu Etap 8. Przygotowanie formularza testu Kiedy robimy test „na serio” zawsze stoimy jeszcze przed etapem przygotowania formularza testu, instrukcji i są to części, które trzeba zrobić zanim test wejdzie w życie. W naszym przypadku to nie problem, ponieważ instrukcje weźmiemy z testu oryginalnego i formularz testu będzie bardzo prosty, bo będziemy to robić w Qualtriksie. Może zdarzyć się tak, że w konkretnym artykule, który wylosujemy, nie będzie pełnej instrukcji testu, wtedy po prostu zastosujemy instrukcję standardową. Z reguły jest tak, że jeśli autorzy stosują taką superstandardową instrukcję „przeczytaj poszczególne pozycje i oceń”, to po prostu nie zawsze artykule ją podają. Mamy się nie przejmować, bo prof. wrzuci nam standardową formułę i jej będziemy używać. Arkusz testowy powinien zawierać: Nazwę testu i jego autora Krótką informację o celu pomiaru Instrukcję Przykładowy sposób odpowiadania na pozycje testu Właściwy test Pytania i arkusz odpowiedzi czy jeden arkusz testowy? Arkusz testowy powinien być tak sformułowany, żeby ułatwić pracę osobom badanym Instrukcja Tak sformułowana, aby zadanie stojące przed badanym było całkowicie jasne Informacje o tym, czy na pozycje testowe należy odpowiadać szybko, czy rozważnie 13 Informacje, które mogą wpłynąć na sposób odpowiadania (np. zachęta do szczerości) Zapewnienie o ochronie danych/anonimowości Przykłady Adaptacja testów Kiedy test “zagraniczny” nadaje się do używania w naszych warunkach? Adaptacja testu to opracowanie go w taki sposób, aby mógł być stosowany w kraju adaptacji, czyli był nadal trafnym i rzetelnym narzędziem diagnozy psychologicznej. Kulturowa adaptacja testu oznacza przystosowanie czy dopasowanie wersji oryginalnej testu do innej specyfiki kulturowej – ma on pasować do lokalnej specyfiki kulturowej. W idealnym świecie chcielibyśmy, aby wszystkie testy były tzw. testami wolnymi kulturowo. Test “wolny kulturowo” Pierwszy raz terminu culture free test użył Cattell (1940) - z początku termin „wolnykulturowo” dotyczył tylko testów inteligencji. Wg Cattella jest to test, w którym wyeliminowano te doświadczenia, które występują w jednej kulturze, a nie występują w drugiej. W związku z tym, że ktoś w tej drugiej kulturze tych doświadczeń nie ma albo nie potrafi odpowiedzieć na pytania, to nie świadczy to o jego niskiej inteligencji a świadczy tylko o jego doświadczeniach. Więc gdybyśmy wzięli anglojęzyczny test i tam byłoby pytanie: „Co się je na święta BN: indyka, szczupaka, kurę, pierogi?” To Polak by się wahał, bo nie ma karpia, między szczupakiem a pierogami. Z punktu widzenia amerykańskiego testu inteligencji wypadłby źle, bo się je indyka. Czyli jest to w tym momencie takie pytanie, które nie jest wolne kulturowo. Różne pytania o sposób spędzania wolnego czasu traktuje się również jako obciążone kulturowo i to wcale niekoniecznie międzykulturowo w obrębie różnych krajów, ale też wobec tej samej kultury. Osoby, które pracują fizycznie rzadko kiedy spędzają wolny czas w postaci wysiłku fizycznego w przeciwieństwie do osób pracujących umysłowo. W związku z tym te same pytania mierzą zupełnie coś innego, skoro mamy inny sposób spędzania wolnego czasu. A comprehensive dictionary of psychological and psychoanalitical terms (1958): Culture free jest to test ogólnej inteligencji, z którego wyeliminowano – na tyle, na ile to było możliwe – wszystkie zadania zależne od doświadczeń występujących częściej w jednej kulturze niż̇ innej. Czy zatem da się w ogóle zrobić testy wolne kulturowo, czy w ogóle zjawiska, które występują w jednej kulturze, występują również w innych kulturach?. Żeby o tym powiedzieć, trzeba cofnąć się o jeden krok i zastanowić się, co to jest kultura w kontekście psychologii? W psychologii istnieją 2 skrajne podejścia do pomiaru psychologicznego w kontekście kulturowym: Przedmiot pomiaru psychologicznego - uniwersalny czy specyficzny? Podejście nomotetyczne (eticzne) do kultur (uniwersalistyczne – etic approach) - uważamy, że jeżeli dane zjawisko istnieje w jednej kulturze to dokładnie w taki sam sposób istnieje w innej. Czyli jeżeli definiujemy inteligencję w pewien sposób, np. zachodnioeuropejsko-amerykański – to tak samo będziemy ją definiować w Afryce, na Dalekim Wschodzie, w Australii itd. Jeżeli tak faktycznie jest, to sam konstrukt psychologiczny powinien być taki sam i tak samo funkcjonować w różnych kulturach, 14 wtedy adaptacja narzędzi psychologicznych, jeśli tylko sa wolne kulturowo, czyli nie odwołują się do doświadczeń, które są specyficzne dla danej kultury, powinna być możliwa. A co za tym idzie, możliwa powinna być również adaptacja teorii psychologicznych, sposobów interwencji, leczenia itd. Podejście idiograficzne (emiczne) do kultur (specyficzne – emic approach) – mówi ono, że pojęcia psychologiczne tworzone są przez konkretne kultury i mogą być takie pojęcia psychologiczne, które istnieją tylko w tej konkretnej kulturze i nie istnieją w żadnej innej. W związku z tym przenoszenie tych pojęć z jednej kultury do drugiej jest absolutnym absurdem a tym samym zaadaptowanie narzędzia, mimo, że da się je przetłumaczyć z jednego języka na drugi, ale nie będzie wnosić ani mierzyć niczego sensownego. Jeżeli chcemy wykonywać adaptacje testów psychologicznych, to musimy mieć pewność, że ta rzecz, cecha czy konstrukt, które mierzymy, jest raczej konstruktem uniwersalnym, czyli raczej odpowiada temu podejściu nomotetycznemu niż idiograficznemu. Np. Wielka Piątka w niektórych kulturach jest bardziej krytykowana niż w innych. Jest taki test, który nazywa się Hexaco, zrobiony przez koreańskiego naukowca pracującego w USA, który zauważył, że Wielka Piątka, gdy się robi analizy eksploracyjne, to w kulturach Dalekiego Wschodu dziwnie się zachowują, ponieważ powstaje jeszcze 6 czynnik, i on zaczął ten czynnik eksplorować. Jest to czynnik skromność-pokora i występuje on bardzo silnie w kulturach Dalekiego Wschodu jako cecha, która silnie ludzi różnicuje. W kulturach Dalekiego Zachodu występuje w postaci Trumpa (skromność- pokora, wzorzec kulturowy, który my respektujemy niestety) i ta cecha jest uznawana jako tak samo ważna jak ekstrawersja, neurotyzm itd. To HEXACO, czyli 6czynnikowy model osobowości jak się okazało, wcale się tak źle nie sprawdza w kulturach europejskich, całkiem dobrze wychodzi, czyli też się sprawdza, co oznacza, że też mamy cechę na tej rozciągłości: skromność-pokora, ale nie jest ona aż tak istotna jak w kulturach Dalekiego Wschodu. U nas taką bardzo ważną cecha jest ekstrawersja. Podejście nomotetyczne Do porównywania wpływu kultury potrzebne są pojęcia ogólne, będące aproksymacją pojęć specyficznych, lecz oparte na wspólnym układzie odniesienia Uzasadnione są takie działania, jak: adaptacja narzędzi diagnostycznych, przenoszonych z innej kultury wraz z zapleczem teoretycznym i literaturowym, przyswajanie teorii psychologicznych (o których się apriorycznie zakłada, iż są na tyle ogólne, że trafne są w każdych warunkach społeczno-kulturowych), stosowanie „ponadkulturowych” technik terapeutycznych, itd. Podejście idiograficzne Analizy wpływów kultury należy dokonywać bazując na pojęciach wypracowanych przez daną społeczność, gdyż kultura jest integralną częścią ludzkich zachowań Uznaje się istnienie specyficznych kulturowo czynników etiologicznych, czynników (kultur) immunizujących członków danej społeczności przeciwko zaburzeniom psychicznym lub im sprzyjających 15 Wiąże się to także z przekonaniem o kulturowo specyficznych rodzajach osobowości, uzdolnień, rodzajach zaburzeń i/lub specyficznych ich manifestacji, ich terapii; Wiąże się z niezgodą na implantację obcych (kulturowo) narzędzi diagnostycznych, teorii, systemów klasyfikacji zaburzeń itp. Założenia adaptacji kulturowej Zasada równoważności Problemy przy adaptacji kulturowej narzędzia diagnostycznego: czy przedmiot pomiaru ma charakter emikalny (wyjątkowy) czy etikalny (uniwersalny) – gdy ma charakter emikalny, to nie da się go przenieść do innej kultury. Można to porównać do sytuacji, jakbyśmy mówili o jednej kulturze, np. że mam test do oceny wygodności korzystania z okularów, który został zweryfikowany przy udziale osób, które noszą okulary i teraz chcemy go zaadaptować do osób, które nie noszą okularów. Albo test wygodności korzystania z aparatów słuchowych i chcemy go zaadaptować do populacji słyszących. Wszystkie testy, które zostały dla nas wybrane, z dużym prawdopodobieństwem można uznać, że mierzą cechy etikalne. jeśli przedmiot pomiaru ma charakter etikalny – czy przejawia się on w drugiej kulturze tak samo lub podobnie. Mamy trzy poziomy równoważności: Równoważność konstruktu Równoważność funkcjonalna zachowań Równoważność wskaźników konstruktu teoretycznego Równoważność konstruktu Czy to, co ma być przedmiotem pomiaru (konstrukt teoretyczny) istnieje nie tylko w kulturze oryginalnej, ale także w kulturze docelowej? Czy pochodzący z kultury oryginalnej konstrukt daje sensowne i porównywalne informacje w kulturze docelowej? Jeśli TAK—> adaptacja jest możliwa Jeśli NIE —> lepiej jest skonstruować nowe narzędzie Równoważność funkcjonalna zachowań Zachowania są funkcjonalnie równoważne wtedy, gdy członkowie różnych kultur zachowują się podobnie w podobnych sytuacjach, by zrealizować równoważne cele (czyli czy dane zachowanie w kontekście tej samej cechy spełnia tę samą funkcję w jednej i drugiej kulturze). Przykład: jeżeli byśmy mieli test anglojęzyczny, to uśmiechanie się do obcych nie mierzy ekstrawersji, bo u nich to jest norma kulturowa, żeby uśmiechać się do obcych. Jeżeli mielibyśmy test japoński, to uśmiechanie nie mierzy ekstrawersji, bo jest norma kulturowa: nie uśmiechamy się do obcych. Ale jeżeli mielibyśmy test po polsku, to uśmiechanie się do obcych mierzy ekstrawersję, bo ekstrawertycy częściej uśmiechają się do obcych niż nieekstrawertycy. Gdybyśmy mieli test anglojęzyczny z pytaniem o zagadywanie do obcych na ulicy, to w Polsce nie byłoby równoważności funkcjonalnych 16 zachowań (tylko wariat zagaduje obcych na ulicy), ale moglibyśmy to najprawdopodobniej przetłumaczyć jako uśmiechanie się do obcych na ulicy i to uśmiechanie się spełnia podobną funkcję dla ekstrawersji jak w kulturze amerykańskiej zagadywanie obcych na ulicy. Badane zachowania powinny być odpowiedzią na podobne problemy w analizowanych kulturach Równoważność wskaźników konstruktu teoretycznego Równoważność wskaźników to inaczej równoważność definicji operacyjnych W jaki sposób interesujące nas konstrukty przejawiają się na poziomie manifestacji? Jaki jest wpływ kontekstu kultury rodzimej na treść pozycji testowych? Wyobraźmy sobie, że mamy test anglojęzyczny, który ma mierzyć skłonność do zakupów kompulsywnych i pojawia się w nim stwierdzenie, że „zawsze do końca wykorzystuję limity na swoich kartach kredytowych”. Czy to pytanie w Polsce ma sens? Nie. W Anglii większość ludzi ma co najmniej 1 kartę kredytową. U nas, jeśli chodzi o karty kredytowe to ma je, jak się szacuje 15-20% społeczeństwa. Czyli to pytanie nie będzie mierzyło tego samego. Czyli trzeba się znowu zastanowić na bardzo szczegółowym poziomie, jak zadać pytanie o zadłużanie się, ale żeby nie odwoływać się do kart kredytowych, tylko do takiego zachowania, które jest powszechne w Polsce. Takim podobnym wskaźnikiem byłby chwilówki. Trzeba się zastanowić, dlaczego ta pozycja pojawiła się w kwestionariuszu i co jest jej sensem i zmienić na pozycję, która mierzy takie samo psychologicznie zachowanie. Czyli skoro ktoś wykorzystuje do końca limit na swoich kartach kredytowych, to znaczy, że nie potrafi zarządzać swoimi pieniędzmi i się nadmiernie zadłuża, więc samo robienie debetu to jeszcze niekoniecznie musi to oznaczać. Ale nieumiejętność wyjścia z debetu na karcie kredytowej już byłoby prawdopodobnie lepsze. Strategia adaptacji Jeżeli mówimy o adaptacji testu psychologicznego, to my tak naprawdę mamy kilka poziomów tej adaptacji. Transkrypcja Jest to sytuacja, kiedy bierzemy oryginalny tekst i 1:1 tłumaczymy go do naszego lokalnego języka nic nie zmieniając, ewentualnie idiomy na idiomy. To jest bardzo trudne i mało prawdopodobne, że uda nam się to zrobić. 17 Po pierwsze dlatego, że mamy inną gramatykę języka niż angielski i potrzebujemy często więcej słów, aby opowiedzieć to samo. Po drugie, żeby taka transkrypcja była możliwa, to my musimy mieć idealna zbieżność wskaźników konstruktu teoretycznego i zachowań. Czyli te same zachowania i wymiary w jednej kulturze muszą znaczyć dokładnie to samo w drugiej kulturze. Maksymalnie wierne tłumaczenie oryginalnych pozycji. Wprowadza się tylko takie poprawki językowe, które są niezbędne Zakłada się, że zarówno konstrukty, jak i zachowania są uniwersalne kulturowo Transkrypcja jest najbardziej zachowawczą strategią adaptacji testów - “chroni” nie tylko oryginalne konstrukty, ale i wskaźniki służące do ich pomiaru Translacja Kiedy wprowadzamy już pewne zmiany treściowe to robimy translację. Wprowadzamy niezbędne zmiany językowe, ale sens zachowujemy ten sam. Wierne tłumaczenie finalnej puli oryginalnych pozycji, ale z możliwością wprowadzenia niezbędnych modyfikacji, gdy specyfika kulturowa oryginału może powodować nierównoważność testu Zakłada się, że konstrukty, jak i zachowania są uniwersalne kulturowo, ale nie są uniwersalne pojęcia używane w danej kulturze do opisu zachowania Przed adaptatorem stoi zadanie zaproponowania takiej modyfikacji językowej lub logicznej pozycji, by była ona funkcjonalnie zbliżonym do oryginału bodźcem Trawestacja Z trawestacją mamy do czynienia wtedy, gdy wprowadzamy zmiany psychologiczne, czyli te merytoryczne po to, aby zachować ten sam sens pomiaru. Swobodne tłumaczenie oryginału z wprowadzaniem wielu modyfikacji i zmian, sugerowanych względami językowymi i psychologicznymi Istnieje możliwość wymiany części pozycji ze względów językowych, treściowych (wymiana opisywanej formy zachowania na inną, bardziej specyficzną kulturowo) lub psychometrycznych (lepsza miara danej cechy). Zakłada się, że konstrukty psychologiczne są uniwersalne, ale nie są uniwersalne pojęcia używane w danej kulturze do opisu zachowania i nie zawsze uniwersalne są same zachowania (część zachowań ma charakter emikalny). My będziemy się poruszać pomiędzy translacja i trawestacją po to, aby uwzględnić zmiany w języku i po to, aby uwzględnić potencjalne różnice kulturowe, które mogą się pojawić w odniesieniu do konkretnych rzeczy, które chcemy mierzyć. Parafraza Jest to sytuacja, w której na bazie oryginalnej puli pozycji testowych wymyślamy prawie że swoje własne pozycje testowe, tzn. znacznie odjeżdżamy. 18 Konieczność opracowania nowego narzędzia od fazy analizy teorii i generowania pozycji, aż po analizę psychometryczną danych - test oryginalny jest jedynie inspiracją adaptacji Celem adaptacji jest maksymalne wierne oddanie intencji autora odnośnie treści konstruktu psychologicznego (rola teorii psychologicznej) Zakłada się, że konstrukty psychologiczne są uniwersalne kulturowo, ale z reguły nie są uniwersalne zachowania (tylko część z nich ma charakter etikalny, tj. równoważny kulturowo i tylko te mogą wejść do finalnej wersji adaptacji). Rekonstrukcja Tutaj z kolei bierzemy teorie, na bazie której stworzony był test psychologiczny, np. bierzemy definicję i opis wymiarów i tworzymy od początku swoje własne pozycje testowe. Konieczność opracowania całkowicie nowego narzędzia, dla którego inspiracją jest oryginalny model teoretyczny i strategia konstrukcji. Przy rekonstrukcji pozycje testu są generowane w danym języku, zgodnie z regułami przyjętymi w wersji oryginalnej. Celem adaptacji jest maksymalne wierne oddanie intencji autora odnośnie treści konstruktu psychologicznego i procedury tworzenia testu. Zakłada się, że zarówno zachowania jak i konstrukty psychologiczne mogą nie być uniwersalne kulturowo. Rekonstrukcja: może być np. tak, że autor wymyślił test, gdzie pozycje to były pary zdań, gdzie myśmy mieli wybierać jedną, a my uważamy, że takie podejście jest bez sensu i w związku z tym chcemy mieć pojedyncze zdania, z którymi osoby będą się zgadzać lub nie. Albo może być też tak, że tworzymy test w obrębie tej samej kultury, ale dla zupełnie innych odbiorców docelowych, czyli np. chcemy zmierzyć inteligencję u dzieci a mamy test inteligencji dla dorosłych. Musimy wtedy przetłumaczyć ten test na materiał dla dzieci, który będzie zupełnie innym materiałem, mimo, że będzie się opierał na tej samej teorii inteligencji. Różnice między poszczególnymi adaptacjami: Transkrypcja – przekład 1:1 Translacja - wprowadzamy poprawki czysto językowe (zmieniamy gramatykę i stylistykę) Trawestacja – dokonujemy zmian psychologicznych, czyli np. zmieniamy karty kredytowe na chwilówki Parafraza – wprowadzanie większych zmian łącznie z tym, że całe pozycje testowe wymyślamy od nowa, ale nie wszystkie Rekonstrukcja – cały test wymyślamy od nowa, może być nawet inna liczna pozycji testowych, ale na bazie tej samej teorii Test, który się sa przetłumaczyć 1:1, to test matryc Ravena, gdzie w ogóle nie ma materiału słownego, jest tylko materiał wizualny. Wszędzie, gdzie materiał jest werbalny, to te poprawki zawsze się będą pojawiały. 19 Wybór odpowiedniej strategii zależy przede wszystkim od celu adaptacji Bezpośrednie ilościowe porównania międzykulturowe- transkrypcja, translacja, trawestacja Bezpośrednie ilościowe porównania wewnątrzkulturowe - parafraza i rekonstrukcja WYKŁAD 2 Żeby zrobić badanie, to potrzebujemy 2 rzeczy: Listę pozycji testowych, nad którą pracujemy Instrukcję do tego testu, czyli musimy przetłumaczyć na język polski tą oryginalną instrukcję do testu, która była w wersji anglojęzycznej, a jeśli jej nie było, co czasem się zdarza, to klasyczną instrukcję otrzymamy od prof. jako przykład i będziemy ją mogli użyć do naszych kwestionariuszy Jeżeli mamy instrukcję, pozycje testowe i skale odpowiedzi, to mamy już gotowy test, ale w badaniach, które będziemy prowadzić, nie chcemy tylko sprawdzić, czy prawidłowa jest struktura testu i jego pozycje, ale chcemy też od razu zebrać informacje, które pozwolą nam na oszacowanie trafności teoretycznej testu za pomocą dwóch metod: Analizy różnic międzygrupowych oraz Analizy korelacji Żeby to zrobić, musimy sobie przypomnieć, o co chodzi z analizą trafności i musimy sformułować hipotezy do analizy trafności do konkretnego badania. Kiedy robimy adaptację, to nie sprowadza się ona tylko i wyłącznie do przetłumaczenia testu do języka docelowego, ale musimy również sprawdzić, czy ten docelowy test jest trafny i rzetelny. Musimy więc sobie przypomnieć, co to jest trafność i rzetelność. Trafność oznacza, czy mierzymy to, co chcieliśmy mierzyć a rzetelność oznacza, z jakim błędem pomiaru mamy do czynienia. Trafność Czy mierzymy to, co chcieliśmy mierzyć? PODSTAWOWE ASPEKTY TRAFNOŚCI TREŚCIOWA Ocena całokształtu zachowań, których próbkę pobiera test (ocena wiadomości z matematyki) Najczęściej się ją ocenia za pomocą metody sędziów kompetentnych KRYTERIALNA Ocena czy osoba posiada lub będzie posiadać pewną cechę 20 (inną niż ta, którą mierzy test) Ocenia się ją za pomocą badań już z udziałem osób badanych TEORETYCZNA Pomiar nasilenia hipotetycznej właściwości (czyli konstruktu, o którym mają świadczyć odpowiedzi) Ocenia się ją za pomocą badań już z udziałem osób badanych My nie będziemy oceniać trafności treściowej metodą sędziów kompetentnych, ponieważ ona jest wykorzystywana wtedy, gdy budujemy nowy kwestionariusz. W przypadku adaptacji kluczowe jest to, aby pytania były dobrze przetłumaczone, dlatego wykorzystujemy metodę backtranslation, gdzie wiele osób tłumaczy w jedną i w drugą stronę, potem to porównujemy, wyciągamy wnioski, które jest najbardziej podobne itd. To nam niejako zastępuje metodę sędziów kompetentnych. Natomiast z tych dwóch metod trafności teoretycznej i kryterialnej, podstawowa jest oczywiście trafność teoretyczna, czyli trafność, która mówi, czy to, że jeden człowiek ma wyższy poziom cechy, a drugi ma niższy poziom cechy, jest odzwierciedlone w liczbie punktów, którą osoby badane uzyskują w tym kwestionariuszu. I na tej trafności teoretycznej my się będziemy właśnie skupiać w tym naszym badaniu. TRAFNOŚĆ TEORETYCZNA ocena stopnia w jakim wnioski wyprowadzane na podstawie wyników testowych odzwierciedlają pozycję osoby na danym kontinuum (konstrukcie), czyli: Czy jest faktycznie tak, że im w wyższym stopniu ktoś ma natężenie cechy, tym ma więcej punktów w kwestionariuszu, a im ma niższe natężenie cechy, tym ma mniej punktów w kwestionariuszu. SPOSOBY BADANIA TRAFNOŚCI TEORETYCZNEJ Najczęściej wykorzystywane są 3 pierwsze metody: Analiza macierzy korelacji (macierz WCWM) Analiza międzygrupowa Analiza struktury czynnikowej testu Analiza zmian nieprzypadkowych Analiza procesu rozwiązywania testu Będziemy sprawdzać wszystkie 3 metody: będziemy sprawdzać, czy struktura czynnikowa testu w polskich badaniach jest taka sama jak była w oryginalnym teście, czyli gdy była 1 skala w oryginalnym, to tu też wyszła 1 skala, jak miał 3 wymiary, to tu też wyszły 3 wymiary itd. Będziemy badać jakąś inną cechę, lub też podobną cechę po to, aby wykonać analizę macierzy korelacji i będziemy chcieli przeprowadzić analizę międzygrupową. 21 Analiza macierzy korelacji Macierz Wielu Cech – Wielu Metod Analiza ta polega na tym, że oprócz tego, że nasze osoby wypełniają nasz kwestionariusz, to wypełniają również jakiś inny kwestionariusz lub kwestionariusze, które pozwolą nam na zweryfikowanie aspektu zbieżnego i różnicowego. Pomiar kilku cech przy użyciu kilku kwestionariuszy Aspekt zbieżny i różnicowy trafności ZBIEŻNY - gdy można wykazać wysoką korelację z innymi testami, mierzącymi podobne cechy (korelacja może być dodatnia lub ujemna, ale ma być silna) RÓŻNICOWY - gdy można wykazać niską (bliska 0) korelację z innymi testami, mierzącymi inne cechy Przykład: Badacze spodziewali się, że neurotyczność i ekstrawersja będą silnie korelować z wymiarami temperamentu, ponieważ są to wymiary osobowości determinowane biologicznie, czyli tutaj mamy aspekt zbieżny trafności; otwartość, ugodowość i sumienność są wymiarami osobowości, które nie są tak silnie determinowane biologicznie, w związku z tym tutaj spodziewano się, że korelacje nie będą występowały, czyli mamy aspekt rozbieżny trafności. K- i K+ miało oznaczać, gdzie byśmy się spodziewali korelacji dodatnich i ujemnych. Potem po przeprowadzeniu badania, autorzy polskiej adaptacji NEO-FFI przeprowadzili analizę korelacji i faktycznie kółeczkami zaznaczono miejsca, gdzie miały występować korelacje. Okazało się, że tam, gdzie miały występować dodatnie korelacje, to one występują, tam, gdzie ujemne, to również występują. Potwierdziły się ich hipotezy, a więc potwierdziła się trafność kwestionariusza. 22 Analiza międzygrupowa Jest to druga metoda. Formułuje się w niej hipotezę, jak będą różnić się grupy ze względu na mierzony konspekt. Analiza hipotez dotyczących zachowania się grup różniących się ze względu na mierzony konstrukt Np. test mierzący inteligencję: APIS-Z Biorąc pod uwagę to, że teoria mówi o rozwojowym charakterze inteligencji, czyli o tym, że dzieci młodsze mają niższe wykonanie, niższy poziom inteligencji płynnej ze względu na rozwój niż dzieci starsze, założono przede wszystkim uczniowie ze szkół ponadpodstawowych powinni robić więcej błędów w teście APIS-Z, a studenci, którzy mają już ponad 20 lat, powinni robić mniej tych błędów. Oczywiście nie przekłada się to na średni iloraz inteligencji, mówimy tutaj tylko i wyłącznie o wynikach surowych. Były też takie analizy, gdzie zakładano, że ponieważ inteligencja może być związane z sukcesem szkolnym, to uczniowie różnych typów szkół średnich powinni uzyskiwać różne wyniki, w szczególności chodziło o to, że uczniowie techników i liceów powinni robić mniej błędów w teście APIS-Z niż uczniowie zasadniczych szkół zawodowych. Uczniowie różnych typów szkół średnich Uczniowie a studenci My w tych badaniach będziemy najprawdopodobniej sprowadzać różnice międzygrupowe istniejące lub nieistniejące, bo ta hipoteza może być sformułowana na dwa sposoby, w zależności od tego, czego byśmy się spodziewali w tej konkretnej cesze, sytuacji, to różnic między płciowych, o ile takie różnice były właśnie analizowane w oryginalnej wersji testu. Np. Skłonność do kupowania impulsywnego – tu prof. postawiła hipotezę o analizie międzygrupowej, że ponieważ we wszystkich badaniach zwykle wychodzi, że kobiety mają wyższą skłonność do takiego kupowania niż mężczyźni, to tak również powinno być w naszym kwestionariuszu. Kobiety i mężczyźni 23 Jakie jest nasze zadania? Mamy wziąć ten artykuł, który opisuje nasz kwestionariusz, mamy popatrzeć jakie narzędzia były używane przede wszystkim do tej analizy korelacji, czyli z jakimi narzędziami korelowany był nasz kwestionariusz i poszukać, czy istnieją polskie narzędzia, które mierzą dokładnie te same konstrukty. To nie musza być dokładnie te same narzędzia, to nie muszą być adaptacje dokładnie tych samych narzędzi, chodzi o to, że jeżeli wiemy, że anglojęzyczna wersja korelowała z danymi cechami, a z danymi nie korelowała, to my chcemy sprawdzić, czy polskojęzyczna wersja będzie również w podobny sposób korelowała z tymi cechami. Zanim przystąpimy do badania, musimy formułować odpowiednie hipotezy: Formułowanie hipotez do analizy trafności Jest to nasze zadanie na kolejne ćwiczenia. Po pierwsze musimy zidentyfikować, jakim drugim kwestionariuszem polskojęzycznym będziemy przeprowadzać badania. Po drugie musimy sformułować odpowiednie hipotezy. Poniżej mamy dwa zestawy hipotez: hipotezy do analizy korelacji i hipotezy do analizy różnic międzygrupowych. Hipotezy do analizy korelacji: Są to hipotezy dotyczące kwestionariusza, jego jakości, czyli trafności. NIE SĄ to hipotezy dotyczące zjawiska. Dobrze: Jeśli mój kwestionariusz jest trafny, to Wynik na skali neurotyzmu (w moim kwestionariuszu) będzie (silnie) dodatnio korelować z wynikami na skalach perseweracyjności i reaktywności emocjonalnej Wynik na skali neurotyzmu będzie (słabo) ujemnie korelować z wynikami na skalach żwawości, wytrzymałości i aktywności Wynik na skali neurotyzmu nie będzie korelować z wynikiem na skali wrażliwości sensorycznej Źle: Osoby neurotyczne są także perseweratywne i reaktywne emocjonalnie Osoby neurotyczne są w niewielkim stopniu żwawe, aktywne i wytrzymałe Merytorycznie oba sformułowania wyglądają tak samo, bo sprawdzać będziemy to samo, ale liczy się sformułowanie. Sformułowanie w opcji „dobrze” to sformułowanie o kwestionariuszu. Jeśli mój kwestionariusz jest trafny, to coś tam coś tam…Jeżeli wyniki statystyczne pozwolą nam na potwierdzenie tej hipotezy, to jeśli ona się potwierdza, to wyciągamy z tego wniosek, że mój kwestionariusz jest trafny. Jeżeli ta hipoteza się nie potwierdzi, to wyciągam z tego wniosek, że mój kwestionariusz nie jest trafny. Przy takim sformułowaniu hipotezy z opcji „źle”, że osoby neurotyczne są także perseweratywne i reaktywne emocjonalnie, jeżeli tę hipotezę potwierdzimy, to nie ma tu nic o kwestionariuszu. Nie 24 jesteśmy w stanie wyciągnąć wniosku o kwestionariuszu, no i odwrotnie: jeżeli jej nie potwierdzimy, to nic nam nie mówi o tym, czy kwestionariusz jest trafny czy nie. My nie testujemy w analizie trafności interesującego zjawiska, my testujemy pewną właściwość psychometryczną kwestionariusza, więc hipoteza musi się zaczynać od: jeśli mój kwestionariusz jest trafny… Formułowanie hipotez do analiz międzygrupowych Dobrze: Jeśli mój kwestionariusz jest trafny, to Kobiety osiągają wyższe wyniki na skali neurotyzmu niż mężczyźni Źle: Kobiety są bardziej neurotyczne od mężczyzn – taka hipoteza, jakkolwiek merytoryczną zawartość ma tą samą, nie dotyczy naszego kwestionariusza, tylko dotyczy zjawiska. Rzetelność Jak dobrze mierzymy? Jaki popełniamy błąd pomiaru? Czy nasz kwestionariusz jest podobny do oryginalnego kwestionariusza, czy jest mniej rzetelny, czy może bardziej. METODY BADANIA RZETELNOŚCI Mamy kilka różnych metod badania rzetelności, które różnią się od siebie tym: czy wymagają jednego badania czy dwóch badań, czy wymagają jednej czy dwóch wersji testu 25 W naszej sytuacji jesteśmy skazani tylko i wyłącznie na te rodzaje badań, które wymagają jednej wersji testu (bo tworzymy tylko jedną wersję testu, nie mamy wersji alternatywnych) no i nie będziemy robić dwóch badań naszym kwestionariuszem, będziemy robić tylko jedno badanie. Mamy więc wybór wśród metod, które zostały nam tutaj: W większości testów w wersjach anglojęzycznych były policzone alfy Cronbacha, więc większość z nas będzie również liczyła alfy Cronbacha, a w przypadku niektórych testów może się pojawić parametr omega McDonalda, który jest bardzo podobny do alfy Cronbacha, tylko trochę nowocześniejszy. Pani prof. pokaże nam oba sposoby liczenia. Dzięki temu będziemy mogli zweryfikować spójność wewnętrzną jako miarę rzetelności naszego testu. ŹRÓDŁA BŁĘDÓW POMIARU W alfie Cronbacha i w omedze McDonalda, to czy test jest rzetelny czy nie, czyli wysokość współczynnika zależy przede wszystkim od doboru treści, czyli heterogeniczności pozycji testowych, w związku z tym w diagnozie psychologicznej chcielibyśmy wykorzystywać takie testy, w których będzie policzona nie tylko alfa Cronbacha, ale w których będzie zrobiony test-retest, czyli powtarzanie testu z przerwą czasową na tyle krótka, żeby nie występowała zmienność w czasie. Czyli to, że my liczymy tyko alfę Cronbacha, to jest przez to jest, że jest to projekt na studiach a nie znaczy, że jest to najlepszy możliwy parametr rzetelności, bo najlepszym możliwym parametrem rzetelności jest wynik z testu-retestu z przerwą czasową od kilku tygodni do maksymalnie kilku miesięcy, żeby ta zmienność cechy w czasie była utrzymana na stosunkowo niskim poziomie. 26 Jak interpretować wielkość współczynnika rzetelności? Interpretacja współczynnika rzetelności przebiega w ten sposób, że jeżeli podniesiemy alfę Cronbacha (lub omegę McDonalda) do kwadratu, to w tym momencie liczba, którą dostajemy określa nam, ile % zmienności wyników testowych zależy od rzeczywistego zróżnicowania a ile zależy od wariancji błędu. Procent wariancji wyniku, który można przypisać różnym źródłom, np. Czyli, jeżeli alfa=0,8, to 64% to wyniki rzeczywistego zróżnicowania a 36% to błąd. Z tego powodu jako absolutnie minimalną, przyjmuje się wartość 0,7. Bo jeżeli o,7 podniesiemy do kwadratu, to wychodzi nam 0,49. Wtedy mniej więcej połowa wyników zależy od rzeczywistego zróżnicowania a druga połowa zależy od wariancji błędu. Dla każdej wartości mniejszej od 0,7 byłoby tak, że test w mniejszym stopniu mierzyłby wynik prawdziwy a w większym stopniu mierzyłby błąd. 27 Oczywiście dla alfy Cronbacha nie stawiamy żadnych hipotez, będziemy ją po prostu wyliczać, tylko już w tej chwili musimy mieć w głowie, że takie operacje będziemy w przyszłości wykonywać. Czyli musimy mieć tak zaprojektowane badanie, aby każda osoba wypełniała nasz kwestionariusz oraz żeby wypełniała drugi kwestionariusz – ten, który będziemy wykorzystywać do badania trafności i musimy mieć na tym etapie, jeszcze przed przeprowadzeniem badania, mieć sformułowane hipotezy, dotyczące tego, jakich korelacji spodziewamy się pomiędzy naszym kwestionariuszem a tym drugim kwestionariuszem. Tutaj naszym zadaniem jest odpowiednie sformułowanie tych hipotez, pamiętając, że opieramy się na podstawowym podręczniku, czyli na tym artykule, który został nam przyporządkowany. A więc nie wymyślamy nowych metod, cech, używanych do analizy trafności, tylko bierzemy te, których używali tamci badacze i które mają jakieś polskie odpowiedniki, dzięki którym można je zmierzyć, w związku z tym merytoryczna zawartość hipotez też będzie się opierała na tym, co mamy w artykule, który został dla nas przygotowany. Jak zrobić badanie? Mamy możliwość zrobienia badania na dwa sposoby: online i papierowo. Realia są takie, że wszyscy chcą robić badania online? Szybko i łatwo jest dotrzeć do dużo większej grupy osób niż w przypadku badania papierowego W przypadku badania papierowego dane musimy wklepać do komputera a w badaniu online osoby badane wklepują nam dane do komputera udzielając odpowiedzi i w związku z tym nie musimy tego robić samodzielnie. Gdy prowadzimy badanie papierowe w przypadku kwestionariuszy trzeba pamiętać o tym, żeby kolejność tych kwestionariuszy, podobnie jak w przypadku badania online była rotowana. To znaczy, żeby część osób badanych po metryczce najpierw dostała nasz kwestionariusz, a potem drugi kwestionariusz, który wykorzystujemy do badania trafności, a część osób badanych, żeby miała te kwestionariusze spięte w odwrotnej kolejności, czyli najpierw ten do badania trafności a później ten nasz. Czyli żeby nie było tak, że zawsze ta kolejność jest dokładnie taka sama, ponieważ kolejność wypełniania kwestionariuszy może wpływać na sposób ich wypełniania, więc chcemy ten element błędu zniwelować wprowadzając rotację. W przypadku badania online będzie się to działo automatycznie. Zarówno badanie papierowe jak i online powinno mieć tą samą strukturę, czyli na samym początku powinna być informacja: Informacje o Co to jest za badanie o Po co je prowadzimy o Dane osób prowadzących badanie o Świadoma zgoda I dalej: Metryczka, w której zbieramy informacje o osobach badanych Kwestionariusze, które wykorzystujemy do badania Skoro kolejność kwestionariuszy ma być losowa, to nie da się takiego badania przeprowadzić w gogle forms. Mamy więc zrobić badanie na Qualtricsie. 28 INSTRUKCJA NR 1 (Qualtrics) Jeżeli mamy konto, które przestało działać, to mamy wklejone na e-learningu informacje, co należy zrobić w takiej sytuacji. Gdy konto jest wyłączone, trzeb kliknąć na link ze slajdu powyżej, adres mailowy, następnie kod aktywujący z Wrocławia. Gdyby się okazało, że pomimo, że to robimy nasze konto trzeba wypełnić formularz zamieszczony pod spodem na tej stronie ze slajdu i wysłać do pana Błażeja, który przedłuży to konto ręcznie. 29 Jak poukładać badanie w Qualtricsie, aby było porządnie zrobione? Zaczynamy od początku, czyli od samego zera. Klikamy na „create a new project” – niebieski baton po lewej stronie na dole. Następnie „Survay” i „get started” (niebieski baton po prawej stronie na dole). Pokazuje nam się poniższe okno i wpisujemy tam nazwę np. „projekt psychometria” (u mnie „projekt psychomteria ćwiczenia”). Nazwa, którą nadamy nie jest widoczna dla osób badanych, to ma być nazwa dla nas. 30 Klikam na „Create project” i otrzymuję takie okno: Każdy nasz kwestionariusz powinien składać się z przynajmniej z 4 elementów. 1. Zgoda Pierwszym elementem, który będzie się wyświetlał osobom badanym jest zgoda. Klikam więc na „Default Question Block”, który się podświetli na niebiesko i tam wpisuję „Zgoda”, czyli po ang. „informed consent” To nie jest instrukcja do naszego kwestionariusza, tylko ogólna informacja o tym, co będzie się działo w badaniu, kim jesteśmy, dlaczego zbieramy dane, że są one anonimowe itd. 31 Żeby wpisać treść, możemy to zrobić na dwa sposoby. Możemy to wpisac w pole pod „Q1”, „click to write the question text” 32 I możemy dac osobom badanym dwie opcje do wyboru: „tak, zgadzam się” i „nie zgadzam się” – wpisujemy to w pola „click to write choice 1” i „click to write choice 2”. Ponieważ z początku mieliśmy tam jeszcze „click to write choice 3”, możemy ten wiersz usunąć klikając „-„ po lewej stronie pod „choices” (tam ustawiamy sobie ilość wierszy). Jeżeli osoba badana zgodzi się na udział w badaniu, to powinna być w tym momencie przerzucona do następnych bloków tego badania, czyli do naszej metryczki oraz kwestionariuszy, jeśli się nie zgodzi, to powinna być wyrzucona z badania, czyli przekierowana na koniec. A więc w takiej sytuacji pownniśmy zaznaczyć, że jeśli ktoś kliknie „nie zgadzam się”, to powinno go przekierować na „End of Survay”. 33 Robię to w ten sposób, że używam opcji „skip logic” (aby znaleźć tę opcję przewijam do końca pasek po lewej stronie ekranu): Klikam na „skip logic” i otrzymuję taki ekran: Czyli mamy tutaj: „skip from this question to” (przeskocz z tego pytania do) End of Survay, jeśli… i tu wybieram „nie zgadzam się” i zostawiam „Is selcted”. Mamy więc: 34 Klikam „confirm”. ALTERNATYWNE USTAWIENIE ZGODY: Możemy dać tylko tekst zgody, kilkając na niebieski baton „+Add new question” i wybierając z rozwiniętej listy „Text/Graphic”: Wpisujemy w pole tekst zgody i na końcu tekstu wpisujemy, że jeżeli wyrażasz zgodę, to kontynuuj badanie, a jeśli nie wyrażasz zgody, to zamknij to okno i przestań brać udział w badaniu (wówczas nie musimy używać już tej opcji „skip logic”): 35 W tekście zgody musi być informacja o badaniu, ile będzie ono trwało i na czym będzie polegało (na podaniu danych demograficznych i wypełnieniu dwóch kwestionariuszy), że za to badanie odpowiedzialny jest zespół w konkretnym składzie z imieniem i nazwiskiem, że jest to projekt studencki robiony w ramach konkretnego przedmiotu i powinien być tu podany przynajmniej jeden adres mailowy jako adres do kontaktu w razie jakichkolwiek pytań. 2. Metryczka Następna strona to metryczka. Uwaga: nie robimy tych stron za pomocą „add page break” (pojawia się ta opcja jak najedziemy kursorem na środek ekranu). Robimy te nowe strony za pomocą bloków. Inaczej byłby trudno ustawiać randomizację. W związku z tym dodaję sobie klikając na „add block”: 36 Nazwiemy go „metryczka”: 37 W „metryczce” chcę mieć dwa pytania. Klikam na „+add new question” i z listy wybieram „multiple choice”: Otrzymuję taki ekran: 38 Jedno pytanie będzie o płeć (wpisuję w „click to write the question text”) i odpowiedzi chcę mieć: kobieta, mężczyzna i inna (lub „nie chcę udzielać odpowiedzi”) – wpisuję w „click to write choice 1” itd. Jeśli chodzi o pytanie o wiek, to ma być to pytanie, w którym osoby podadzą swój konkretny wiek, a nie przedział wiekowy. Gdybyśmy dali przedziały, to nie można by było policzyć z tego odchylenia std i średniej a my akurat te dane potrzebujemy. Czyli znów klikam na niebieski baton „+add new question” ale z listy wybieram „text entry”: 39 Wpisujemy nazwę „wiek”: I teraz, żeby osoby badane wpisywały konkretną liczbę, a więc musimy wymusić w Qualtricsie, aby pozwalał tylko na wpisywanie zmiennych liczbowych. Klikamy na opcję po lewej stronie okna: „add validation” odznaczając ją na niebiesko: I teraz możemy sobie wybrać, na czym ta walidacja ma polegać, klikając na „minimum length” i rozwinie nam się lista, z której możemy sobie zaznaczyć, że ta walidacja będzie polegać na tym, jaki mamy rodzaj danych, który wpisujemy, czyli klikamy na „content type”: 40 Następnie klikamy na znajdującą się pod „content type” opcję „email adress” i wybieramy „number”: Od tej pory osoby badane w pytaniu o wiek będą mogły wpisać tylko cyfrę, jeśli wpiszą coś innego, system nie puści ich dalej. Warto pamiętać, aby wszystkie pytania w kwestionariuszu ustawić sobie jako „wymagane”, czyli musimy kliknąć po lewej stronie na opcję „add requirements” odznaczając ją na niebiesko a następnie „force response”: 41 Różnica między „force response” a „request response” jest taka, że w pierwszej opcji, gdy osoba badana nie udzieli odpowiedzi na pytanie, to system jej dalej nie puści, w drugiej opcji zapyta, czy na pewno nie chce udzielić odpowiedzi. Jeżeli odpowie, że nie chce udzielić odpowiedzi, to Qualtrics puści ją dalej. Jest to szczególnie istotne w odniesieniu do pytań z naszych obu kwestionariuszy, ponieważ jeśli będziemy mieć braki w metryczce, to nic wielkiego się nie stanie, ale jeśli będziemy mieć braki w odpowiedziach do kwestionariuszy, to nie będziemy w stanie policzyć wówczas wyników. Gdybyśmy przez przypadek sobie skasowali jakieś pytanie, to ono nie idzie „w kosmos” tylko jest w koszu i możemy je przywrócić wraz ze wszystkimi ustawieniami. Przechodzimy teraz do następnego bloku, w którym będzie już nasz kwestionariusz. W metryczce minimalnie wprowadzamy płeć i wiek, ale jeśli okazałoby się, że będziemy potrzebowali do analizy różnic międzygrupowych inne kryteria, to oczywiście można je również wprowadzić, np. „czy posiadasz dzieci”. 42 3. Kwestionariusz pierwszy („mój kwestionariusz”) Znów klikam na „add block” i wpisuję nazwę np. „mój kwestionariusz”. UWAGA: bardzo ważne jest, abyśmy wprowadzali nasze kwestionariusze na pomocą „+add new question” i następnie z wybór z listy „matrix table”: Otrzymamy taki ekran: 43 W pierwszej kolejności wprowadzamy tutaj treść instrukcji: Następnie ustawiamy, ile punktowa jest nasza skala, wybierają odpowiednią ilość punktów po lewej stronie okna, klikając na „number of scale points” (u mnie na samym dole po lewej stronie, ustawiłam na 5 punktów, ponieważ mam 5 stopniową skalę): 44 Od nas zależy, jak ta skala będzie wyglądać i jak ją opiszemy. Możemy sobie legendę do niej wpisać w instrukcję: I w tabelce będą tylko numerki 1,2,3,4,5: Ale można też zrobić tak, że nie będę miała legendy w instrukcji, tylko można całą treść wkleić w poszczególne punkty na skali: 45 Kiedy jest więcej punktów na skali, lepiej dać numerki, bo ładniej to wygląda i jest bardziej przyjazne osobom badanym. Wklejanie itemów: możemy przekopiować pytania bezpośrednio z Worda lub Excela, o ile itemy są rozdzielone, kopiując wszystkie, a nie pojedynczo. Wystarczy skopiować przygotowaną listę i kliknąć na pierwszą linijkę w Qualtriksie („Click to write Statement 1”) i gotowe. Przetwarzanie może chwilę potrwać. 46 Teraz musimy ustawić, aby randomizowała się nam kolejność pytań. W tym celu przewijamy na sam dół opcje z lewej strony okna. Klikamy na „Statement randomization”: I mamy taki ekran: 47 Zaznaczamy drugą pozycję: „Display answers in a random order” i klikamy „Save”. Będzie to oznaczone w ten sposób, że po prawej stronie ekranu pojawi się taka nowa ikonka takie dwie splecione strzałeczki): Następnie znów odznaczamy na niebiesko po lewej stronie ekranu „add requirements” i zaznaczamy „force response”: Będzie to nam gwarantowało, że osoby badane udzielą odpowiedzi na wszystkie pytanie, które się im pojawią. W dokładnie taki sam sposób przygotowujemy drugi kwestionariusz, czyli ten, który będziemy wykorzystywać do analizy korelacji (analizy macierzy wielu cech wielu metod). 48 4. Drugi kwestionariusz Znowu tworzymy go przez nowy blok za pomocą „add block”, nazywamy go „drugi kwestionariusz”: Klikamy „+add new questions”, zaznaczamy „matrix table” z rozwiniętej listy, przygotowujemy instrukcję, listę itemów do wklejenia, wybieramy odpowiednią ilość punktów na skali klikając „number of scale points” po lewej stronie okna (żeby się pokazały te opcje po lewej stronie okna, trzeba kliknąć na nowo powstałą tabelkę). Następnie ustawiamy randomizację oraz opcję, że osoba badana musi odpowiedzieć na wszystkie pytania – dokładnie tak samo jak w pierwszym kwestionariuszu. 49 To, co musimy teraz jeszcze zrobić, to sprawić, aby oba kwestionariusze wyświetlały się w losowej kolejności. Możemy to ustawić za pomocą ikonki po lewej stronie okna „survey flow”: Klikamy na nią i mamy takie okno: 50 Kiedy widzimy, że wszystkie ikonki są szare, to oznacza, że wszystkie bloki idą w tej samej kolejności. Jeżeli chcemy, aby kolejność była rotowana, to musimy dodać element, a więc klikamy na zielony napis pod szarymi ikonkami „+add a new element here”: Klikamy na „randomizer”: 51 Aby podłączyć kwestionariusze pod randomizer trzeba nacisnąć i trzymać lewy klawisz myszki i kliknąć w „move” przy danym kwestionariuszu, wówczas uda się przeciągnąć pod randomizer: Trzeba jednak zwrócić uwagę, gdzie przeciągamy te bloki. Muszą być podciągnięte bezpośrednio pod randomizer, a w samym ranomizerze musi się pojawić wtedy cyferka 2, która będzie oznaczała, że oba bloki będą się pokazywały osobom badanym losowo, ale będą się pokazywały oba kwestionariusze: Nie możemy tej cyferki przestawić na „1”, bo to by oznaczało, że połowie osób badanych pokaże się losowo jeden kwestionariusz a drugiej połowie drugi. „1” używa się do eksperymentów. Klikamy na „apply” (na dole po prawej stronie niebieski baton) i to jest już cała filozofia. 5. Wersje pytań na kobiet i mężczyzn Jeszcze są dwie rzeczy, które moglibyśmy zrobić, ale nie jest to obowiązkowe: po pierwsze - jeżeli w naszym kwestionariuszu jest dużo pytań, które mają rodzaj żeński lub męski, to można się zastanowić, czy nie chcemy zrobić osobnych wersji językowych dla kobiet i mężczyzn. W takiej sytuacji robimy kopię naszego kwestionariusza: po 1 wersji dla kobiet i po 1 wersji dla mężczyzn. Na podstawie płci zaznaczonej przez osobę badaną, będziemy weryfikować, jaką płeć zaznaczyła osoba badana i w zależności od jej wyboru, będziemy wyświetlać albo wersję dla kobiet albo wersję dla mężczyzn. 52 Jak to zrobić: Najpierw kopiuję mój kwestionariusz – klikam na trzy kropki (…) po prawej stronie kwestionariusza a następnie z rozwiniętej listy wybieram „copy” (tylko trzeba wybrać odpowiednie „kropki” – nie od pytania a od kwestionariusza, żeby nie skopiował pytania a cały blok): Pojawia się takie okno i wpisuję tam nazwę mojej kopii: Trzeba w tej kopii poprawić wszystkie pozycje testowe, które tego wymagają, aby miały wersję kobiecą. Następnie klikam na „survey flow” po lewej stronie ekranu: 53 Mam takie okno: Teraz muszę zmienić, żeby było tak, aby dla osoby, która wybrała daną płeć wyświetlił się odpowiedni kwestionariusz. Klikamy na samym dole na opcję „+add a new element here” a następnie wybieramy „branch”: 54 I otrzymujemy takie okno: Ten branch przesuwamy, aby był częścią naszego randomizera (trzymając lewy przycisk myszki i klikając „move”, trzeba przeciągnąć): 55 Branch (odnoga) wymaga tego, aby był warunek, a więc klikamy na niebieski „add a condition”: Możemy teraz ustawiać warunek if..then (jeśli..coś). Czyli jeżeli: pytanie (question) i wybieramy „płeć”: 56 Pokazuje nam się kolejne okienko i wybieramy „kobieta”: 57 Zostawiamy w kolejnym okienku „is selected”, klikamy „ok” i przeciągamy właściwy kwestionariusz, który chcemy, aby się pokazał pod tym oknem „then branch if”. W tym przypadku to będzie „mój kwestionariusz kobieta”. Tak samo robimy z męską wersją kwestionariusza. Trzeba tylko zwrócić uwagę, aby te dwa okna „branch” były na odpowiednim poziomie (tzn. musimy zwrócić uwagę, na który „add a new element here” klikamy) – Ma być tak: 58 a nie może być tak: Nie jest to idealnie, ponieważ nie mamy końcówki dla osób niebinarnych, ale osób, które używają innych końcówek niż męskie i żeńskie jest bardzo mało, więc stanowią tylko odsetek badania. Do wystandaryzowania takich końcówek trzeba byłoby zebrać kilkaset takich osób, co jest awykonalne. Jeżeli ktoś faktycznie udzieli odpowiedzi „inna”, to można zapytać taką osobę, czy woli używać końcówek męskich lub żeńskich, nie dając takiej osobie innego wyboru. Jest to na tyle nowe podejście, że prof. nie spotkała się z sytuacją, żeby ktoś nie był z tego powodu zadowolony. 59 Jak to zrobić? Zapiszmy sobie to co, mamy do tej pory klikając na „apply”. Wróćmy do naszego Survey (klikając na pasek na samej górze „Surfey” jest po lewej stronie). Musimy mieć dodatkowe pytanie, które nam się pojawi po metryczce tylko wtedy, kiedy ktoś zaznaczy odpowiedź „inna” Dodajemy blok, który będzie się nazywał „końcówki” i będzie w nim tylko jedno pytanie. Klikamy od blokiem z metryczką „Add block”, nazywamy go „końcówki”, klikamy „+add new question”, z listy wybieramy „multiple choice”: Mamy dwa rodzaje końcówek, więc będą dwie odpowiedzi: męskie i żeńskie. Usuwamy jeden wiersz odpowiedzi za pomocą „number od choices” po lewej stronie i mamy: 60 Chcemy, żeby ta strona z końcówkami pojawiła się tylko wtedy, kiedy ktoś zaznaczy „inne”, w związku z tym klikam sobie na to pytanie (prof. teraz mówi, że w zasadzie to pytanie nie musiało być w odrębnym bloku, mogło być jednak w metryczce, ale zostawiamy, jak jest) i klikam po lewej stronie na „display logic” i zaznaczam, że to pytanie ma być wyświetlone tylko i wyłącznie, gdy osoby badane udzieliły na pytanie „płeć” odpowiedź „inna”, zaznaczam i klikam „Save”: Wracamy znowu do „Survey flow”. Wiemy już, że kwestionariusz z męskimi końcówkami ma się pojawić osobie, która zaznaczyła, że jest mężczyzną i takiej, która zaznaczyła, że chce mieć męskie końcówki. Wersja żeńska kwestionariusza ma być wyświetlona, gdy osoba zaznaczyła, że jest kobietą i osobie, która zaznaczyła, że chce żeńskie końcówki. Trzeba więc teraz wyedytować te warunki w naszych branchach. Klikamy na niebieski „edit condition” i potem na plus po prawej stronie: 61 Możemy sobie teraz dodać różne rzeczy: 62 Zamieniamy „And” na „or”, w pytaniu zaznaczam „końcówki” i „żeńskie”: Klikam „ok” i podobnie robię dla męskiej wersji: 63 Klikam „ok”: Tylko teraz mamy jeden problem, bo ustawione mamy w randomizacji na „2” i system będzie źle randomizował. Więc musimy odpowiednio zgrupować te dwa „branche”, żeby nie były dwoma elementami, tylko jednym kwestionariuszem. Robimy to w ten sposób, że dodajemy jeden element typu „group”: 64 Ten nowy element przesuwamy pod nasz randomizer: 65 I to jest nasza grupa, którą nazywamy: jeden kwestionariusz w dwóch wersjach (klikamy tylko w nazwę i wpisujemy): Pod tą grupę podciągamy oba branche: I teraz jest ok, ponieważ nasz system będzie losował czy najpierw będzie wyświetlał jeden kwestionariusz, czy najpierw będzie losował grupę z końcówkami z drugiego kwestionariusza. Prof. mówi, że jest mało prawdopodobne, żeby ten drugi kwestionariusz (który będziemy używać do analizy trafności)miał również różne końcówki, bo zwykle są to adaptacje, ale gdyby tak było, to robimy dokładnie tak samo. 66 Na końcu dajemy „apply” i to wszystko się zapisuje. Wracam do pełnego widoku za pomocą ikonki po lewej stronie „Survey” 6. Udostępnianie projektu Ponieważ będziemy pracować w grupach, projekt trzeba udostępnić. Można to zrobić w każdym momencie za pomocą opcji „tools” i z rozwijanej listy wybieram „collaborate”: Pojawia mi się takie okno: 67 W to szare okienko wpisujemy adres mailowy osoby, którą chcę zaprosić do projektu. Kiedy osoba, którą chcemy dołączyć nie ma aktywnego konta na Qualtricsie wyświetli się taki komunikat: Takiej osoby nie można dodać, musi najpierw napisać do pana Błażeja (patrz początek instrukcji). Ale jeśli dane konto istnieje w Qualtricsie, to wówczas znajdzie ten adres i klikamy na „add selected” (wzięłam Jadzi konto (za jej zgodą), ponieważ prof. też je wpisała): 68 I pokazuje nam się pole do wpisania treści maila: Możemy coś wpisać, ale nie musimy. Klikamy „invite” i pokazuje nam się takie okno: Widzimy tu, że ta osoba może edytować, może oglądać raporty z badania, może aktywować albo zamknąć badanie, może je skopiować i może rozsyłać do niego linki. Niektóre uprawnienia możemy zabrać, ale jeżeli pracujemy w grupie, to nic tutaj nie zmieniamy. Jak damy „save”, to powinien iść mail do osoby, która ma to badanie udostępnione i ta osoba po zalogowaniu się będzie to badanie widziała i będzie mogła na nim pracować. 69 7. Przykład Badanie studentów z poprzedniego roku. Po kolei będziemy patrzeć co tam widać. Jest zgoda i informacja kto to robi. Jest treść świadomej zgody i metryczka. Jest kwestionariusz TIPI: 70 I drugi kwestionariusz OND (ten, który ta grupa opracowywała): 71 To, że pojawiają się cyfry 1,2,3,4,5, nad każdą odpowiedzią można bardzo prosto zrobić, klikając na kwestionariusz i przewijając do połowy pasek po lewej stronie okna. Odznaczamy tam na niebiesko „repeat headers”: Gdy klikniemy na „middle” rozwinie się lista. Gdy wybierzemy z niej „middle”, pojawią się te oznaczenia skali co ileś pozycji: 72 A gdy klikniemy na „all” to ten nagłówek będzie się pojawiał przy każdym itemie. Oczywiście to, czy to będą cyfry czy opis, zależy, jak sobie to ustawimy na początku. Jak widać, gdy nagłówki sa zrobione za pomocą tekstu, słabo to wygląda i nie jest rekomendowane. 73 8. Opublikowanie badania Mamy więc wszystko co trzeba, więc jest gotowe do puszczenia. Jeżeli chcemy to badanie puścić, to klikamy po prawej stronie na niebieski baton „publish”. Otrzymujemy takie okno: Gdy klikniemy jeszcze raz na „publish”, otrzymamy link do tego badania. Ten link możemy już rozsyłać osobom badanym. WAŻNE: jeśli po rozesłaniu badania okaże się, że musimy coś poprawić, nawet jeśli są to najmniejsze poprawki, to w tym, co jest pod linkiem jest stara wersja badania a nie ta z wprowadzoną poprawką. Żeby te poprawki były widoczne dla osób badanych, trzeba jeszcze raz kliknąć na „publish”. Po naniesieniu poprawek przycisk „publish” stanie się znów aktywny. Gdzie można znaleźć ten link, jeśli sobie nie skopiowaliśmy? 74 Na górnym pasku mamy opcję „Distributions” a następnie klikamy po lewej stronie na „Anonymous link” 9. Usuwanie danych i przygotowanie pliku do Jamovi Jak usunąć dane zebrane z próbnego testu? To, jak wygląda ankieta, możemy przejrzeć w opcji na górnym pasku po lewej stronie „Survey” i potem po prawej stronie przycisk „Previev”: 75 Klikając na „previev” zobaczymy zarówno wersję na komputer jak i na telefon: Możemy sobie tu poklikać i sprawdzić, jak wszystko działa (ten widok otwiera się w nowym oknie). Następnie, jeśli chcemy wyczyścić dane, to wracamy do ankiety roboczej i klikamy na górnym pasku „data&analysis” – powinny nam się tutaj pojawić wszystkie śmieci, które możemy usunąć. 76 W prawdziwym badaniu przykładowym wygląda to tak: Żeby to usunąć, to po prostu klikamy albo na pierwszy kwadracik po lewej stronie, jeśli chcemy usunąć wszystko albo na kwadraciki przy wybranych pozycjach i potem klikamy na ikonkę z koszem po prawej stronie okna. Jak wyeksportować dane z badania do pliku? Opcja z wyeksportowaniem znajduje się również w sekcji „Data &Analysis” jak na powyższym slajdzie, ale klikamy na przycisk „export&import” po prawej stronie okna. 77 Po kliknięciu rozwijamy listę i klikamy na „export data”: Otrzymujemy takie okno: Na górnym pasku mamy różne opcje, w zależności, gdzie chcemy eksportować. W naszym przypadku albo będziemy chcieli zrzucić do Excela albo do SPSS. Zanim będziemy chcieli otworzyć plik w Jamovi, 78 to będziemy chcieli sprawdzić, jak ten plik wygląda i zrobić w nim poprawki. Jeżeli nie mamy zainstalowanego SPSS, to wrzucamy dane do Excela. Klikamy więc na „Excel”. To, co jest bardzo ważne, to to, że domyślnie jest ustawienie na „use choice text”, czyli nie przerzuci nam numeru odpowiedzi, tylko jej tekst. Nam do obliczeń jest potrzebny numer odpowiedzi wskazany przez osobę badaną. W takiej sytuacji, jeżeli wybieramy Excela, musimy kliknąć na „Use numeric values”: Następnie klikamy na „download”, plik się ściąga. Otwieramy go i powinniśmy zwrócić uwagę, czy nie pojawiły się kolumny, które nie są do niczego potrzebne. Jeśli się pojawiły, należy je usunąć. 79 Zostawiamy płeć, wiek i odpowiedzi na nasze pytania. Nie zostawiamy pustych kolumn. Jest jeszcze jedna rzecz: nagłówek tabeli jest w dwóch linijkach a powinien być w jednej. M

WYKŁAD-zaawansowana-psychometria-2 PDF

Document Details

Tags

Related

Summary

Full Transcript