Uji Validitas dan Reliabilitas PDF

Jenis, Pengertian dari Uji Instrumen Penelitian : Uji Validitas dan Reliabilitas dr. Ima Maria, M.K.M. Epidemiologist Tujuan Pembelajaran Memahami konsep validitas Memahami konsep reliabilitas Memahami dan menjelaskan jenis-jenis reliabilitas Memahami dan menjelaskan kelebihan dan...

Jenis, Pengertian dari Uji Instrumen Penelitian : Uji Validitas dan Reliabilitas dr. Ima Maria, M.K.M. Epidemiologist Tujuan Pembelajaran Memahami konsep validitas Memahami konsep reliabilitas Memahami dan menjelaskan jenis-jenis reliabilitas Memahami dan menjelaskan kelebihan dan kekurangan masing-masing uji reliabilitas Uji Validitas Uji validitas menentukan apakah instrumen mengukur apa yang seharusnya diukur. Jenis-jenis validitas: Validitas isi  Menilai apakah isi instrumen mencakup semua aspek yang relevan dengan konsep yang diukur. Misalnya, tes untuk mendiagnosis diabetes harus mencakup komponen yang benar-benar mengukur kadar gula darah. Validitas konstruksi  Memastikan bahwa instrumen benar-benar mengukur konsep teoretis yang dimaksud. Misalnya, tes kecerdasan emosional harus mengukur konstruk kecerdasan emosional yang telah didefinisikan dalam teori. Validitas kriteria  Menentukan hubungan antara instrumen dengan hasil atau kriteria lain yang sudah diketahui. Misalnya, hasil tes depresi harus berkorelasi dengan gejala depresi yang dilaporkan oleh pasien. Contoh: Menggunakan kuesioner untuk mengukur kualitas hidup pasien. Pertanyaan-pertanyaan harus mencerminkan aspek kesehatan fisik, mental, dan sosial. Uji Reliabilitas Uji reliabilitas menilai konsistensi hasil dari instrumen pengukuran. Sebuah instrumen yang reliabel akan memberikan hasil yang sama dalam kondisi serupa. Jenis uji reliabilitas: 1. Test-retest 2. Parallel-Forms Reliability 3. Internal Consistency 4. Inter-rater Reliability 1. Reliabilitas Test-Retest Mengukur sejauh mana skor yang diperoleh dari dua kali pengujian instrumen yang sama pada kelompok responden yang sama dalam jangka waktu tertentu adalah konsisten. Cocok digunakan untuk konstruk yang relatif stabil dari waktu ke waktu, seperti kepribadian dan intelegensi Cara mengukur: Korelasi antara skor pertama dan skor kedua. Contoh: Memberikan kuesioner kepribadian yang sama kepada sekelompok mahasiswa dua minggu kemudian, lalu membandingkan skor yang diperoleh. Contoh lain: tes IQ 2. Parallel-Forms Reliability Mengukur sejauh mana dua bentuk instrumen yang berbeda tetapi setara menghasilkan skor yang sama pada kelompok responden yang sama. Cara mengukur: Korelasi antara skor yang diperoleh dari kedua bentuk instrumen. Contoh: Membuat dua versi kuesioner yang berbeda tetapi mengukur konsep yang sama, lalu memberikan kedua versi tersebut kepada kelompok responden yang berbeda, kemudian membandingkan skor yang diperoleh. 3. Reliabilitas Internal Consistency Mengukur sejauh mana semua item dalam suatu instrumen mengukur konsep yang sama. Cocok digunakan ketika instrumen terdiri dari banyak item yang mengukur suatu konstruk laten (konstruk yang tidak dapat diamati secara langsung), seperti sikap, pengetahuan, kualitas hidup. Cara mengukur: Koefisien Alpha Cronbach: Umum digunakan untuk instrumen yang mengukur konstruk laten. Split-half reliability: Membagi instrumen menjadi dua bagian, lalu menghitung korelasi antara skor kedua bagian tersebut. Contoh: Kuesioner sikap yang terdiri dari beberapa item. Jika semua item mengukur dimensi sikap yang sama, maka koefisien alpha Cronbach akan tinggi. 4. Inter-rater Reliability Mengukur tingkat kesepakatan antara dua orang atau lebih dalam menilai suatu variabel atau fenomena yang sama. Cara mengukur: Koefisien Kappa: Untuk data nominal atau ordinal. Intraclass Correlation Coefficient (ICC): Untuk data interval atau rasio. Contoh: Dua orang pengamat yang mengamati perilaku anak dan memberikan skor pada perilaku tersebut. Jenis Reliabilitas Mana yang Mau dipilih? tergantung pada tujuan penelitian, jenis data, dan karakteristik instrumen Jika tujuannya adalah mengukur stabilitas skor dari waktu ke waktu: Reliabilitas test-retest Jika instrumen terdiri dari banyak item: Reliabilitas internal konsistensi (koefisien alpha Cronbach) Jika instrumen melibatkan pengamatan perilaku: Reliabilitas antar penilai Faktor yang Mempengaruhi Reliabilitas Panjang instrumen: Instrumen yang lebih panjang cenderung memiliki reliabilitas yang lebih tinggi. Jelasnya instruksi: Instruksi yang jelas dan mudah dipahami akan meningkatkan reliabilitas. Homogenitas item: Item-item dalam instrumen harus mengukur konsep yang sama. Kondisi pengujian: Kondisi pengujian yang konsisten akan meningkatkan reliabilitas. Uji Diagnostik, Uji Sensitifitas dan Spesifisitas dr. Ima Maria, M.K.M. Epidemiologist Uji Diagnostik Uji diagnostik adalah uji yang digunakan (prosedur/ alat) untuk mendeteksi keberadaan suatu kondisi atau penyakit. Kegunaan: Membantu dalam menentukan diagnosis dengan alat ukur yang akurat untuk deteksi awal dan pemantauan pasien. Fungsi utama uji diagnostik: 1. Identifikasi Penyakit: Memastikan apakah seseorang memiliki kondisi tertentu (deteksi). 2. Eksklusi Penyakit: Memastikan bahwa seseorang tidak memiliki kondisi tersebut (pengecualian). Syarat Uji Diagnostik 1. Validitas 2. Sensitivitas dan spesifisitas Faktor yang mempengaruhi validitas/ Akurasi 3. Nilai prediktif 4. Reliabilitas 5. Standar referensi 6. Generalisasi 7. Pengendalian Bias 8. Standar pelaporan 9. Praktis: mudah dilakukan, biaya terjangkau, waktu singkat 10. Aman: tidak menimbulkan risiko 11. Etis: informed concent, kerahasian 1. Validitas Uji diagnostik harus dapat memberikan hasil yang benar untuk kondisi yang diuji (individu punya penyakit/tidak punya penyakit). Validitas dibagi menjadi: Validitas internal: Mengukur kemampuan uji diagnostik untuk memberikan hasil akurat dalam pengaturan terkontrol. Validitas eksternal: Kemampuan uji untuk menghasilkan hasil yang sama ketika diterapkan di populasi yang berbeda. Validitas sering dievaluasi dengan membandingkan hasil tes terhadap standar referensi (gold standard) (Sackett & Haynes, 2002) §10.3 Validity Compare screening test results to a gold standard (“definitive diagnosis”) Each patient is classified as either true positive (TP), true negative (TN), false positive (FP), or false negative (FN) Test D+ D− Total T+ TP FP TP+FP T− FN TN FN+TN Total TP+FN FP+TN 17 2. Sensitivitas dan Spesifisitas Sensitivitas: Kemampuan tes untuk mendeteksi individu yang benar- benar sakit (true positive = TP) Spesifisitas: Kemampuan tes untuk memastikan individu yang benar-benar sehat (true negative = TN) Tes dengan sensitivitas dan spesifisitas tinggi adalah ideal untuk diagnosis dan eksklusi penyakit Sensitivitas dan spesifisitas adalah karakteristik utama yang menentukan keakuratan uji (Knottnerus et al., 2002). Sensitivity Test D+ D− Total T+ TP FP TP+FP T− FN TN FN+TN Total TP+FN FP+TN SEN ≡ proportion of cases that test positive 19 Specificity Test D+ D− Total T+ TP FP TP+FP T− FN TN FN+TN Total TP+FN FP+TN SPEC ≡ proportion of noncases that test negative 20 3. Nilai Prediktif Nilai Prediktif Positif (Predictive Value Positive = PVP): Kemungkinan pasien benar-benar memiliki penyakit jika hasil tes positif Nilai Prediktif Negatif (PVN): Kemungkinan pasien benar-benar sehat jika hasil tes negatif. Nilai prediktif dipengaruhi oleh prevalensi penyakit dalam populasi tertentu, menjadikannya penting untuk konteks klinis. Parameter ini memberikan informasi tentang kepercayaan terhadap hasil tes dalam populasi tertentu (Vitzthum et al., 2005). Predictive Value Positive Test D+ D− Total T+ TP FP TP+FP T− FN TN FN+TN Total TP+FN FP+TN PVP ≡ proportion of positive tests that are true cases 22 Predictive Value Negative Test D+ D− Total T+ TP FP TP+FP T− FN TN FN+TN Total TP+FN FP+TN PVN ≡ proportion of negative tests that are true non-cases 23 Prevalence Test D+ D− Total T+ TP FP TP+FP T− FN TN FN+TN Total TP+FN FP+TN [True] prevalence = (TP + FN) / N Apparent prevalence = (TP + FP) / N 24 4. Reliabilitas Uji diagnostik harus memberikan hasil yang konsisten: Reliabilitas intra-rater: Hasil yang sama ketika diuji ulang oleh penguji yang sama. Reliabilitas inter-rater: Hasil yang sama ketika diuji oleh penguji yang berbeda. Reprosilibilitas memastikan hasil dapat diandalkan meskipun dalam pengaturan atau operator yang berbeda (Glasser, 2014). Kappa (κ) Rater B Rater A + − Total + 1 − 2 Total 1 2 [Agreement corrected for chance] 26 κ Benchmarks 27 Example 2 To what extent are these diagnoses reproducible? Rater B Rater A + − Total + 20 4 24 − 5 71 76 Total 25 75 100 “ substantial” agreement 28 Mengapa Koreksi terhadap Kesepakatan Kebetulan Penting? Jika kita hanya menghitung persentase kesepakatan antara dua pengamat, kita mungkin akan mendapatkan nilai yang terlalu tinggi, karena ada kemungkinan mereka sepakat hanya karena kebetulan. Uji Kappa mengoreksi faktor kebetulan ini sehingga memberikan nilai yang lebih akurat tentang tingkat kesepakatan yang sebenarnya. 5. Standar Referensi (Gold Standard) Uji diagnostik harus dievaluasi terhadap standar referensi yang diterima secara luas untuk memastikan keakuratan. Standar referensi menjadi alat pembanding utama dalam menilai hasil tes diagnostik baru. Penggunaan standar referensi adalah kunci dalam desain uji diagnostik yang valid (Daya, 1996). 6. Generalisasi (Aplikasi Klinis) Hasil uji harus dapat digeneralisasi ke populasi pasien yang luas. Hal ini memerlukan evaluasi uji pada populasi dengan berbagai tingkat keparahan penyakit dan karakteristik demografis yang berbeda. Studi harus dilakukan pada kohort yang relevan secara klinis untuk meningkatkan generalisasi hasil (Knottnerus et al., 2002). 7. Pengendalian Bias Desain penelitian harus menghindari bias, seperti: Bias seleksi: Menggunakan populasi yang tidak representatif. Bias verifikasi: Hanya membandingkan hasil positif atau negatif dengan standar referensi. Bias kerja: Ketika hasil tes dipengaruhi oleh pengetahuan tentang standar referensi. Evaluasi bias adalah langkah penting untuk memastikan hasil yang valid (Tatsioni et al., 2005). 8. Standar Pelaporan Studi uji diagnostik harus mematuhi pedoman pelaporan, seperti STARD (Standards for Reporting Diagnostic Accuracy), untuk transparansi dan reproduktifitas. Pelaporan yang buruk dapat mengurangi nilai klinis hasil studi (Deeks, 2001). Hubungan Validitas dan Reliabilitas Validitas tanpa Reliabilitas: Sebuah uji diagnostik dapat valid tetapi tidak reliabel. Misalnya, sebuah tes dapat mengukur apa yang seharusnya diukur, tetapi hasilnya tidak konsisten jika dilakukan berulang kali. Reliabilitas tanpa Validitas: Sebuah uji diagnostik dapat reliabel tetapi tidak valid. Misalnya, sebuah tes dapat memberikan hasil yang konsisten, tetapi hasil tersebut tidak mengukur apa yang seharusnya diukur. Idealnya sebuah uji diagnostik yang baik harus memiliki baik validitas maupun reliabilitas yang tinggi  Terima kasih Phone Email 082186735787 [email protected]