Tema 8. Concepto y evidencias de validez.pdf

TEMA 8.- Concepto y evidencias de validez 1. Introducción 2. Concepto de validez 3. Evidencias de validez • Contenido del test • Estructura interna del test • Relación con otras variables Lectura: Abad, F. J., Olea, J., Ponsoda, V., y García, C. (2011). Concepto y evidencias de validez. En F....

TEMA 8.- Concepto y evidencias de validez 1. Introducción 2. Concepto de validez 3. Evidencias de validez • Contenido del test • Estructura interna del test • Relación con otras variables Lectura: Abad, F. J., Olea, J., Ponsoda, V., y García, C. (2011). Concepto y evidencias de validez. En F. J. Abad, J. Olea, V. Ponsoda, y C. García (coord.), Medición en Ciencias Sociales y de la Salud (Cap. 5., pp. 161-204), Madrid: Síntesis. 1. Introducción Los test deben desarrollarse de forma rigurosa y objetiva, siguiendo unos estándares de calidad. Propiedades psicométricas de los tests 1. Análisis de los ítems 2. Fiabilidad 3. Validez ¿La utilización e interpretación de las puntuaciones es adecuada ? ¿coincide con la proporcionada por la documentación de la prueba? 4. Baremación La descripción del test (nombre, autor, editor, fecha de publicación, adaptación, fecha de la última revisión, constructo evaluado, área de aplicación, nº de ítems..), así como la valoración del test en estas características serán recogidas en un manual o en publicaciones científicas. EVALUACIÓN DE LOS TEST EDITADOS EN ESPAÑA https://www.cop.es/test/ 2. Concepto Ø La validez es el aspecto más importante y fundamental del desarrollo y evaluación de un test, puesto que sin validez cualquiera de las inferencias y decisiones que tomamos a partir de sus puntuaciones carecerían de sentido. ¿Qué es la validez de un instrumento de medida? Es el grado en que la teoría y los datos disponibles apoyan la interpretación de las puntuaciones de un test para un uso concreto (Standards for Educational and Psychological Testing, [AERA] et al., 2014, p. 11 ) § La teoría juega un papel muy importante como guía tanto del desarrollo de un test como de su proceso de validación. § Lo que se valida no es el test sino las puntuaciones del test: ¿es válido el uso o la interpretación de las puntuaciones de este test? § La validez depende del contexto de evaluación y de la muestra. § Las puntuaciones de un test pueden ser precisas, consistentes, pero no ser válidas para el uso que le vamos a dar. Un test válido es un test fiable. § La validez no se puede resumir en un sólo indicador o índice numérico, sino que se asegura mediante la acumulación de evidencias sobre la validez de las puntuaciones del test. La validación es un proceso continuo y dinámico Basado en la búsqueda de diferentes tipos de evidencias que apoyen el uso e interpretación de sus puntuaciones. 3. Evidencias de validez Las fuentes de evidencia que pueden usarse al evaluar la interpretación válida de las puntuaciones del tests son [AERA] et al., 2014: Evidencias basadas en el contenido Evidencias basadas en la estructura interna del test Evidencias basadas en la relación con otras variables Evidencias basadas en el proceso de respuesta Evidencias basadas en las consecuencias de aplicación del test EVIDENCIAS INTERNA (ítems) Contenido ¿Qué mide realmente el test? Estructura interna Análisis factorial EXTERNA (test) ¿Sirve el test para predecir? Relación con otras variables V. convergente-discriminante Correlación V. referida al criterio Regresión lineal Constructo: atributo de las personas, que se supone se refleja en el rendimiento de los tests. Es lo que se pretende medir y el marco conceptual en el que se interpretan las puntuaciones de los tests. VALIDEZ INTERNA (ÍTEMS) Evidencias basadas en el contenido del test Objetivo: • Garantizar que la muestra de ítems es relevante y representativa del constructo (dominio): Basado en el uso de jueces y expertos que evalúan grado en el que el dominio está bien definido y el grado en el que el test lo representa bien. Dominio Item Ajuste académico Asisto a clase regularmente 1 2 3 4 5 6 Estoy satisfecho con las materias de este curso 1 2 3 4 5 6 Me siento nervioso 1 2 3 4 5 6 No duermo bien 1 2 3 4 5 6 Ajuste personal • Considerar factores contextuales: formato de respuesta, tipo de tarea exigida, instrucciones de administración y corrección, familiaridad… VALIDEZ INTERNA (ÍTEMS) Evidencias basadas en la estructura interna del test Objetivo: • Determinar el nº de dimensiones, factores que mide el test (modelo teórico) Validez de Constructo (grado en que los ítems evalúan el constructo o los dominios del mismo) Análisis Factorial Razonamiento espacial Razonamiento verbal Razonamiento numérico Test de razonamiento VALIDEZ EXTERNA (TEST) Evidencias basadas en la relación con otras variables Validez convergente/discriminante Objetivo: • Analizar la relación del test con otros tests que midan el mismo/similar constructo (validez convergente) o constructos diferentes (validez discriminante) Correlación (Matriz multirasgo-multimétodo) Test A B (=) Test A B (=) 0,62** C (≠) 0,19 0,17 C (≠) VALIDEZ EXTERNA (TEST) Validez referida al criterio (predictiva) Objetivo: • Analizar la relación del test (X) con algún criterio (Y) que se espere pronostique el test Correlación y regresión lineal Rxy =, 42 , p<,001 Preguntas 1) Indica qué tipo de evidencia corresponde a los siguientes procedimientos utilizados para validar un test de comprensión verbal. a) Se obtiene la correlación entre el test y las calificaciones sobre habilidad verbal realizadas por unos profesores. b) Se aplica un análisis factorial para determinar el agrupamiento de ítems. c) Un grupo de expertos evalúan si los ítems cubren todos los aspectos relevantes que se quieren evaluar. 2) Indica qué procedimiento estadístico utilizarías para examinar las siguientes propiedades de las puntuaciones de un test. a) Fiabilidad como consistencia interna b) Fiabilidad como estabilidad temporal c) Validez referida al criterio d) Validez de constructo Indica la respuesta correcta: 1) La validez de contenido de un instrumento de evaluación se refiere a: 1. Las evidencias obtenidas mediante análisis factoriales. 2. La concurrencia de medidas. 3. La adecuación en el establecimiento de inferencias 4. La relevancia y la representatividad de sus ítems. 5. Las relaciones significativas con otras medidas. 2) Si obtenemos altas correlaciones entre las puntuaciones de un test y las puntuaciones de otra medida del mismo constructo, obtenemos evidencia de validez: 1. Concurrente 2. Predictiva 3. Convergente 4. Discriminante 5. De contenido 3) Señale qué afirmación es correcta en relación a la validez factorial de un test: 1. La validez factorial es un tipo de validez predictiva. 2. La validez factorial es un tipo de validez de constructo. 3. La validez factorial es un tipo de validez discriminante. 4. La validez factorial es un tipo de validez convergente. 5. La validez factorial es un tipo de validez atenuada. 4) Cuando tenemos un criterio verdadero a la hora de la construcción de una prueba, prioritariamente, deberíamos utilizar la validez: 1. De contenido. 2. Predictiva y/o concurrente. 3. De constructo. 4. Discriminante. 5. Convergente. 5) Se considera un indicador de la estabilidad de las medidas: 1. La validez de constructo 2. La validez predictiva. 3. La validez de contenido. 4. La validez de control. 5. La fiabilidad. 6) Lo que mide el test y hasta que punto lo hace es la información que proporciona: 1. El criterio 2. La validez 3. La fiabilidad 4. Las normas 5. La consistencia interna Preguntas 1 2 3 4 5 6 R correcta 4 3 2 2 5 2