Fundamentos Test.pdf

Ejecución Máxima Miden: Inteligencia Aptitudes Habilidades Comportamiento Típi...

Ejecución Máxima Miden: Inteligencia Aptitudes Habilidades Comportamiento Típico Evalúan: Motivación Tipos de Actitudes Personalidad Test Referidos a Criterio Miden: Logros de objetivos específicos en áreas educativos. Respuesta Típica Incluyen: Técnicas Proyectivas Métodos de evaluación: Personalidad Comportamiento Habitual  Procedimiento Estándar para Construir un Test Delimitación del dominio del test, características de la población objetivo y estructura formal del test, incluyendo instrucciones, contenido y formato de respuesta a los ítems. 01 02 03 04 REDACCIÓN REVISIÓN ANÁLISIS ELABORACIÓN Elaboración de los Análisis de las materiales definitivos propiedades Redacción de los Revisión de los ítems de prueba (manual, psicométricas de los ítems por expertos cuadernillo de ítems, ítems y/o escalas de hojas de respuestas) tests  Metodología Desarrollo de Test Psicológicos Revisión de la literatura: Consulta a expertos: Focus groups: Conceptualización 01 Revisión de tests existentes y Para recopilar ideas sobre Centrados en entender las del Test teorías que fundamenten el qué y cómo medir perspectivas y necesidades de diseño del nuevo test potenciales evaluados. Desarrollo de ítems: Prueba piloto: Mecanismos de Feedback: Especificar 02 Estructura y Creación de preguntas e ítems del Administrar una versión del test a un test o metas, deben estar alineados grupo pequeño para determinar su Recibir feedback de participantes y expertos para mejorar los ítems del Formato a los objetivos del test claridad y relevancia test y el formato Análisis estadísticos: Estudios de normalización: Test de Confiabilidad: Planificar la 03 Estandarización y Estudios Psicométricos Análisis factorial para evaluar la estructura y el desempeño de los Para establecer las normas para Test-retest o de consistencia interna comparar los puntajes individuales de para evaluar la estabilidad del test en ítems grupos representativos el tiempo Paso final: Entrenar administradores, Realizar 04 Implementación del plan estudios longitudinales para evaluar la validez y aplicabilidad en diferentes contextos  Variables y Constructos DEFINICIÓN DEL PROBLEMA: Identificar claramente el CUANTITATIVAS IMPORTANCIA EN PSICOMETRIA fenómeno o comportamiento VARIABLES Ejemplos: inteligencia, Esenciales para la construcción y que se desea estudiar. EJM: peso análisis de test psicológicos. Ansiedad, Inteligencia Característica o propiedad Permiten comparar diferentes emocional, Satisfacción que varía entre individuos o laboral aspectos del comportamiento situaciones y puede ser CUALITATIVAS humano medida. Ejemplos: personalidad, género REVISIÓN DE LA LITERATURA: Revisión de estudios previos y teorías existentes sobre el USO E IMPORTANCIA VALIDEZ DEFINICIONES CONCEPTUALES: fenómeno. Ayuda a entender Medir aspectos específicos Ajustadas y rigurosas del CONSTRUCTO constructo o dominio de como se ha medido el del comportamiento humano constructo Representación a través de tests psicológicos interés abstracta de un conjunto La validez de un test depende de comportamientos de qué tan bien representa y CONCEPTUALIZACIÓN: mide el constructo que ELECCION relacionados como la pretende evaluar. INDICADORES OPERACIONALES: CONSTRUCTO EN PSICOMETRIA Definir el constructo de Selección adecuada para manera clara y precisa. Esto depresión y aptitud medir el constructo incluye identificar matematica componentes y dimensiones ¿COMO SE DEFINE UN INCLUSIÓN DE DIMENSIONES CONSTRUCTO? IMPORTANTES: Asegurando que todas las DESARROLLO DE INDICADORES: sub-habilidades o Desarrollar indicadores aspectos relevantes estén observables que representen representados el constructo  DIFERENCIA ENTRE VARIABLES Y CONSTRUCTOS VARIABLES CONSTRUCTOS Son propiedades observables No son observables directamente Pueden ser medidas de manera Requieren indicadores operacionales directa para su medición Tienen menos ambigüedades y Pueden tener definiciones ambiguas errores de medición y empíricas Se observa una equivalencia clara en No siempre hay isomorfismos entre las operaciones de medida y las los sistemas de medida y las magnitudes de la propiedad propiedades a medir (Isomorfismo)  Pasos para elaborar indicadores operacionales OPERACIONALES 1 ¿Qué son? Definición del Establecer claramente el objetivo que evaluará INDICADORES la prueba, EJ: habilidad de comprensión Propiedades observables que están objetivo lectora. legalmente ligadas a otras Describir en términos de conductas observables. Indicadores operacionales observables los objetivos a ser evaluados. EJ: del objetivo Resumir adecuadamente un texto breve. Ejemplo: la concentración de noradrenalina en la sangre puede ser Definir características de la situación en la que un indicador del estrés. Especificación de la se evaluará, como seleccionar las ideas situación de evaluación principales de un texto. Problemas en Especificar la respuesta esperada del 2 Psicología Características de las respuestas evaluado, como seleccionar correctamente las ideas principales. Los constructos psicológicos y sus indicadores, no están claramente definidos por teorías científicas, lo que hace que la medición sea empírica y ambigua. Ejemplo: Indicadores como el movimiento rápido del ojo pueden ser utilizados para medir el sueño.  DOMINIO DE COMPORTAMIENTO Conjunto específico de conductas o tareas que un test pretende evaluar. DEFINICIÓN DE INDICADORES ESPECIFICACIÓN CARACTERISTICAS OBJETIVOS OPERACIONALES DE DOMINIO DE LAS RESPUESTAS ¿Qué medirá el test? Descripción de las Delimita el universo de (habilidades o situaciones a evaluar, Especificar la respuesta conductas observables que conocimientos) dividiéndolo en unidades esperada del evaluado. representan la habilidad. Establece los objetivos que más pequeñas y definidas. Ejemplo: Seleccionar Ejemplo: Resumir evaluará la prueba. Ejemplo: En un texto científico, correctamente las ideas adecuadamente un texto Ejemplo: Habilidad de seleccionar y parafrasear las principales de un texto. breve. comprensión lectora (entender ideas principales. mensajes literales en un texto). Finalidad y población meta: Ejemplo: Inventario de Diferencias autoinforme para niños. Dominio Constructo Aspectos Modo de aplicación: Individual o colectivo. El área específica de contenido Característica psicológica o Complementarios del es el conjunto de conocimientos Formato de respuesta: Especificación del formato, atributo que no es directamente Test y habilidades que se pretende observable, pero se infiere a tiempo de administración, etc. medir, más concreto y través de comportamientos específico que los constructos, observables. Se miden Instrucciones y calificación: Incluir modo de administración, y se mide directamente. indirectamente: Ejemplos: calificación e interpretación de respuestas (puntuaciones Ejemplo: conceptos y Ansiedad, autoestima. originales, transformadas, etc.) habilidades matemáticas. FORMULACIÓN (FUNCIÓN) O REDACCIÓN B 01. Estructura Inician con un verbo en infinitivo. 01. Base Cada objetivo debe contener un solo verbo. Enfocarse en el resultado deseado, no en el medio o J Para la toma de decisiones la persona que realiza el trabajo. Enunciados claros y centrados en una acción observable. Responden a: ¿Qué se desea obtener como resultado E con la aplicación del test? 02. Describen 02. Claridad y especificidad Los aspectos a estudiar Deben ser específicos y claros respecto al resultado T esperado. Comprensibles para cualquier persona sin dudas sobre lo que se pretende conocer o resolver. I 03. Definen 03. Condiciones y pasos El grado de conocimiento a Describir las condiciones para lograr el resultado o los pasos necesarios. alcanzar y orientan el proceso V Permitir a un lector externo comprender cómo se de medición abordará el constructo o dominio y bajo qué circunstancias se logrará el efecto, resultado, tarea o comportamiento. O 04. Nivel de logro (opcional) Indicar el nivel de logro en términos operativos. Especificar unidades de medida y criterios de S eficiencia para evaluar la ejecución o realización de la tarea.  Construcción de los Test Identificación de la finalidad o propósito Delimitación del objetivo del test: constructo o dominio que se pretende medir. Población a la que va destinado. Tipos de decisiones que se tomarán con las puntuaciones: diagnóstico, selección, Decidir si los ítems serán para corrección automatizada o asignación, clasificación, consejo, screening. respuestas construidas. Formatos de respuesta según Bennett (1993): Restricciones para la aplicación Elección múltiple (3-5 respuestas) Condicionantes del desarrollo del test dentro de límites Selección/identificación prácticos. Ordenación de material estimulante a. Tiempo de aplicación: Debe ser limitado y alineado Sustitución/corrección con la extensión del test. Completación b. Modalidad de aplicación: Individual, colectiva, online, Especificaciones Construcción (dibujo) digital, etc. Considerar instrucciones, materiales, ayudas del formato de Presentación permitidas, número de intentos, etc. c. Materiales y restricciones: Asegurar que no afecten 01 los ítems y Determinación del formato: 02 Rendimiento, inteligencia, aptitudes: Formatos dicotómicos factores irrelevantes para el constructo. reglas de (V/F, Sí/No, 3 a 6 alternativas) Personalidad: Dicotomías (Sí/No) o escalas graduadas (4-6 Marco del test o mapa del constructo Fases puntuación grados) Escalas graduadas: Likert, diferencial semántico, análogo a. Definición del constructo: Variable latente que se pretende medir. 03 05 visual. Consideraciones sobre los formatos: b. Especificación de conductas observables: Que revelen el constructo o dominio. 04 Dicotómicos: Puntuaciones sesgadas, menor tiempo de respuesta, reducen la varianza de la escala. c. Determinación de tareas y situaciones: Para obtener Graduados: Decidir el número de puntos (3-9), impar permite dichas conductas. punto medio, par fuerza discriminación. Fuentes para especificar el dominio: Preguntas abiertas, Escritura de los ítems: revisión de investigaciones, observación, entrevistas, Claridad, evitar ambigüedades, redacción adecuada a la juicios de expertos. población objetivo. En test educativos, conductas representativas se eligen a Usar ítems positivos y negativos para evitar sesgos de partir del currículo o consenso de expertos. Especificaciones derivadas del marco respuesta. Revisión de los ítems: Identificación conductas concretas, destrezas o conocimientos a evaluar Revisar desde diferentes perspectivas: Determinación de la dificultad, fiabilidad y errores típicos de medida. Expertos en contenido (constructo) Realizar un muestreo representativo de los ítems. Población objetivo (uso del lenguaje) Selección de los ítems más apropiados mediante revisión y estudio piloto. Expertos en psicometría (metodología).  REDACCIÓN Y CONSTRUCCIÓN DE ÍTEMS EN TESTS PSICOLÓGICOS 1 REDACCIÓN 2 3 ESTUDIO PILOTO Propósitos: 4 ESTUDIO DE CAMPO General Probar el funcionamiento Congruencia con el objetivo de CONSTRUCCIÓN DE Propósito: Aplicar el test a del test y mejorar la una muestra representativa medición. PRUEBAS DE versión definitiva. (grupo normativo) para Máximo de 20 vocablos. OPCIONES MÚLTIPLES Evaluar propiedades interpretar puntuaciones. Lenguaje adecuado a la Estructura: Pasos: estadísticas del test población meta. Enunciado/base y alternativas de respuesta. a. Selección de la Redacción del enunciado: completo. Oraciones sencillas y no muestra. Contener un esquema de indagación completa. Realización: ambiguas. b. Aplicación del test. Redacción en positivo. Incluir solo lo necesario para la comprensión. Usar una muestra similar c. Estimación de fiabilidad, Evitar frases con doble Evitar enunciados negativos, a menos que a la población objetivo. validez, estructura refuercen el aprendizaje. Evaluar comprensión, interna, etc. negación y expresiones Incluir conceptos en la base, descripciones en tiempos, y analizar extremas (Siempre, nunca, alternativas. todos). estadísticamente ítems. Evitar contenidos triviales y asegurar Errores comunes en la redacción claridad. Examinar posibles sesgos (Nunnally, 1991): Redacción de alternativas: en grupos. Ambigüedad: Preguntas vagas Una opción correcta, acompañada de ELABORACIÓN DEL MANUAL con múltiples interpretaciones. Trivialidad: Aspectos poco distractores plausibles. Gramaticalmente semejantes. 5 DEL TEST Y SUS REVISIONES Contenido del manual: importantes del constructo. Tres alternativas son suficientes. Lenguaje técnico o no Evitar que la correcta sea más larga. Fundamentación teórica del constructo o dominio. cotidiano. Colocación aleatoria de la opción correcta. Usos y poblaciones destinatarias. Asegurar igualdad en especificidad entre la Instrucciones de administración. Ítems multidimensionales correcta e incorrectas. Coeficientes de fiabilidad y evidencias de validez. (varios aspectos del Evitar ítems que ayuden a responder otros. Normas y sugerencias de interpretación. constructo). Revisión periódica: Actualización de normas y validez del test para su uso actual.