clases control 2.pdf

Medición Educacional Medición Educacional De respuestas a medición Tenemos (AERA, APA, NCME, 2014): “Constructo”: El concepto o características que un test está diseñado para medir” “Item”: Una a rmación, pregunta, pregunta, ejercicio o tarea en un test en el que el participante deb...

Medición Educacional Medición Educacional De respuestas a medición Tenemos (AERA, APA, NCME, 2014): “Constructo”: El concepto o características que un test está diseñado para medir” “Item”: Una a rmación, pregunta, pregunta, ejercicio o tarea en un test en el que el participante debe seleccionar o construir una respuesta o desempeñar una tarea” “Puntaje bruto”: El puntaje de un test el cual es calculado contando el número de respuestas correctas, o en general, la suma u otra combinación de puntajes de los item” fi Medición Educacional De respuestas a medición Supongamos un test que: Tenga una solida de nición de constructo Tenga un detallado blueprint Los ítems construidos adhieren al blueprint y al constructo La administración del test ocurre sin inconvenientes Todos los participantes cooperan y se esfuerzan en responder Las respuestas son registradas libre de errores fi Medición Educacional De respuestas a medición P/I i1 i2 i3 i4 i5 i6 i7 i8 i9 i10 P1 0 0 0 0 0 0 0 0 0 1 P2 0 0 0 0 0 0 0 1 1 0 P3 0 0 0 0 0 0 1 1 1 0 P4 0 0 0 0 0 1 1 1 1 0 P5 0 0 0 0 1 1 1 1 1 0 P6 0 0 0 1 1 1 1 1 1 0 P7 0 0 1 1 1 1 1 1 1 0 P8 0 1 1 1 1 1 1 1 1 0 P9 1 1 1 1 1 1 1 1 1 0 Medición Educacional De respuestas a medición P/I i1 i2 i3 i4 i5 i6 i7 i8 i9 i10 PB P1 0 0 0 0 0 0 0 0 0 1 1 P2 0 0 0 0 0 0 0 1 1 0 2 P3 0 0 0 0 0 0 1 1 1 0 3 P4 0 0 0 0 0 1 1 1 1 0 4 P5 0 0 0 0 1 1 1 1 1 0 5 P6 0 0 0 1 1 1 1 1 1 0 6 P7 0 0 1 1 1 1 1 1 1 0 7 P8 0 1 1 1 1 1 1 1 1 0 8 P9 1 1 1 1 1 1 1 1 1 0 9 Medición Educacional De respuestas a medición P/I i1 i2 i3 i4 i5 i6 i7 i8 i9 i10 PB P1 0 0 0 0 0 0 0 0 0 1 1 P2 0 0 0 0 0 0 0 1 1 0 2 P3 0 0 0 0 0 0 1 1 1 0 3 P4 0 0 0 0 0 1 1 1 1 0 4 P5 0 0 0 0 1 1 1 1 1 0 5 P6 0 0 0 1 1 1 1 1 1 0 6 P7 0 0 1 1 1 1 1 1 1 0 7 P8 0 1 1 1 1 1 1 1 1 0 8 P9 1 1 1 1 1 1 1 1 1 0 9 Total 1 2 3 4 5 6 7 8 8 1  Medición Educacional De respuestas a medición Discriminación: “It is the extent to which items discriminate among trainees in the high and low groups” (McCowan & McCowan, 1993). “determines whether the people who have done well on particular items have also done well on the whole test” (Kaplan, 2005). “How do responses to an item relate to the total test score?” (Kline, 2005) Di cultad: “For a test that measures achievement or ability, item di culty is de ned by the number of people who get a particular item correct” (Kaplan, 2005) “The proportion of individuals who endorse or pass a dichotomous item” (Kline, 2005). fi ffi fi Medición Educacional De respuestas a medición P/I i1 i2 i3 i4 i5 i6 i7 i8 i9 i10 PB P1 0 0 0 0 0 0 0 0 0 1 1 P2 0 0 0 0 0 0 0 1 1 0 2 P3 0 0 0 0 0 0 1 1 1 0 3 P4 0 0 0 0 0 1 1 1 1 0 4 P5 0 0 0 0 1 1 1 1 1 0 5 P6 0 0 0 1 1 1 1 1 1 0 6 P7 0 0 1 1 1 1 1 1 1 0 7 P8 0 1 1 1 1 1 1 1 1 0 8 P9 1 1 1 1 1 1 1 1 1 0 9 Total 1 2 3 4 5 6 7 8 8 1 % 0.11 0.22 0.33 0.44 0.56 0.67 0.78 0.89 0.89 0.11 Medición Educacional De respuestas a medición P/I i1 i2 i3 i4 i5 i6 i7 i8 i9 i10 PB P1 0 0 0 0 0 0 0 0 0 1 1 P2 0 0 0 0 0 0 0 1 1 0 2 P3 0 0 0 0 0 0 1 1 1 0 3 P4 0 0 0 0 0 1 1 1 1 0 4 P5 0 0 0 0 1 1 1 1 1 0 5 P6 0 0 0 1 1 1 1 1 1 0 6 P7 0 0 1 1 1 1 1 1 1 0 7 P8 0 1 1 1 1 1 1 1 1 0 8 P9 1 1 1 1 1 1 1 1 1 0 9 Total 1 2 3 4 5 6 7 8 8 1 % 0.11 0.22 0.33 0.44 0.56 0.67 0.78 0.89 0.89 0.11 r_ij 0.55 0.72 0.82 0.87 0.87 0.82 0.72 0.55 0.55 -0.55 Medición Educacional Teoría Clásica de Medición (AERA, NCME, APA 2014) “Teoría Clásica de Medición”: Teoría psicométrica basada en la visión de que los puntajes observados de un individuo en un test son la suma de los componentes puntaje verdadero y un componente de error aleatorio independiente. Medición Educacional Teoría Clásica de Medición (AERA, NCME, APA 2014) “Teoría Clásica de Medición”: Teoría psicometrica basada en el visión de que los puntajes observados de un individuo en un test es la suma de ls componentes de puntaje verdadero por el participante y un componente de error aleatorio independiente. Xik = Ti + Ei Medición Educacional De respuestas a medición P/I i1 i2 i3 i4 i5 i6 i7 i8 i9 i10 PB P1 0 0 0 0 0 0 0 0 0 1 1 P2 0 0 0 0 0 0 0 1 1 0 2 P3 0 0 0 0 0 0 1 1 1 0 3 P4 0 0 0 0 0 1 1 1 1 0 4 P5 0 0 0 0 1 1 1 1 1 0 5 P6 0 0 0 1 1 1 1 1 1 0 6 P7 0 0 1 1 1 1 1 1 1 0 7 P8 0 1 1 1 1 1 1 1 1 0 8 P9 1 1 1 1 1 1 1 1 1 0 9 Medición Educacional Teoría Clásica de Medición (AERA, NCME, APA 2014) La variable aleatoria error de medición es un componente de la variable aleatoria puntaje observado (ambas son variables latentes) El puntaje observado es el resultado de medir un atributo individual en una población de nida La covarianza entre error de medición y puntaje observado es cero El error de medición de un puntaje observado es independiente del error de otros puntajes observados, ya sea del mismo o diferente atributo El error de medición tiene una distribución normal: “simétrica con tendencia a agruparse en su valor verdadero” fi Medición Educacional Teoría Clásica de Medición (AERA, NCME, APA 2014) Limitaciones: No diferencia fuentes de error sistemático (Shavelson and Webb, 2005). Supuesto de tests paralelos fuerte: ítems poseen mismo promedios observados, varianzas, y covarianzas (Shavelson & Webb, 2005; Hambleton, 1991) Centrado en decisiones relativas (Shavelson & Webb, 2005). Características de los ítems son dependientes del grupo (Hambleton, 1991) Los puntajes que describen la habilidad de los participantes son dependientes del test (Hambleton, 1991). Provee estimación de con abilidad/precisión a nivel del test y no del puntaje de habilidad (Hambleton, 1991). Está especi cado a nivel del test por oposición de a nivel de la respuesta (Hambleton, 1991). fi fi  Medición Educacional Modelos de Medición (Psicometría) Paralelo: ítems son homogéneos en di cultad, discriminación, y error para ítem k e individuo i Xik = Ti + Ei Tau equivalente: ítems son homogéneos en di cultad y discriminación, pero tienen distinto error (E). Los errores son independientes, para Xik = Ti + Eik ítem k e individuo i Esencialmente tau-equivalente: cada puntaje verdadero (T) varía por una misma constante (di cultad) entre participantes, para ítem k e Xik = (αk + Ti) + Eik individuo i Congenerico: ítems son heterogéneos en di cultad, discriminación y error (E). Los Xik = (αk + [βkTi]) + Eik errores son independientes, para ítem k e individuo i fi fi fi fi Modelo de Rasch  (βi−δj) e P(Xij = 1 | βi, δj) = (βi−δj) 1+e  Pij ( 1 − Pij ) loge = βi − δj Medición Educacional Modelo de Rasch Contestar un ítem posee dos opciones: correcto (éxito) o incorrecto (fracaso). La habilidad de un participante es medida cuando la probabilidad de éxito en un ítem es de 0.5 La relación entre exito/fracaso (VI) y di cultad (VD) puede describirse con una regresión logistica. fi Medición Educacional Modelo de Rasch  Medición Educacional Modelo de Rasch Un estudiante con habilidad cero tiene una probabilidad de 0.5 de contestar con éxito un ítem con di cultad cero y una probabilidad de 0.5 de fracaso fi  Medición Educacional Modelo de Rasch Un estudiante con habilidad -2 tiene una probabilidad de algo más de.10 de contestar con éxito un ítem con di cultad cero y una probabilidad de.90 de fracaso fi  Medición Educacional Modelo de Rasch Qué pasa cuando la habilidad del estudiante es +2? ¿Qué probabilidad tiene el estudiante de contestar correctamente un ítem con diicultad cero? Medición Educacional Modelo de Rasch Contestar un ítem posee dos opciones: correcto (éxito) o incorrecto (fracaso). La habilidad de un participante es medida cuando la probabilidad de éxito en un ítem es de 0.5 La relación entre exito/fracaso (VI) y di cultad (VD) puede describirse con una regresión logistica. fi Medición Educacional Modelo de Rasch Cuando la habilidad del participante es equivalente a la di cultad del ítem, la probabilidad de contestar correctamente es siempre.5 Cuando la habilidad del participante es superior a la di cultad del ítem en 1 unidad (logit), la probabilidad de contestar correctamente es siempre.73 Cuando la habilidad del participante es inferior a la di cultad del ítem en 1 unidad (logit), la probabilidad de contestar correctamente es siempre.23 fi fi fi  “Lo único que determina la probabilidad de éxito o fracaso al contestar un ítem es la distancia en el continuo de Rasch entre la habilidad de la persona y la dificultad del ítem”  Medición Educacional Modelo de Rasch Rasch es una función probabilistica: Sí 100 estudiantes de habilidad cero contestan un item de di cultad cero, el modelo predecirá que 50 contestarán correctamente y 50 incorrectamente. Sí un estudiante de habilidad cero contesta 100 ítems de di cultad cero, el modelo predicirá que 50 serán correctos y 50 incorrectos. fi fi  Medición Educacional Modelo de Rasch La VD es habilidad y la VI es di cultad, pero ambas son incognitas. La di cultad de un ítem resulta de compararlo relativamente con otros ítems. La di cultad del ítem es indepediente de la habilidad de los participantes. Se debe crear una referencia arbitraria para asignar valores a la di cutad del ítem: centrar la di cultad de los ítems a cero (típico). Luego de estimar las di cultades, se puede estimar la habilidad de los participantes. Rash asume que los ítems son independientes entre sí. fi fi fi fi fi fi Medición Educacional Modelo de Rasch En resumen: El puntaje bruto (TCM) no toma en cuenta la di cultad de los ítems. La interpretación del puntaje bruto depende de la di cultad de esos ítems. Rasch usa el número de respuestas correctas y la di cultad de los ítems para estimar la habilidad. Los puntajes Rasch se pueden interpretar independientemente de la di cultad de los ítems, incluso si se administra un subconjuto distinto de ítems. fi fi fi fi Medición Educacional De respuestas a medición P/I i1 i2 i3 i4 i5 i6 i7 i8 i9 i10 PB P1 0 0 0 0 0 0 0 0 0 1 1 P2 0 0 0 0 0 0 0 1 1 0 2 P3 0 0 0 0 0 0 1 1 1 0 3 P4 0 0 0 0 0 1 1 1 1 0 4 P5 0 0 0 0 1 1 1 1 1 0 5 P6 0 0 0 1 1 1 1 1 1 0 6 P7 0 0 1 1 1 1 1 1 1 0 7 P8 0 1 1 1 1 1 1 1 1 0 8 P9 1 1 1 1 1 1 1 1 1 0 9 Total 1 2 3 4 5 6 7 8 8 1 % 0.11 0.22 0.33 0.44 0.56 0.67 0.78 0.89 0.89 0.11 r_ij 0.55 0.72 0.82 0.87 0.87 0.82 0.72 0.55 0.55 -0.55  (βi−δj) e P(Xij = 1 | βi, δj) = (βi−δj) 1+e Medición Educacional Modelo de Rasch Wright (2005) sobre el modelo de Rasch Mediciones deben ser lineares, tal que se puedan realizar operaciones aritméticas con ellas. La calibración de los ítems no debe depender de las respuestas que se usan para estimar, deben ser independientes de la muestra. Las mediciones de las personas no deben depender de los ítems que se administraron en una ocasión, deben ser independientes del test. Los datos perdidos no deben de ser relevantes. El método debe ser simple de emplear  Medición Educacional Modelo de Rasch Wright Map Di cultades y habilidades expresadas en logits puede representarse visualmente fi Confiabilidad Medición Educacional Con abilidad 2 σT ρX =. σ2X fi “ El coeficiente de correlación entre administraciones del mismo test” “El coeficiente de correlación entre tests comparables” Medición Educacional Con abilidad “Con abilidad-precisión”: el grado en el que los puntajes de los test para un grupo de participantes son consistentes sobre aplicaciones repetidas de un procedimiento de medición, y por tanto se in ere son ables y consistentes para un participante”. El grado en que los puntajes están libres de error aleatorio para un grupo determinado. fi fi fi fi Medición Educacional Con abilidad “Error aleatorio”: un componente de los puntajes de un test que parece no tener relación con otras variables. “Coe ciente de consistencia interna”: un índice de con abilidad de los puntajes de test derivada de la inter-relación estadística entre respuestas a los ítems o puntajes en partes separadas de un test. “Error de medición”: la diferencia entre puntaje observado y el correspondiente puntaje verdadero. “Con abilidad-precisión”: el grado en el que los puntajes de los test para un grupo de participantes son consistentes sobre aplicaciones repetidas fi fi fi fi  Medición Educacional Con abilidad “Coe ciente Alpha”: un coe ciente de consistencia interna basado en el numero de partes en el que un test está dividido (items, subitems, jueces), las inter-relaciones entre las partes, y la varianza total de los puntajes. Es una función del número de ítems y la Inter-relación promedio entre ítems k k ∑j=1 var(xj) α= 1− k−1 var(x0) k = número de ítems; xj = item j; x0 = puntaje del test fi fi fi Medición Educacional Con abilidad 2 σT ρX =. σ2X fi  Medición Educacional Con abilidad Supuestos de alpha de Cronbach: Test con ítems dicotómicos Ítems tienen la misma varianza Ítems de di cultad homogénea. Coe cientes de correlación inter-ítem iguales Matriz con ranking 1 (unidimensional) fi fi fi Medición Educacional Con abilidad Mitos alpha de Cronbach (Hoekstra, 2018): Alpha es igual a la a la con abilidad de los puntajes de un test Alpha es independiente del número de ítems de un test Alpha es indicador de la dimensionalidad de un test Alpha es la mejor elección para estimar la con abilidad de un test Hay un nivel de Alpha que es deseable Si remover un ítem mejora el alpha, el test es mejor sin ese ítem fi fi fi Error estándar de medición Medición Educacional Error estándar de medición “Error de medición”: la diferencia entre puntaje observado y el correspondiente puntaje verdadero. “Error estándar de medición”: La desviación estándar de un puntaje individual observado a partir de identicas replicaciones de un test bajo las mismas condiciones. Cómo esos datos usualmente no pueden recolectados, se calcula a partir de datos grupales. SEM = S 1 − rxx Medición Educacional Error estándar de medición Uso: S = Desviación estandar = 3.17 rxx = Con abilidad = 0.88 SEM = S 1 − rxx = 3.17 1 −.88 = 1.098 fi Medición Educacional Error estándar de medición Uso: intervalos de con anza Puntaje individual = 92 SEM = 2.5 IC 95% 95 % IC = [x − 2 * SEM, x + 2 * SEM] 95 % IC = [92 − 2 * 2.5,92 + 2 * 2.5] = [87,97] fi