Tema 4. La validez en una investigación (Propio) PDF

Introducción a la Investigación↝Isabel Bañuelos de la Hera  Introducción a la Investigación↝Isabel Bañuelos de la Hera Índice 4.1 Introducción y objetivos 4.2 La validez y sus tipos 4.3 Validez interna 4.4 Validez externa 4.5 La validez del constructo 4.6 La validez...

Introducción a la Investigación↝Isabel Bañuelos de la Hera  Introducción a la Investigación↝Isabel Bañuelos de la Hera Índice 4.1 Introducción y objetivos 4.2 La validez y sus tipos 4.3 Validez interna 4.4 Validez externa 4.5 La validez del constructo 4.6 La validez de las conclusiones estadísticas 2 Introducción a la Investigación↝Isabel Bañuelos de la Hera 3  Introducción a la Investigación↝Isabel Bañuelos de la Hera 4.1 Introducción y objetivos En este tema conoceremos como se operativiza la calidad de una investigación. El concepto de validez puede referirse a cuatro tipos: interna, externa, de constructo y de las conclusiones estadísticas. En este tema definiremos y estudiaremos sus principales amenazas, ofreciendo soluciones para cada una de ellas. La validez interna se refiere a la seguridad de que nuestros resultados solo dependen de las variables que hemos manipulado. En cambio, la validez externa está relacionada con la capacidad de generalizar los resultados encontrados en nuestro estudio. La validez de constructo se refiere a la congruencia entre los resultados del estudio y las bases teóricas que requería la investigación. Por último, la validez de conclusiones estadísticas está relacionada con la seguridad de nuestros análisis. El contenido de este tema supone una adaptación de la obra de Martínez-Arias et al. (2014). Una vez terminado este tema seremos capaces de: 1.​ Diferenciar los diferentes tipos de validez. 2.​ Conocer el concepto de validez interna y sus amenazas. 3.​ Conocer el concepto de validez externa y sus amenazas. 4.​ Conocer el concepto de validez de constructo y sus amenazas. 5.​ Conocer el concepto de validez de conclusiones estadísticas y sus amenazas. 4  Introducción a la Investigación↝Isabel Bañuelos de la Hera 4.2 La validez y sus tipos El propósito de la investigación es descubrir de manera válida y fiable las relaciones entre variables. Para estar seguros de la veracidad de estos descubrimientos necesitamos estudios de calidad. La calidad de una investigación y de las conclusiones que de ella se extraen se denomina validez o validez experimental. Entendemos por validez «un juicio integrador sobre el grado en que las evidencias derivadas de los resultados apoyan las inferencias o conclusiones extraídas de la misma» (Campbell y Stanley, 1966, p. 66). Según Campbell y Stanley (1966) existían dos tipos de validez: la validez interna y la validez externa. Posteriormente, se detectó la necesidad de ampliar los tipos de validez, incluyendo la validez de constructo y la validez de las conclusiones estadísticas (Cook y Campbell, 1979). 5  Introducción a la Investigación↝Isabel Bañuelos de la Hera 4.3 La validez interna La validez interna de un diseño es su capacidad para eliminar o hacer implausibles las explicaciones alternativas de los resultados, demostrando que la variable independiente (VI) estudiada es la responsable de los cambios encontrados en la variable dependiente (VD) o de los resultados del estudio. Las posibles explicaciones alternativas son lo que podemos denominar hipótesis alternativas de los resultados, diferentes de las hipótesis originales. Todos aquellos aspectos que pueden influir o explicar los resultados del estudio y que no son alguna de las variables independiente (VI) analizadas en el estudio, se denominan amenazas a la validez interna. Los investigadores interesados en establecer relaciones causales debemos plantear un diseño en que se minimicen o eliminen estas amenazas (Lesko et al., 2020). Las principales fuentes de sesgo o amenazas a la validez interna se presentan a continuación. - Selección diferencial de sujetos (sesgos de selección) Esta amenaza se refiere a las diferencias sistemáticas entre los grupos antes de que tenga lugar la intervención o manipulación experimental. Los efectos de la variable independiente solamente pueden inferirse si existe seguridad de que los grupos son equivalentes, ya que diferencias en los resultados podrían explicarse por estas diferencias iniciales. Es la amenaza más obvia a la validez interna. Se controla mediante la asignación aleatoria de los sujetos a las condiciones experimentales, típica de los experimentos. La amenaza está presente en aquellas investigaciones en las que el investigador no puede llevar a cabo este tipo de asignación aleatoria (diseños cuasiexperimentales y observacionales) Hay que tener en cuenta que, por motivos éticos, o de otra índole, no siempre es posible la asignación aleatoria de los sujetos a los diferentes grupos de intervención. 6  Introducción a la Investigación↝Isabel Bañuelos de la Hera - Historia Esta amenaza se refiere a cualquier suceso que tiene lugar durante el transcurso del experimento, sea dentro o fuera del mismo, que pueda explicar los resultados. Pueden ser sucesos que afectan a la vida diaria de los participantes (en su vida personal, sentimental, laboral...). Cuando el experimento se realiza a lo largo de un período de tiempo prolongado (de varios días a varios años), los eventos que ocurran durante este tiempo pueden influir en los resultados. -​ Por ejemplo: En un estudio cuyo objetivo es evaluar los niveles de estrés de los docentes de colegios y sus alumnos, la aparición de una pandemia o de un confinamiento severo puede influir en los resultados. - Maduración Se refiere a procesos de cambio que experimentan los sujetos de forma natural y que pueden resultar en una posible explicación a los resultados obtenidos. Entre los más frecuentes se encuentran el desarrollo de los sujetos, su crecimiento o maduración, el mero paso del tiempo, el envejecimiento, o la evolución natural de un trastorno. Como en el caso anterior, el fenómeno de maduración es especialmente relevante cuando la investigación se prolonga en el tiempo. Normalmente, los efectos debidos a la historia y a la maduración pueden controlarse con la inclusión de un grupo de control. -​ Por ejemplo: Si intentamos establecer la utilidad de la metodología de Thinking Based Learning (TBL) y, para ello, medimos a los alumnos al empezar y finalizar el curso. Evidentemente, la mejoría del rendimiento puede deberse tanto a las estrategias enseñadas como a una maduración de los alumnos en ese intervalo de tiempo. Introduciendo un grupo control y asignando aleatoriamente los niños a los grupos podremos comprobar cuánto han mejorado los dos grupos y así determinar si la mejora del 7  Introducción a la Investigación↝Isabel Bañuelos de la Hera grupo entrenado (grupo experimental) es significativamente mayor a la mejora del grupo control. - Evaluación o medida La aplicación repetida de la prueba con la que se miden los resultados puede tener efectos debidos a la práctica o familiaridad, que se pueden confundir con los cambios en la variable dependiente (a partir de ahora VD). En los estudios en los que se requiere la medición, evaluación repetida de los sujetos, puede producirse esta amenaza. -​ Por ejemplo: Si medimos la velocidad de procesamiento (VP) de los alumnos mediante una tarea de emparejamiento de elementos y les evaluamos varias veces con la misma prueba, puede que los sujetos estén experimentando un aprendizaje de la tarea más que un incremento en su velocidad de procesamiento. Cuidado, porque, en este caso, no estaríamos encontrando una mejora en la VP, sino un aprendizaje en la resolución de la tarea concreta que se les plantea. - Instrumentación Se refiere a cambios en el instrumento de medida en las diferentes evaluaciones. Dependiendo del instrumento utilizado en la recogida de datos, las causas pueden ser diversas, pero en todos los casos hace referencia a la falta de equivalencia de los datos recogidos. Por ejemplo, puede surgir cuando se cambia el instrumento de evaluación en diferentes momentos, los criterios de puntuación, los evaluadores, el aparato de registro de las respuestas, etc. La amenaza se reduce con instrumentos estandarizados y aparatos bien calibrados. 8  Introducción a la Investigación↝Isabel Bañuelos de la Hera -​ Por ejemplo: Si queremos comparar los resultados académicos (calificaciones finales del día del examen) de los alumnos de diferentes cursos académicos (2020, 2021, 2022, 2023…), debemos de tener en cuenta si el examen fue el mismo o no. Si no incluía las mismas cuestiones y ejercicios, puede que un año académico el examen contuviera preguntas más difíciles o fáciles que el resto de los años. - Regresión estadística La regresión a la media se refiere a una tendencia en la que una variable se acerca gradualmente a​ un​ valor​ esperado a​ medida​que​ se​ acumulan​ más observaciones. Esta es una tendencia estadística común en la que los valores extremos de una variable se vuelven cada vez más similares a los valores promedio de la variable a medida que aumentan las observaciones. En otras palabras: los valores extremos se vuelven más «regresivos» a la media a medida que aumentan las observaciones. Es frecuente cuando se selecciona a los sujetos por características extremas (puntuaciones altas y bajas). En estos casos, los grupos podrían mejorar en las puntuaciones de las pruebas en ausencia de la intervención. La causa de este fenómeno se encuentra en el componente error que afecta a todos los instrumentos de medida. Es una amenaza solamente en los estudios que contemplan repetición de la medida sobre los sujetos. -​ Por ejemplo: Supongamos que tenemos dos dados de seis caras y los lanzamos. La suma de los números obtenidos en cada tirada dará un valor entre dos y doce, siendo esos dos números los valores extremos, mientras que siete es el valor central. Si, por ejemplo, en la primera tirada hemos obtenido una suma de doce, es menos probable que, en la segunda, volvamos a tener la misma suerte. Si se lanzan los dados x veces se verá que, en conjunto, se obtendrán valores más cercanos al siete que no a los extremos, los cuales, representados gráficamente, darían una curva de distribución normal, es decir, se tenderá hacia la media. 9  Introducción a la Investigación↝Isabel Bañuelos de la Hera - Mortandad experimental (sesgo de desgaste) La pérdida de sujetos en los estudios que se prolongan en el tiempo es otra amenaza importante a la validez interna. Se produce, sobre todo, en estudios de evaluación de eficacia de intervenciones o tratamientos. Se estima, en los estudios sobre la eficacia de la psicoterapia, que entre el 40 % y 60 % de los participantes se pierden en el curso de los tratamientos (Kazdin, 2003). La amenaza puede producirse cuando la pérdida de sujetos es más pronunciada en un grupo frente al otro (puede no ser aleatoria). En ese caso, cabe la sospecha de que esas diferencias pueda ser producida por alguna característica de la investigación o de la asignación de los sujetos a las condiciones. Disponer de una medida pretest que permita examinar las diferencias entre los que abandonan y los que permanecen, ayuda a controlar esta amenaza. -​ Por ejemplo: Supongamos que tenemos dos grupos de tratamiento. El grupo experimental recibe una intervención que, si bien a priori puede ser beneficiosa para los participantes, también puede resultar dolorosa. El grupo control, en cambio, no recibe ningún tipo de tratamiento adicional. En este caso, podríamos experimentar una mayor pérdida de sujetos en el grupo experimental causada, supuestamente, no por la falta de eficacia del tratamiento, sino por sus efectos adversos (dolor). - Combinaciones de los sesgos de selección con otras amenazas Las amenazas anteriores se consideran generales y pueden afectar a los diferentes grupos. No obstante, sus efectos pueden varias según estos, es decir, pueden producirse interacciones de los sesgos de selección con otras amenazas. -​ Por ejemplo, es posible que los sujetos de un grupo de control «maduren» en 10  Introducción a la Investigación↝Isabel Bañuelos de la Hera una tasa de cambio diferente de la de los sujetos del grupo experimental, produciéndose una interacción selección + maduración o que los sujetos del grupo experimental se encuentren en condiciones especiales de aislamiento, viéndose afectados de forma diferentes por los sucesos que hemos denominado historia. - Reacciones especiales de los grupos de control Dentro de esta amenaza se incluyen muchas situaciones que surgen especialmente en estudios con grupos de control. Una de las amenazas más frecuentes es la denominada difusión o imitación de tratamientos. En ocasiones, los tratamientos aplicados a uno de los grupos pueden ser recibidos de forma indirecta por sujetos de otros grupos. Esta «contaminación» suele producirse en aquellos casos en los que los grupos están próximos (por ejemplo, alumnos de un mismo centro educativo). A veces, los grupos de control no reciben el tratamiento de interés, pero pueden recibir otros servicios, contactos o privilegios especiales, y algunos de estos servicios y contactos pueden oscurecer los efectos de los tratamientos del grupo experimental. Otras veces, los grupos de control son conscientes de su condición experimental y pueden reaccionar con conductas influyentes en las comparaciones. Una respuesta relativamente frecuente es la rivalidad compensatoria. En ella los grupos de control intentan igualar o mejorar al grupo experimental. El efecto contrario es la desmoralización resentida del grupo control, mostrando rendimientos menores de los de la su conducta habitual. Como hemos visto, no existe el estudio perfecto que evite este tipo de amenazas que afectan a la validez interna. La asignación aleatoria de los participantes a los diferentes grupos de intervención (grupos experimentales y grupos controles) no garantiza la completa validez interna. En nuestro campo, la psicología, este tipo de amenazas están muy presentes. Por ello, es muy importante que el investigador sea consciente de las diferentes amenazas cuando planifica el diseño de la investigación e intente minimizarlas lo máximo posible a través de un correcto diseño de su estudio. Es muy importante que el investigador sea consciente de las 11  Introducción a la Investigación↝Isabel Bañuelos de la Hera diferentes amenazas cuando planifica el diseño de la investigación e intente minimizarlas. 4.4 La validez externa La validez externa se refiere al grado en que los resultados de un estudio pueden generalizarse más allá de las condiciones particulares en las que se ha realizado, como puede ser generalizarlos a la población general, a otras poblaciones, a otras zonas geográficas o circunstancias. A continuación, veremos cuáles pueden ser las principales amenazas para la validez externa de un estudio. -Las características de los participantes Los resultados de una investigación se obtienen con unos participantes concretos que conforman nuestra muestra. Por ello, hay que preguntarse qué características tiene esa muestra y si existe la posibilidad de extrapolar los resultados a muestras o poblaciones con características similares o diferentes. En esta cuestión tiene especial relevancia la estrategia de muestreo utilizada y la representatividad de la muestra. En nuestro campo, la psicología, por tradición, comodidad o para nuestra desgracia, suele aparecer frecuentemente la crítica referida a que muchas investigaciones 12  Introducción a la Investigación↝Isabel Bañuelos de la Hera realizadas han utilizado como muestra estudiantes de Psicología. Los estudiantes en general, y los de Psicología en particular, representan una muestra muy especial en términos de características demográficas y otros atributos y puede que algunas de estas características en ocasiones se relacionen con las variables de interés. -Las características de los estímulos y del entorno Las características estimulares se refieren a aspectos de la intervención, los experimentadores o entrevistadores y, en general, a las diferentes condiciones del estudio, que pueden suponer una amenaza a la posibilidad de generalizar los resultados. Por ejemplo, algunos estudios sugieren que la eficacia de los tratamientos en situaciones controladas (laboratorio) es mayor que en entornos clínicos. En algunos textos de psicología se habla a veces de la validez ecológica en relación con la posibilidad de generalizar los resultados obtenidos en situaciones de laboratorio controladas al mundo real. - La reactividad a la situación experimental Se refiere a la influencia de que los sujetos sean conscientes de que están participando en la investigación. La cuestión que cabe preguntarse es si los resultados se mantendrían si los sujetos desconociesen que están participando en un estudio y que sus acciones están siendo medidas. -​ El efecto Hawthorne: Este efecto deriva de un clásico estudio realizado por la Western Electric Company, descrito en 1939. Este estudio se llevó a cabo para determinar cómo los cambios en el entorno laboral afectaban la productividad de los trabajadores. Los investigadores descubrieron que, aunque los cambios en el ambiente laboral tuvieron un efecto sobre la productividad, la mayoría de los trabajadores mostraron un aumento de la productividad 13  Introducción a la Investigación↝Isabel Bañuelos de la Hera simplemente porque sabían que estaban siendo observados. Este descubrimiento se llamó el efecto Hawthorne. - Interferencia por tratamientos múltiples En algunos de los estudios con medidas repetidas los sujetos son sometidos a más de una condición experimental. La interferencia por tratamientos múltiples se refiere a extraer conclusiones sobre un determinado tratamiento cuando es evaluado en el contexto de otros tratamientos, pudiendo estar condicionados efecto a la aplicación de un tratamiento anterior. Es decir, los efectos pueden deberse en parte a la serie de condiciones en las que fue realizado el estudio. - Reactividad a la evaluación Si los sujetos son conscientes de que su funcionamiento es evaluado pueden alterarlo y responder de manera diferente a como lo harían en situaciones normales. En esta situación hablamos de medida es reactiva. - El momento de la evaluación En algunos diseños con medidas repetidas los sujetos son evaluados varias veces en el tiempo. Los resultados pueden depender del punto temporal en el que los instrumentos son administrados. Normalmente en la evaluación de intervenciones, la eficacia del tratamiento suele evaluarse inmediatamente después de la última sesión de tratamientos y es posible que las conclusiones derivadas en este momento no se extiendan a momentos posteriores. En muchos casos es imposible detectar mejoras en este momento, pero en otras ocasiones los efectos decaen considerablemente con el paso del tiempo. -​ Por ejemplo: Algunos tratamientos psicoactivos pueden tardar un tiempo en producir efectos. Se requiere que los niveles en sangre del fármaco (niveles 14  Introducción a la Investigación↝Isabel Bañuelos de la Hera plasmáticos) se incrementen gradualmente hasta llegar a la dosis necesaria. Por lo tanto, sus efectos no aparecen nada más empezar el tratamiento. Igualmente, los efectos de ciertos tratamientos (farmacológicos y no farmacológicos) pueden perdurar en el tiempo. 4.5 La validez de constructo El término validez de constructo se refiere a la congruencia entre los resultados del estudio y las bases teóricas que guían la investigación (Kazdin, 2003). En esencia, se plantea si la teoría es la mejor explicación disponible de los resultados. Algunas de las denominadas amenazas que surgen en la investigación con sujetos humanos son incluidas dentro de las amenazas a la validez de constructo, aunque también pueden considerarse amenazas a la validez interna. -Las expectativas del experimentador Tanto en estudios de laboratorio como de campo, es posible que las expectativas, creencias y deseos por parte del experimentador en cuanto a los resultados del estudio influyan en la conducta de los sujetos. Aunque estas no se expresen de forma intencional. Puede haber cambios posturales, de tono de voz, adherencia a los procedimientos, etc., que influyan en las respuestas de los participantes. -Pistas derivadas de la situación experimental Estas pistas suelen denominarse demandas características de la situación experimental (Orne, 1962). Pueden hacer referencia a múltiples aspectos que van desde la 15  Introducción a la Investigación↝Isabel Bañuelos de la Hera información proporcionada al sujeto antes del comienzo del experimento, instrucciones, procedimientos y otros aspectos durante la situación experimental. Aunque puedan parecer incidentales, pueden llevar a cambios en los resultados que el investigador puede falsamente atribuir a la situación experimental. Algunas soluciones a estas amenazas son: 1.​ Medir la VD fuera de la situación experimental. 2.​ Reducir las interacciones del experimentador con los participantes. 3.​ Evitar pretest que proporcionen pistas a los sujetos. 4.​ Utilizar los procedimientos de cegamiento: «ciego simple» (los participantes desconocen ciertos detalles de la investigación o el tipo de tratamiento que están recibiendo con el objetivo de minimizar estas amenazas) o «doble ciego» (los experimentadores y los participantes desconocen los objetivos de la investigación). Con este tipo de estrategias no se elimina la influencia de estas amenazas, pero se intenta minimizarlas. 4.6 La validez de las conclusiones estadísticas En la mayor parte de las investigaciones se formulan hipótesis que plantean relaciones entre variables o diferencias entre grupos. Estas hipótesis se ponen a prueba mediante el análisis de los datos para decidir con qué hipótesis nos quedamos (hipótesis nula o alternativa). Las decisiones derivadas del análisis (existencia o no de relación entre variables o diferencias entre los grupos) a veces pueden ser cuestionadas si se incurre en alguna de las denominadas amenazas a la validez de las conclusiones estadísticas (Martínez-Arias, 2014). A continuación, veremos los dos tipos de errores que suelen producirse en las conclusiones estadísticas. -Error tipo I o falso positivo Este error se da cuando concluimos que existe una relación entre variables o una diferencia entre grupos (rechazamos H0), cuando en la realidad no existe. El error de tipo I es el menos frecuente, ya que solo podemos rechazar la hipótesis 16  Introducción a la Investigación↝Isabel Bañuelos de la Hera nula cuando su valor de probabilidad sea menor de 0,05 (5%).No obstante, hay algunas amenazas que pueden llevar a cometer este error, que son las siguientes: 1.​ Violación de los supuestos de las pruebas estadísticas. 2.​ Falta de independencia de las unidades de análisis. 3.​ Falta de control de la probabilidad de error en las comparaciones múltiples derivadas de un experimento -Error tipo II o falso negativo Este error se da cuando concluimos que no existen diferencias entre variables o relaciones entre grupos (aceptamos H0), cuando, de hecho, sí existen. Es más frecuente cometer un error de tipo II y más dependiente del diseño del estudio. Este tipo de error refiere la mayor parte de las amenazas que comentamos brevemente y que se presentan a continuación: 1.​ Insuficiente potencia estadística: la potencia depende del tamaño del efecto, la probabilidad de error de tipo I, la variabilidad y el tamaño de la muestra. El investigador puede aumentar el tamaño para incrementar la potencia. 2.​ Variabilidad dentro de los grupos: en general, a mayor variabilidad de las puntuaciones, menores serán las posibilidades de detectar diferencias entre las condiciones estudiadas. 3.​ Baja fiabilidad de las puntuaciones: los errores de medida de los instrumentos incrementan la variabilidad de los grupos y, por lo tanto, reducen la potencia. 4.​ Variaciones en la situación experimental, que pueden aumentar la variabilidad dentro de los grupos. 17 Introducción a la Investigación↝Isabel Bañuelos de la Hera 18  Introducción a la Investigación↝Isabel Bañuelos de la Hera Test 1. La validez o validez experimental se refiere a: A.​ El objetivo de una investigación. B.​ La calidad de una investigación y de las conclusiones que de ellas se extraen. C.​ Encontrar la relación de causalidad entre varias variables. D.​ El descubrimiento de la relaciones entre variables. 2. Según Campbell y Stanley en 1966 existían dos tipos de validez: A.​ La validez interna y la validez externa. B.​ La validez interna y la validez de constructo. C.​ La validez de constructo en la validez de las conclusiones estadísticas. D.​ La validez externa y la validez de constructo. 3. Entendemos por validez interna: A.​ La capacidad de un estudio para eliminar o hacer poco plausibles las explicaciones alternativas de los resultados. B.​ La capacidad de un estudio para aumentar las posibles explicaciones de los resultados. C.​ La capacidad de un estudio para generalizar sus resultados a otras poblaciones. D.​ La capacidad de un estudio de ofrecernos resultados plausibles. 4. Señala cuál de estas amenazas afecta a la validez interna de un estudio. A.​ La regresión logística. B.​ Las defunciones. C.​ Las características de los participantes. D.​ la selección diferencial. 5. El grado en que los resultados de un estudio pueden generalizarse se denomina: A.​ Validez interna. B.​ Validez externa. 19  Introducción a la Investigación↝Isabel Bañuelos de la Hera C.​ Validez de constructo. D.​ Validez estadística. 6. Cuando queremos comprobar la posibilidad de generalizar los resultados obtenidos en situaciones de laboratorio con respecto a los obtenidos en entornos reales, nos referimos a: A.​ Validez diferencial. B.​ Validez de entorno. C.​ Validez ecológica. D.​ Validez interna. 7. El cambio actitudinal de los participantes únicamente debido a la observación directa al investigador se denomina: A.​ Efecto Hawthorne. B.​ Efecto Morris. C.​ Efecto Mayers. D.​ Efecto Ghostling. 8. La validez de constructo se refiere a: A.​ La congruencia entre los resultados del estudio y las bases teóricas que guían la investigación. B.​ La verosimilitud de los resultados del estudio y los fundamentos prácticos que guían nuestra investigación. C.​ La conexión entre los métodos de nuestro estudio y los resultados de estos. D.​ Ninguna opción es correcta. 9. La reactividad a la evaluación es un fenómeno que afecta a la validez: A.​ Externa. B.​ Interna. C.​ De constructo. D.​ De conclusiones estadísticas. 10. El error tipo I también se denomina: A.​ Error de falso positivo. B.​ Error de falso negativo. C.​ Error de muestreo. D.​ Error simple. 20