IE S06_s1_Controv signig estad_Introd tamaños del efecto (1).pdf

Introducción a la Estadística Semana 6 / Sesión 1: Controversia de los procedimientos de significancia estadística, Introducción a los tamaños del efecto Profesores: Casaño Meza, Mayte Luzmila / Castillo Blanco, Ronald Wilfredo / Kaneko Ag...

Introducción a la Estadística Semana 6 / Sesión 1: Controversia de los procedimientos de significancia estadística, Introducción a los tamaños del efecto Profesores: Casaño Meza, Mayte Luzmila / Castillo Blanco, Ronald Wilfredo / Kaneko Aguilar, Juan Jose / Kohler Herrera, Johanna Liliana / Mosquera Torres, Fernando / Navarro Loli, Jhonatan Steeven Baruch / Paliza Olivares, Victor Fabrizzio / Portocarrero Ramos, Carlos Alberto / Salazar Intusca, Sixto / Tomás Rojas, Ambrosio 2024 - 2  Logro de la sesión: El estudiante identifica la importancia de la controversia de los procedimientos de significancia estadística e introducción a los tamaños del efecto 2 Temario ▪ Tres aplicaciones básicas de la estadística aplicada en psicología ▪ Pruebas de significancia estadística paramétrica y no paramétrica. ▪ Controversia de los procedimientos de significancia estadística. ▪ Introducción a los tamaños del efecto ¿Qué patrón común notas en los siguientes objetivos de investigación? Determinar las diferencias en el clima organizacional según el sexo en trabajadores de salud de hospitales públicos de Lima metropolitana. Determinar las diferencias en el autoconcepto según el lugar de procedencia en escolares de 5to de secundaria en Lima metropolitana. Comparación de grupos independientes Aplicaciones: - Análisis de variables de interés en Psicología (clima organizacional, autoconcepto, personalidad, etc.) según variables demográficas (sexo, grado de instrucción, lugar de procedencia, etc.). ¿Qué patrón común notas en los siguientes objetivos de investigación? Determinar si la aplicación del programa INACDI disminuye significativamente las actitudes discriminatorias en escolares de colegios del Cono Sur de Lima. Determinar si la aplicación del taller «Ludimate» incrementa significativamente las habilidades lógico-matemáticas en alumnos de 6 años en el C.E.P 5677. Comparación de grupos relacionados/apareados/… Aplicaciones: - Mediciones pre y post en intervenciones. ¿Qué patrón común notas en los siguientes objetivos de investigación? Determinar la relación entre el clima familiar y el autoestima en habitantes de familias del Callao. Determinar la relación entre clima organizacional y compromiso organizacional en trabajadores de la organización ABC. Correlación de dos variables Aplicaciones: Correlación de dos variables Esquema de los tipos de análisis y procedimientos según el tipo de variable Tipo de Análisis Análisis Dos variables análisis descriptivo inferencial Variable 1 – Variable 2 Paramétrico - No paramétrico Correlación de TSE con r de TSE con rs de Intervalo - Intervalo r de Pearson dos variables Pearson Spearman RELACIÓN G1: G2: Comparación M (DE) M(DE) - t de Student, - U de Mann- ENTRE DOS Intervalo - Nominal Whitney, de grupos - ANOVA - Kruskal-Wallis VARIABLES Asociación de Frecuencias, tablas Chi cuadrado Nominal - Nominal de contingencia --- variables (2) ¿Pruebas de significancia estadística parámetricas y no paramétricas? Temario ▪ Tres aplicaciones básicas de la estadística aplicada en psicología ▪ Pruebas de significancia estadística paramétrica y no paramétrica. ▪ Controversia de los procedimientos de significancia estadística. ▪ Introducción a los tamaños del efecto Las pruebas de significancia estadística pueden ser paramétricas o no paramétricas Pruebas de significancia estadística PRUEBAS PRUEBAS NO PARAMÉTRICAS PARAMÉTRICAS Esto en caso se cumpla la condición de normalidad Sobre las pruebas de normalidad Normalidad La práctica en la evaluación de este supuesto recae en cierta imprecisión al tenerse distintas prácticas sobre qué distribución se espera que cumpla con este criterio. Por ejemplo, para el análisis de la significancia estadística de la correlación se difiere sobre a qué distribución se hace la prueba de normalidad: la distribución de datos cada variable, la distribución bivariada de datos, la distribución bivariada de la población y la distribución de los residuos. Usualmente en nuestro contexto, la evaluación de este supuesto se realiza mediante pruebas de desviación de la normalidad mediante la prueba de Shapiro-Wilk a la distribución de cada una de las variables. Aunque esta opción es la menos cercana a una precisión matemática, es la práctica más usual. Entonces, aplicaremos esta misma consideración en el curso: Uso de la prueba de normalidad (Shapiro-Wilk) para distribución de datos de cada variable con el fin analizar la normalidad. 10 A continuación, veamos solo como ejemplo la determinación de pruebas de significancia estadística paramétricas para un análisis de comparación de grupos: Determinación del tipo de prueba de significancia estadística para la comparación de grupos independientes SIGNIFICANCIA ESTADÍSTICA DE LA COMPARACIÓN DE GRUPOS INDEPENDIENTES Dos análisis a los grupos NORMALIDAD IGUALDAD DE Valores p INFERENCIAL VARIANZAS (INF) Sí Sí Cualquier otro caso Conclusión PRUEBAS PRUEBAS NO Valores p PARAMÉTRICAS PARAMÉTRICAS Determinación de la prueba de significancia estadística para la comparación de grupos independientes SIGNIFICANCIA ESTADÍSTICA DE LA COMPARACIÓN DE GRUPOS INDEPENDIENTES Análisis de normalidad inferencial e igualdad de varianzas inferencial* Se cumple No se cumple PRUEBAS PRUEBAS NO Valores p PARAMÉTRICAS PARAMÉTRICAS Más de dos Más de dos Dos grupos Dos grupos grupos grupos t de STUDENT ANOVA DE UNA U DE MANN KRUSKAL para muestras Valores p independientes VÍA WHITNEY WALLIS Temario ▪ Tres aplicaciones básicas de la estadística aplicada en psicología ▪ Pruebas de significancia estadística paramétrica y no paramétrica. ▪ Controversia de los procedimientos de significancia estadística. ▪ Introducción a los tamaños del efecto ¿Qué procedimientos tiene el análisis de significancia estadística? Nivel de significancia Chi cuadrado estadística ( =.050) Hipótesis nula t de Student Prueba de normalidad Anova Kruskal-Wallis p =.015 Intervalos de confianza 14 Un amplio uso de la significancia estadística se da desde los 1940 hacia adelante. Esto se puede observar en una figura sobre porcentaje de aplicación del método del NHST en revistas APA (Hubbard y Ryan, 2000) 15 Tengamos en cuenta que el procedimiento de significancia estadística que usamos actualmente resulta de la confluencia de dos principales aportes: R. Fisher 1925, 1935 Procedimiento - Procedimiento general de rechazar o no clásico de rechazar la H0 estadística 1928 - 1937 inferencial J. Neyman E. Pearson - Error tipo II. - Hipótesis alterna. (Lehmann, 2010; Cowles, 2001; Kline, 2004) 16 Los resultados de significancia estadística tienen un problema: estos resultados son sensibles al tamaño de muestra Por ejemplo, para una correlación de r =.04, veamos los valores para distintos tamaños de muestra: n = 1000 n = 3000 n = 5000 n = 7000 r =.04, p =.206 r =.04, p =.028 r =.04, p =.005 r =.04, p <.001 r =.04 r =.04* r =.04** r =.04*** 17 Test de significancia estadística de la hipótesis nula (NHST) El método más usado para el análisis Sin embargo, es de datos usados por muy controversial alrededor de 70 años (Nickerson, 2000) 18 Pruebas de significancia estadística y conocimiento acumulativo en psicología: implicaciones para la formación de investigadores “Las costumbres estadísticas de un pasado más primitivo continúan dominando la escena local”. (Rozeboom, 1960, p. 417) The Fallacy of the Null-Hypothesis Significance Test “Sostengo aquí que la NHST no sólo no ha logrado apoyar el avance de la psicología como ciencia sino que también lo ha impedido seriamente”. (Cohen, 1994, p. 997) The Earth Is Round (p <.05) “Los métodos de análisis de datos en psicología todavía enfatizan las pruebas de significación estadística, a pesar de numerosos artículos que demuestran sus graves deficiencias... Los beneficios que generalmente se cree que se derivan de las pruebas de significancia no existen en realidad”. (Schmidt, 1996, p. 115) Pruebas de significancia estadística y conocimiento acumulativo en psicología: implicaciones para la formación de investigadores 19 “Creo que la confianza casi universal en simplemente refutar la hipótesis nula como método estándar para corroborar teorías sustantivas en las áreas blandas es un error terrible, es una estrategia científica básicamente errónea, deficiente y una de las peores cosas que jamás hayan sucedido en la historia de la psicología”. (Meehl, 1978, p. 806) Theoretical risks and tabular asterisks: Sir Karl, Sir Ronald, and the slow progress of soft psychology. 20 Una mejor revisión de la historia de los procedimientos de significancia estadística hará notar que los desarrolladores de estos procedimientos en su madurez no estuvieron de acuerdo con las propuestas del otro: R. Fisher - Procedimiento general 1925, 1935 Procedimiento de rechazar o no clásico de rechazar la H0 estadística 1928 - 1937 inferencial J. Neyman E. Pearson - Error tipo II. - Hipótesis alterna. (Lehmann, 2010; Cowles, 2001; Kline, 2004) 21 Incluso, es increíble notar que con respecto al valor de significancia estadística que siempre se asume (α =.050), el mismo inventor de este procedimiento no estuvo de acuerdo con su uso constante. - Fisher en su libro de 1925 recomendó un 5% como una línea convencional y luego usó 5% y 1%. - Luego, Fisher en 1956 en su libro Statistical Methods and Scientific Inference en cuanto al establecimiento de estos niveles (p. 42): “El cálculo es absurdamente académico, porque en realidad ningún investigador científico tiene un nivel fijo de significación en el cual, de año en año y en todas las circunstancias, rechaza hipótesis, sino que más bien se concentra en cada caso particular a la luz de sus pruebas y sus ideas”. 22  ¿Y esto?: p <.050 significativo p <.010 muy significativo p <.001 altamente significativo Los libros de texto están equivocados. La enseñanza está mal. El seminario al que acaba de asistir está equivocado. La revista más prestigiosa de su campo científico se equivoca. (p. 250) Ziliak y McCloskey (2008) en el culto a la significación estadística: cómo el error estándar nos costó empleos, justicia y vidas. 23 ¿Cómo está la discusión en estos cinco últimos años? 24 25 26 27 Una recomendación actual es reportar los valores p, pero no intepretarlos 28 Temario ▪ Tres aplicaciones básicas de la estadística aplicada en psicología ▪ Pruebas de significancia estadística paramétrica y no paramétrica. ▪ Controversia de los procedimientos de significancia estadística. ▪ Introducción a los tamaños del efecto ¿Qué nos debe interesar cuando hacemos investigación en Psicología? Lo respondemos… Esto lo respondemos con algún método de ¿Se puede afirmar análisis inferencial, el problema que, por que hay Analizando si existe el fenómeno. ejemplo, una r =.002, p =.023, nos podría fenómeno? hacer pensar que “existe el fenómeno”. La existencia matemática de una r ≠.00 es cierta, pero no relevante. ¿Qué tan grande es Midiendo y reportando la magnitud en ese fenómeno? que se da el fenómeno. Esto lo respondemos reportando o interpretando los tamaños del efecto ¿Es importante la Interpretando la magnitud en la que se da magnitud del fenómeno? el fenómeno. (Kirk, 2001) 30  EL TAMAÑO DEL EFECTO El tamaño del efecto significa “el grado en que el fenómeno está presente en la población” (Cohen, 1988) El tamaño del efecto se define como un reflejo cuantitativo de la magnitud de algún fenómeno que se utiliza con el fin de abordar una cuestión de interés. (Kelley y Preacher, 2012) 31 Referencias Cohen, J. (1994). The Earth is round (p <.05). American Psychologist, 49(12), 997-1003. Cowles, M. (2001). Statistics in Psychology: An historical perspective (2 ed.). Mahwah, New Jersey: Lawrence Erlbaum. Cowles M. y Davis, C. (1982). On the origins of the.05 level of statistical significance. American Psychologist, 37(5), 553-558. Cumming, G. (2012). Understanding the new statistics: Effect sizes, confidence intervals, and meta-analysis. New York: Rouledge. Ferguson, C. (2009). An effect size primer: A guide for clinicians and researchers. Professional Psychology: Research and Practice, 40(5), 532-538. Gigerenzer, G., & Gigerenzer, G. (1993). The Superego, the Ego, and the Id in Statistical Reasoning. In G. Keren & C. Lewis (Eds.), A Handbook for data analysis in the behavioral sciences (Issue 1942, pp. 267–288). Lawrence Erlbaum Associates. https://doi.org/10.1093/acprof:oso/9780195153729.003.0013 Harris, M. (1991). Significance tests are not enough: The role of effect-size estimation in theory corroboration. Theory and Psychology, 1(3), 375-382. Hubbard, R., Parsa, R. A., & Luthy, M. R. (1997). The Spread of Statistical Significance Testing in Psychology: The Case of the Journal of Applied Psychology, 1917-1994. Theory & Psychology, 7(4), 545–554. https://doi.org/10.1177/0959354397074006 Hubbard, R., & Ryan, P. (2000). The historical growth of statistical significance testing in psychology and its future prospects. Educational and Psychological Measurement, 60(5), 661-681. Kelley, K., & Preacher, K. J. (2012). On effect size. Psychological Methods, 17(2), 137–152. https://doi.org/10.1037/a0028086  Kirk, R. (1996). Practical significance: A concept whose time has come. Educational and Psychological Measurement, 56, 746-759. Kirk, R. (2001). Promoting good statistical practices: some suggestions. Educational and psychological mesasurement, 61(2), 213-218. Kline, R. (2004). Beyond significance testing: Reforming data analysis methods in behavioral research. Washington, DC: American Psychological Association. Lehmann, E. (2011). Fisher, Neyman, and the creation of classical statistics. New York: Springer. Meehl, P. E. (1978). Theoretical risks and tabular asterisks: Sir Karl, Sir Ronald, and the slow progress of soft psychology. Journal of Consulting and Clinical Psychology, 46(4), 806–834. https://doi.org/10.1037/0022- 006X.46.4.806 Nickerson, R. (2000). Null hypothesis significance testing: A review of an old and continuing controversy. Psychological Methods, 5(2), 241-301. Rozeboom, W. (1960). The fallacy of the null-hypothesis significance test. Psychological Bulletin, 57, 416-428. Schmidt, F. (1996). Statistical significance testing and cumulative knowledge in Psychology: Implications for training of researchers. Psychological Methods, 1(2), 115-129. Wilkinson, L., & APA Task Force on Statistical Inference. (1999). Statistical methods in psychology journals: Guidelines and explanations. American Psychologist, 54(8), 594-604.