Causality 14.52.24 PDF - Contrastación de Hipótesis

Contrastación de Hipótesis Diseños causales Celestino García Arias Contents 1. Introducción: control y contrafácticos 2. Diseño experimental 3. Experimentos de laboratorio 4. Experimentos de campo 5. Experimentos de encuesta 6. Experimento natural Introducción: control y contrafáctic...

Contrastación de Hipótesis Diseños causales Celestino García Arias Contents 1. Introducción: control y contrafácticos 2. Diseño experimental 3. Experimentos de laboratorio 4. Experimentos de campo 5. Experimentos de encuesta 6. Experimento natural Introducción: control y contrafácticos  4/88 Multicausalidad de los fenómenos sociales Carácter probabilista de las relaciones sociales Modelo de Potential Outcomes (contrafácticos) Filtros para establecimiento de relaciones causales 5/88 Kellstedt y Whitten: 1. Mecanismo causal que conecte VI y VD 2. Exclusión de la posibilidad de que la dirección de la relación sea la inversa 3. Covariación 4. Control de todas las variables confusoras que podrían convertir en espuria la relación Control de terceras variables I 6/88 Son varias las expresiones que se refieren al control del terceros factores: cláusula ceteris paribus parametrizar mantener constantes terceras variables Control de terceras variables II: ej. 1 7/88 Ejemplo 1: Relación entre dos variables Control de terceras variables II: ej. 1 8/88 No modificación de la relación al introducir una tercera variable: Control de terceras variables II: ej. 1 9/88 Modificación de la relación al introducir una tercera variable; relación bivariable espuria: Control de terceras variables II: ej. 2 10/88 Ejemplo 2: Relación entre dos variables Control de terceras variables II: ej. 2 11/88 No modificación de la relación al introducir una tercera variable: Control de terceras variables II: ej. 2 12/88 Modificación de la relación al introducir una tercera variable; relación bivariable espuria: Control de terceras variables III: medios de control 13/88 Relaciones causales en ciencias sociales 14/88 En la actualidad, el estudio de las relaciones causales en ciencias sociales se basa en dos enfoques, en principio alternativos pero no contradictorios: El modelo de los DAG (Directed Acyclic Graphs), basado en los modelos de ecua ciones estructurales (SEM) y promovido por Judea Pearl, Clark Glymour, Madeline Glymour y otros El modelo de los contrafácticos (Potential Outcomes) o modelo Neyman Rubin Holland, que es la respuesta al Problema Fundamental de la Inferencia Causal (PFIC) En este curso, se expondrá muy básicamente el modelo Neyman Rubin Holland Modelo de los contrafácticos y PFIC 15/88 Se define informalmente un contrafáctico como “el mundo más parecido posible” al que observamos. El ideal del investigador es acercarse todo lo posible a una comparación entre un caso y el caso que más se le parezca, es decir, el caso en el que todos los factores, excepto uno, son idénticos a los factores del primero, siendo el factor de desviación el de interés sustantivo para el investigador. A pesar de este ideal, la observación del “auténtico” contrafáctico, que sería el mismo caso simultáneamente en dos situaciones distintas, es imposible. En eso consiste el PFIC: en palabras de Holland, “es imposible observar el valor del [resultado del tratamiento] y [el resultado del control] en la misma unidad… [l]a amenaza implícita del PFIC es que la inferencia causal es imposible”. Soluciones de Holland a PFIC 16/88 Solución científica: (1) comparaciones intra unidad, que suponen invarianza (es tabilidad temporal la exposición no afecta a futuras exposiciones y la secuencia temporal no importa y transitoriedad causal la medición en un punto temporal no afecta a mediciones en puntos temporales posteriores ); (2) homogeneidad de las unidades. Solución estadística: se centra en los efectos medios en una muestra, parte de cuyos miembros reciben el tratamiento y parte de los cuales no lo reciben (o reciben el control); el elemento fundamental es la asignación aleatoria a cada una de estas condiciones. Supuestos de la solución estadística; amenazas 17/88 Supuestos (Druckman 2022; Green 2022): 1. independencia estadística entre los resultados potenciales y la asignación al tratamiento 2. restricción de exclusión (simetría) 3. no interferencia Amenazas a: 1. la aleatoriedad / independencia: no aleatoriedad (ej.: auto selección), abandono 2. la simetría: tratamientos compuestos, diferentes procedimientos de administra ción, diferentes mediciones del resultado 3. la no interferencia: comunicación, desplazamiento, competición por los recursos Diseño experimental Definición de experimento 19/88 Druckman (2022): investigación en la cual una intervención (por parte de un investi gador o de un suceso natural) proporciona el mecanismo [procedimiento] principal mediante el cual se intenta hacer una afirmación causal [mediante el cual un inves tigador soluciona el PFIC]. Dos elementos de la definición: intervención y procedimiento. La intervención se refiere a un suceso que implica la influencia del investigador en los sujetos o un suceso natural que facilita la inferencia. El procedimiento es la solución estadística o la solución científica. Enfoques experimentales (Druckman) 20/88 Solución estadística Solución científica (2) Experimento intra su Intervención del investi (1) Experimento de asigna jeto; experimento de valor gador ción aleatoria inducido (4) Experimento natural de (3) Experimento natural de homogeneidad de unida Intervención natural lotería aleatoria des (v. gr., aleatorización “como si”) Tipos y objetivos (Druckman) 21/88 El tipo se refiere a la localización de la intervención: laboratorio campo encuesta Tres objetivos no excluyentes: 1. búsqueda de hechos 2. contrastación de teorías 3. “susurrar en el oído del príncipe” Experimento de asignación aleatoria (celda 1) 22/88 Definición (adaptada de Kellstedt y Whitten): un experimento es un diseño de inves tigación en el cual el investigador controla los valores de la variable independiente y asigna aleatoriamente los participantes a los valores de la variable independiente. Los dos elementos esenciales del experimento son el control y la asignación alea toria. El control implica que la distribución de los valores de la VI entre los participantes no los determinan ni los propios participantes ni la naturaleza. La asignación aleatoria implica el uso de algún mecanismo material (monedas, dados…) o computacional (generadores de números (pseudo )aleatorios…) para dividir a los participantes en grupos de tratamiento y de control. Beneficios de la asignación aleatoria 23/88 La asignación aleatoria tiene dos resultados: 1. Se rompe la conexión entre la tercera variable (Z) y la VI (X). Si X es determinada solo aleatoriamente, no debería estar correlacionada con ninguna otra variable, incluida Z. Y si esa conexión se rompe, Z no puede contaminar la asociación entre X e Y. (Eso no significa que se rompa la conexión entre Z e Y. Las terceras variables también pueden influir en la VD; lo que garantizan los experimentos es la eliminación de Z como causa común que haría espuria la relación entre X e Y.) Así, se supera el cuarto filtro. 2. Si los valores de X se asignan aleatoriamente, por definición, Y no puede ser una causa de X. En otras palabras, la dirección de la relación causal no puede invertirse. Así, se supera el segundo filtro. Paso de filtros causales, I 24/88 No hay ventaja alguna respecto a otros diseños en lo relativo a los pasos (1) meca nismo creíble (que depende de la teoría y no del diseño) y (3) covariación. El experimento permite superar el filtro de: Dirección de la relación causal: en un experimento, es imposible que Y cause X, por dos razones: 1. la asignación aleatoria de los participantes a los valores de la VI ocurre antes de medir la VD 2. si los valores de la VI a los que se asignan los participantes se generan aleatoria mente, nada (incluido Y) puede causarlos Paso de filtros causales, II 25/88 El experimento permite superar el filtro de: Control: los experimentos son los diseños que más garantías ofrecen. Un experi mento no impide la posibilidad de que otras variables (Z) afecten a Y. Lo que hace es, a través de la asignación aleatoria, igualar los grupos de tratamiento y de control en todos los factores posibles. Así, la comparación entre los dos grupos queda no contaminada por las variables Z, porque se espera que los grupos sean equivalentes en los valores de Z. Es especialmente importante destacar que esa capacidad de control de terceras variables afecta a todas las posibles causas comunes o variables confusoras, independientemente de que los investigadores sean o no cono cedores de ellas. Paso de filtros causales, II 26/88 Todo ello significa que los experimentos proporcionan una confianza espe cialmente fuerte en las inferencias causales extraídas del análisis. Es decir, en sentido técnico, poseen un grado elevado de validez interna. Amenazas a la validez interna 27/88 1. Historia 2. Maduración 3. Interacción sujeto prueba (medición pre test) 4. Mortalidad experimental resultante en sesgo de selección 5. Factores de demanda, o aspectos de la situación experimental que llevan a los participantes a adivinar los objetivos del investigador y ajustar sus conductas u opiniones coherentemente con (o contra) ellos. Una solución posible en algunas investigaciones es el procedimiento de doble ciego. Validez externa; realismo y muestras, I 28/88 Una supuesta limitación de los experimentos es su nivel posiblemente bajo de validez externa. La validez externa se refiere al grado de confianza en la aplicación de los resultados de la investigación no solo a los participantes en el estudio, sino también a la población, entendida en un sentido amplio. La dificultad tiene dos manifestaciones: 1. la validez externa de la muestra, dado que los experimentos no exigen una mues tra aleatoria de la población y a menudo usan muestras de conveniencia; por eso, la valoración de la validez externa de los experimentos se realiza mediante la replicación del experimento en muestras diferentes. 2. la validez externa del estímulo Validez externa; realismo y muestras, II 29/88 Realismo: puede referirse a: Realismo experimental: implicación de los sujetos Realismo mundano (Realismo psicológico) Aunque los críticos enfatizan el realismo mundano, este no es importante, excepto para los experimentos orientados a políticas; lo importante es el realismo experi mental. Validez externa; realismo y muestras, III 30/88 Para valorar correctamente la validez externa, es útil el planteamiento que sintetiza la siguiente tabla de Druckman: Preguntas sobre generalización (validez externa)Detalles La existencia de un efecto del tratamiento o el ¿Qué se generaliza? tamaño preciso del efecto de un tratamiento Población, escenarios [settings] o variables causa ¿A qué se generaliza? les ¿Qué dimensiones de generalización son más im Muestras, escenarios [settings], tratamientos y me portantes o problemáticas? didas de efectos Evaluación de cada dimensión de la validez externa ¿Cuál es el contrafáctico o el punto de compara y consideración de cómo una investigación dife ción? rente podría haber aumentado la generalizabilidad Validez externa; realismo y muestras, IV 31/88 Krupnikov, Nam & Style 2021: se atribuyen problemas a las muestras de conveniencia y, en especial, a las muestras de estudiantes. Las muestras de conveniencia se caracterizan por la accesibilidad (geográfica, por voluntad de participar, coste…) a los potenciales miembros y por la diferencia en las probabilidades de los individuos de convertirse en sujetos. Los tipos más importantes son las de estudiantes de grado y las proporcionadas por plataformas de crowdsourcing (Amazon Mechanical Turk, Prolific Academic, Crowd Flower…) https://www.mturk.com/ https://www.prolific.co/ http://faircrowd.work/platform/crowdflower/ Muestras de estudiantes I 32/88 Ventajas: acceso y coste Supuestos problemas de generalizabilidad: nivel de educación y habilidades (cognitivas, motivacionales) asociadas estrecha franja de edad: impresionabilidad e inestabilidad de preferencias uniformidad ideológica contexto universitario Supuestos problemas debidos a cambios en la recogida de datos: crecientemente online variabilidad de la atención por semestre deterioro en la atención en general Muestras de estudiantes II 33/88 La generalizabilidad depende de la heterogeneidad en el mecanismo generador del efecto del tratamiento, que puede operativizarse mediante variables moderadoras. La evidencia empírica muestra semejanzas entre las muestras de estudiantes y otras muestras; semejanzas entre muestras de estudiantes de distintas universidades; y semejanzas de los efectos hallados en muestras de estudiantes y otras muestras. Plataformas de crowdsourcing 34/88 Ventajas: rapidez y coste Supuestos problemas: demografía de la muestra (disposición y accesibilidad; diferencias entre muestras de MTurk y muestras probabilistas, y entre muestras de MTurk y las de otras plataformas; autoselección de los participantes en tareas y tiempos); no ingenuidad de los sujetos (previa experiencia con experimentos); inconsistencia en las respuestas (originadas en VPSs o por falta de atención o por “trolling”; atenúan los efectos hallados) Hay evidencias de similitud de efectos hallados con los hallados en otras muestras; hay medios de identificar algunos tipos de inconsistencias, como el screening La clave vuelve a ser la heterogeneidad del mecanismo generador del efecto del tratamiento Otros tipos de muestras de conveniencia 35/88 En persona: residentes locales y personal de la Universidad. Los efectos hallados son similares a los hallados con otras muestras. Sus desventajas son las bajas tasas de participación y el coste. Online: redes sociales y foros, especialmente Facebook, que: ha generado muestras más sesgadas, con las que se obtienen efectos atenuados. Otras desventajas e inconvenientes 36/88 1. Muchas VIs de interés para la ciencia política no son susceptibles (por razones bien físicas, bien éticas) de control y manipulación experimental. 2. Dilemas éticos: Experimentos clásicos que alentaron la regulación legal de la realización de experimentos Anonimato, confidencialidad, consentimiento informado Perjuicios o daños a no participantes en el experimento (desplazamiento de delitos, subidas de precios…) Realización de actividades ilegales (sobornos…) Transparencia: conflictos de intereses, replicación, presentación selectiva de resultados 3. Errores interpretativos: hallar que alguna X influye en una Y no significa que X sea la causa de Y de mayor magnitud. Experimentos de laboratorio Fases del experimento de laboratorio (Bruschi) 38/88 Frecuencia de diseños experimentales en ciencia política (Damien Bol) 39/88 Frecuencia de diseños experimentales en ciencia política (Damien Bol) 40/88 De entre 1973 artículos, 176 (11%) son experimentos de entre los 176, 40 (aproximadamente, el 25%) son experimentos de laboratorio. Se ha creado recientemente una revista de ciencia política dedicada a los experi mentos: Journal of Experimental Political Science 2 tipos ideales del experimento de laboratorio en ciencia política (Daniel 41/88 Bol) Experimentos económicos Experimentos psicológicos Resultado de interés Conductas Actitudes Escenario Abstracto Realista Incentivos Monetarios No monetarios Engaño No se admite Es habitual Foco de atención Interacciones entre sujetos Sujetos individuales 2 tipos ideales del experimento de laboratorio en ciencia política 42/88 Resultado. Ej.: conducta de participación en elecciones en función de probabilidad de influir en el resultado (ec) / actitudes como la confianza en política tras ver vídeos de debates con varios grados de agresividad (psi) Incentivos. Ventaja: se tiende a revelar la conducta real cuando hay algo en juego; cuando no hay algo en juego, se suele optar por la opción moralmente deseable. Desventaja: en la vida real, también operan incentivos no monetarios. Escenario. Candidatos a elecciones en juego (ec); fragmentos de TV reales o edito riales realistas para detectar los efectos de polarización por los medios de opinión US (psi). La ventaja de los escenarios no realistas es que las conductas no están in fluidas por el entorno y se revelan motivaciones profundamente humanas, logrando gran validez interna. Desventaja: validez externa. 2 tipos ideales del experimento de laboratorio en ciencia política 43/88 Engaño: ej.: en campaña elecciones presidenciales US 2012, se daba a los partici pantes (afro americanos) la posibilidad de distribuir 100$ a la campaña de Obama o a la de Romney, haciéndose público entre los demás participantes el destinatario de la donación. El objetivo era determinar la influencia del auto interés frente a la presión social. Para ello, se decía a los participantes que por cada dólar donado a Romney recibirían un dólar, mientras que no recibirían nada si la donación la hacían a Obama. Como en US es ilegal donar dinero público a los candidatos, no se pudieron hacer realmente las donaciones. Terminado el experimento, se informó a los participantes del engaño, que se justificó desde el punto de vista de los objetivos de la investigación. Críticas principales a los experimentos de laboratorio 44/88 1. Muestras de conveniencia. Los resultados de replicaciones muestran que bastan tes resultados obtenidos con estudiantes de Economía no se pueden generalizar. 2. Ética: El engaño es reprobable por sí mismo Perjudica futuras investigaciones Exigencia de pleno consentimiento informado 3. Reproducibilidad. Conveniencia de pre registro. Experimentos de campo Frecuencia de experimentos de campo (Baldassarri y Abascal) 46/88 Noción de experimento de campo (Gerber y Green) 47/88 La experimentación de campo intenta simular lo más fielmente posible las condi ciones en las cuales ocurre un proceso causal, con el objetivo de mejorar la validez externa, o generalizabilidad, de los resultados experimentales. Eso comporta la realización del experimento en un contexto natural y el uso de mediciones no obstrusivas (es decir, que no generan en los participantes la cons ciencia de estar siendo observados) (Baldassarri y Abascal). Noción de experimento de campo (Peter John) 48/88 Con […] frecuencia, los investigadores y los encargados de formular políticas necesi tan crear ellos mismos la variación aleatoria en lo que se llama un ensayo controlado aleatorio [randomized controlled trial o RCT], donde individuos o comunidades se asignan aleatoriamente a dos o más grupos; luego, cada grupo obtiene una cosa o una combinación de cosas que es diferente de la cosa o combinación de cosas que recibe otro grupo, de modo que se pueden hacer comparaciones entre los grupos, o entre grupos que reciben un tratamiento y un grupo que no recibe intervención o tratamiento, el grupo de control. En ciencia política, estos ensayos a menudo se denominan experimentos de campo, que pueden contrastarse con experimentos de laboratorio o “lab”, que se realizan en entornos controlados y no en la comunidad en general. Noción de experimento de campo (Humphreys y Weinstein) 49/88 Los investigadores generalmente mantienen el control sobre la asignación al trata miento, mientras abandonan el control sobre el tratamiento en sí. Las características tales como los atributos de los sujetos, la información disponible para ellos, y la forma precisa y el contexto en el que se aplica el tratamiento tienen más proba bilidades de tomar valores dados por la “naturaleza” que de ser establecidos a discreción del investigador. En la economía política del desarrollo, muchos experi mentos de campo van un paso más allá y buscan estudiar el comportamiento de los sujetos en procesos políticos reales, a menudo implementados por alguien que no sea el experimentador (a veces se los denomina “experimentos de políticas” [policy experiments]). Ventajas del experimento de campo (Baldassarri y Abascal) 50/88 Evidencia causal Avance de teoría Información para políticas públicas Desventajas del experimento de campo (Baldassarri y Abascal) 51/88 A menudo se carece de control total sobre la implementación de una intervención, lo que puede socavar la validez interna de los resultados. Cuando se aplican al estudio de los seres humanos, los experimentos de campo presentan problemas de cumplimiento [compliance], desviación de la asignación, autoselección e interferencia entre unidades que socavan la aleatorización y, por lo tanto, sesgan los efectos estimados. Dificultades prácticas del experimento de campo (Peter John) 52/88 Necesidad de número grande de participantes dificulta el control Resistencias o desidia de instituciones, élites, líderes o funcionarios, o bien exceso de entusiasmo Validez externa, con pocos diseños que permitan meta análisis Auto selección Primeras aplicaciones de los experimentos de campo 53/88 Estudios GOTV (Get out the Vote), que se remontan al trabajo de Harold F. Gosnell en 1927, y continúan a partir del trabajo de Samuel J. Eldersveld en 1956. Esa línea de investigación se ha reforzado a partir del trabajo de Gerber y Green (2000). Se han estudiado los efectos en la conducta electoral de emisiones de radio, gasto en campañas, medios de comunicación, mensajes de campaña positivos y negativos, propaganda por Internet, educación… Véase una revisión de las contribuciones en el artículo de Green, McGrath y Aronow, que sintetizan hallazgos tanto acerca de qué tácticas de campaña aumentan la participación electoral como acerca de la puesta a prueba de teorías psico socio lógicas mediante campañas de movilización de votantes https://www.tandfonline. com/doi/abs/10.1080/17457289.2012.728223#.Unvajb4o670 Diversidad de aplicaciones contemporáneas, I: RCT 54/88 RCTs (randomized control trials) para la intervención y la evaluación de políticas Son comunes en Economía, disciplina en la cual han sido impulsores los tres Premios Nobel de 2019, en combinación muchas veces con la ciencia política. A menudo, en los experimentos (tanto académicos como financiados por ONGs o fundaciones privadas) el campo son países poco desarrollados. Diversidad de aplicaciones contemporáneas, I: RCT 55/88 Humphreys y Wenstein: cuando los experimentos de campo se aplican a preguntas sobre la economía política del desarrollo, suele emplearse una fórmula relativamen te simple. Los investigadores se asocian con una agencia ejecutora [implementing] (o con políticos, ONG u otros activistas) antes de la implementación de un trata miento. La agencia identifica un conjunto de unidades que formarán los grupos de tratamiento y control. Se hacen medidas de base antes de la aleatorización. Las unidades de tratamiento se seleccionan en una lotería (a veces pública, a veces privada; a veces por bloques, para ayudar a garantizar el equilibrio, a veces no; a veces con tratamiento asignado a individuos, pero a menudo con tratamiento asignado a grupos). La intervención se lleva a cabo, tras lo cual se hacen mediciones del resultado final. Diversidad de aplicaciones contemporáneas, I: RCT 56/88 Críticas a los RCT Son a teóricos: aportan evidencia solo acerca de si una intervención funciona, y no de por qué, lo cual impide generalizar La calidad de las inferencias no supera a la de investigaciones observacionales bien ejecutadas, debido a: 1. problemas de selección y de compliance 2. heterogeneidad de tratamiento 3. dificultades de escalabilidad Diversidad de aplicaciones contemporáneas, II 57/88 Normas, motivaciones e incentivos: En este conjunto de aplicaciones, forman parte de las herramientas de la Economía comportamental, y están asociados a menudo a las intervenciones nudge. Normas sociales 1. broken windows theory: conductas de violación de normas cuando en el en torno se perciben signos de desorden social; ej. Holanda: folleto de publicidad hallado al ir a coger la bicicleta sin tener a la vista una papelera: el 69% lo tiran al suelo si en la calle hay graffiti; el 33% si en la calle no hay graffiti 2. lost letter: precedente en Milgram et al.: cartas selladas, con dirección, pero que no han sido enviadas se dejan dispersas en espacios públicos; la tasa de devolución se considera una medida no obstrusiva de conducta pro social; uso reciente en Chicago y Londres para comparar diferencias de proporciones de Diversidad de aplicaciones contemporáneas, II 58/88 devolución en barrios distintos (p. ej., desde punto de vista de la heterogenei dad étnica) o en comunas italianas (Baldassarri) 3. claxon a coches de bajo/alto status en semáforo en verde: aunque una muestra de individuos predecía que sería más probable que ante un semáforo en verde tocarían el claxon a un coche de alto status que a uno de bajo status, el experi mento (con otros sujetos) reveló lo contrario Diversidad de aplicaciones contemporáneas, II 59/88 Incentivos Tres clases: 1. conducta prosocial (donaciones, voluntariado, consumo de energía…) 2. hábitos de estilo de vida (deporte, abandono de tabaco…) 3. resultados educativos Diversidad de aplicaciones contemporáneas, II 60/88 Incentivos Ej.: resultado contraintuitivo de multas por recogida tarde en guarderías de Haifa (Israel): la teoría de la disuasión predice que una pequeña multa reduciría la proporción de padres que recogerían tarde a sus hijos en 10 guarderías. Se observaron las guarderías durante 20 semanas. En las primeras 10, no se multó a los padres en ninguna. Tras la décima semana, 6 de ellas impusieron multas por un valor aproximadamente equivalente a 3$ a los padres que llegaban más de 10 minutos tras el cierre. Tras la 17ª semana, se eliminaron las multas. Contra las predicciones de la teoría, en el grupo de tratamiento gradualmente aumentaron los retrasos, que se estabilizaron tras tres semanas en una proporción que duplicaba la anterior a las multas; tras la retirada de estas, la proporción se mantuvo en esa proporción más elevada. ¿Por qué? Según los investigadores, debido a la mercantilización de las recogidas con retraso: se perciben como un servicio que se puede comprar por un pequeño precio. Diversidad de aplicaciones contemporáneas, IV 61/88 Instituciones políticas: gran parte de este trabajo examina la representación política y la toma de decisiones de élites dentro de instituciones políticas y electorales específicas. Representación y raza: sesgo racial de élites: Petición de ayuda a políticos: ¿difiere la respuesta según la raza del peticionario? Se hizo un experimento con parlamentarios de 48 estados en Estados Unidos antes de las elecciones de 2008, enviando emails aleatorizados por (1) raza y (2) si se preguntaba por primarias demócratas, por primarias republicanas o sin especificar partido (total de 6 tratamientos). Resultados: menor proporción de respuestas para peticionarios negros. Diversidad de aplicaciones contemporáneas, IV 62/88 Instituciones políticas Representación y raza Grose: Butler y Broockman (2011) asignaron al azar a los parlamentarios estatales de EE. UU. a diferentes grupos de tratamiento para determinar si los parlamentarios discriminaban a electores negros; si esta discriminación, si existía, estaba condicionada por la raza del parlamentario; y si los parlamentarios respondían de manera diferente a electores de diferentes razas por razones estratégicas, electorales o por prejuicios. Butler y Broockman (2011) hicieron que los electores ficticios enviaran a cada parla mentario una solicitud idéntica de ayuda, y cambiaran solo la raza y la pertenencia partidista del elector en las solicitudes de servicio. En general, los electores blancos recibieron más respuestas que los electores negros. Los parlamentarios blancos respondieron a los electores blancos en proporciones más altas que a los electores negros, y los parlamentarios negros respondieron a los electores negros en proporciones más altas que a los electores blancos. Esta diferencia en la respuesta fue impulsada más por un simple sesgo, o “discriminación basada en el gusto”, y menos por las consideraciones partidistas estratégicas de los parlamentarios (aunque ambas eran importantes) (Butler y Broockman 2011, p. 465). Diversidad de aplicaciones contemporáneas, IV 63/88 Instituciones políticas Policy Responsiveness y Accountability en parlamentos: Grose: algunos estudios han examinado el absentismo y la participación en actividades parlamentarias aplicando tratamientos de transparencia. En tres parlamentos estatales de EE. UU., Grose (2010) indujo a los parlamentarios a participar en actividades parlamentarias a través de un experimento de campo. Se alentó a un grupo de tratamiento de parlamen tarios asignados al azar a asistir a votaciones nominales mediante un mensaje escrito en el que se les dijo que su frecuencia de asistencia se haría pública a los medios de comunica ción y, por lo tanto, posiblemente a los electores al final de la sesión legislativa. Aquellos en este grupo de tratamiento participaron en votaciones nominales en proporciones mayores que los parlamentarios del grupo de control, que no recibieron ningún mensaje, lo que sugiere el poder de las preocupaciones de los distritos electorales para aumentar las tasas de participación de los parlamentarios en las votaciones nominales. Diversidad de aplicaciones contemporáneas, V 64/88 Prejuicio y discriminanción Ej.: viajeros de tren e hispanos en Boston, sobre efectos de contacto con out groups: ¿Reduce el prejuicio hacia el grupo externo la exposición a miembros del grupo externo, como predicen los teóricos del contacto, o aumenta la amenaza y la competencia percibidas, como predicen los teóricos de la identidad social y el conflicto? Diversidad de aplicaciones contemporáneas, V 65/88 Prejuicio y discriminanción Enos (2014) usó experimentos de campo para el caso del crecimiento de la población hispana para examinar los efectos del contacto fuera del grupo en la oposición a la inmigración. Asignó a ayudantes de habla hispana a nueve trenes de cercanías todas las mañanas durante dos semanas. Los viajeros desprevenidos que viajaban en estos trenes vivían en suburbios de Boston que eran homogéneamente blancos, es decir, no habían experimentado un crecimiento hispano sustancial. Los 109 viajeros, aproximadamente la mitad en trenes tratados y la mitad en trenes de control, realizaron una encuesta en línea “sobre política” antes del inicio del experimento (línea de base). Algunos de estos viajeros realizaron una encuesta de seguimiento tres días después del primer tratamiento; otros realiza ron una encuesta de seguimiento dos semanas después del primer tratamiento. Al asignar participantes al azar a seguimientos en diferentes momentos, Enos pudo comparar los efectos a corto y largo plazo del contacto con un out group, una distinción que resultó crítica. En general, los viajeros que viajaban en los trenes con hispanohablantes informaron un mayor apoyo a las políticas de inmigración restrictivas que aquellos que viajaban en los trenes de control. Sin embargo, la duración de la exposición mitigó este efecto: después de dos semanas, los viajeros tratados solo informaron preferencias significativamente más restrictivas para una de las tres políticas solicitadas. Consideraciones éticas en los experimentos de campo 66/88 Tratamiento solo de algunos participantes Consecuencias no previstas negativas Integridad; conveniencia de pre registro Experimentos de encuesta Definición (Gaines, Kuklinski y Quirk) 68/88 Un experimento de encuesta no es más que una manipulación deliberada de la forma o colocación de items en un instrumento de encuesta, con el propósito de inferir cómo funciona la opinión pública en el mundo real. A menudo, aprovechando las entrevistas telefónicas asistidas por ordenador (CATI), los investigadores asignan aleatoriamente a los encuestados a las condiciones de control y tratamiento, manipulando activamente un tratamiento. El experimento distingue claramente causa y efecto. Cuando se usan con muestras representativas, por lo tanto, los experimentos de encuestas pueden proporcionar inferencias firme mente fundamentadas sobre actitudes y comportamientos políticos del mundo real. Origen (Gaines, Kuklinski y Quirk) 69/88 Dos problemas molestos en la investigación de encuestas motivaron su adopción: 1. los efectos del orden de preguntas 2. los efectos de redacción de preguntas. Ej. de los años 50 del S. XX: la admisión en Estados Unidos de reporteros comunistas recibía más apoyos cuando era precedida por una pregunta sobre la admisión de reporteros estadounidenses en la URSS que cuando el orden era el inverso. La inter pretación que se hizo de ese resultado permitió pasar de un defecto metodológico a un hallazgo sustantivo sobre la dependencia contextual de las actitudes. Concepción actual (Gaines, Kuklinski y Quirk) 70/88 Los encuestadores desarrollaron otra interpretación positiva de los efectos del orden de las preguntas y la redacción de las preguntas: como una oportunidad metodológica para demostrar la causa y el efecto en el mundo real. Al comparar las respuestas dadas a preguntas manipuladas, según se argumenta, un investigador puede identificar las relaciones causales que existen en el mundo real. Si mencionar la acción afirmativa aumenta el estereotipado en el contexto de una encuesta, entonces las discusiones en el mundo real sobre los programas de acción afirmativa probablemente hagan lo mismo. Con este simple y sutil cambio en la interpretación, los estudiosos transformaron un vicio en una virtud. Triple modestia (Sniderman) 71/88 1. Tratamiento: es adecuado pensar en un tratamiento en un experimento de encuesta no como una intervención o manipulación, sino como una variación en la información presentada o resaltada para los encuestados; 2. Duración: o, más exactamente, la falta de duración. La mayoría de las veces, los experimentos de encuesta terminan casi tan pronto como comienzan; 3. Medición: en la mayoría de las investigaciones, se mide una sola variable depen diente y, lo que es más, se mide con un solo indicador. No es lógicamente necesario que esto sea así. Sin embargo, suele serlo Usos, I 72/88 Priming de una idea o pensamiento para determinar si afecta a una actitud u opinión; ej.: Sniderman y Piazza, en experimento de mere mention para simular conversaciones que tiene la gente. En el grupo de tratamiento, primero se pregun ta sobre la acción afirmativa y después por la actitud hacia los negros; en el grupo de control, se hacen exactamente las mismas preguntas, pero en el orden inverso (el resultado muestra que la mención previa de la acción afirmativa aumenta la estereotipación de los negros) Suministro de distintas cantidades de información Evocación de distintas motivaciones Petición de reflexión profunda antes de responder a una pregunta o, por el contrario, de reacción visceral Usos, II 73/88 Varios elementos de aleatorización: welfare mother experiment (Sniderman y Car mines). Se manipuló tanto la raza (negras / blancas) como los logros educativos (graduadas de la escuela secundaria / fracasadas de la escuela secundaria) en una descripción. La interacción resultó crucial: las predicciones de los encuestados sobre el éxito de la madre fueron más optimistas cuando era negra y graduada de escuela secundaria, y menos optimistas cuando era blanca y fracasada de la escuela secundaria. Prácticas con riesgos de inferencias erróneas, I 74/88 No medición de la duración de los efectos (se suele usar un solo punto temporal de observación). La evidencia muestra que los efectos (de fuentes fiables frente a poco fiables; de participación en discusiones políticas; de confianza tras expo sición a debates políticos violentos televisados) duran relativamente poco Tratamientos de una sola aplicación (no con varias aplicaciones a lo largo del tiempo), mientras que los estímulos que se trata de replicar no ocurren en un solo momento Desatención de causación mutua: ej. acción afirmativa y estereotipos (Sniderman mere mention) Prácticas con riesgos de inferencias erróneas, II 75/88 Falta de un grupo de control (es decir, al que no se le aplica ninguna variedad de tratamiento): un estudio de Kinder y Sanders (1996) sobre el framing de la acción afirmativa es un buen ejemplo. Muestran que quienes leyeron una descripción de la acción afirmativa como remedio por discriminaciones pasadas apoyaron la política más que quienes leyeron una descripción de la acción afirmativa como discriminación inversa. Llegan a la conclusión de que la forma en que los políticos enmarcan los debates sobre políticas determina el apoyo de los ciudadanos a esa política. La condición de control en este estudio sería la petición a los encuestados de expresar sus actitudes ante la acción afirmativa en ausencia de marco [frame] alguno. Sin grupo de control, es problemático saber cuál de los marcos influye en las actitudes. Otras limitaciones 76/88 Contaminación del escenario experimental por dos contextos: 1. preguntas anteriores (efectos trans experimento): efectos spillover accidentales entre experimentos de la misma encuesta 2. mundo real: exposición previa en el mundo real al tratamiento Experimento natural Noción (Robinson, McNulty y Krasno), I 78/88 Una situación en la que una intervención de la “naturaleza” se aproxima a las características de un experimento controlado. Los experimentos naturales, a diferencia de los análisis corre lacionales, se basan en la noción de que algún factor exógeno crea un facsímil de asignación aleatoria, que interviene en un entorno de una manera que potencialmente afecta a algún fenómeno de interés. Dichas intervenciones se conocen como experimentales porque ocurren de tal manera que el analista puede separar las observaciones en grupos equivalentes de “tratamiento” y “control”, ya a través de un impacto diferencial identificable y contemporáneo, ya mediante observaciones previas y posteriores a la intervención. Se puede argumentar que la asignación a grupos de tratamiento y control se ha realizado como si la naturaleza fuera un interventor experimental. Los experimentos naturales se asemejan a experimentos de campo en los que el tratamiento ocurre sin la intervención del investigador, a través de algún proceso incidental. De esta manera, los experimentos naturales comparten algunas de las fortalezas de validez externa de los experimentos de campo, aunque no siempre comparten su validez interna. Noción (Robinson, McNulty y Krasno), II 79/88 Los experimentos naturales, en oposición a los experimentos controlados aleato rios, implican actos de la naturaleza, o más generalmente, intervenciones exógenas que delimitan las observaciones de manera teóricamente importante. Sin embargo, la distinción clave es que el mecanismo de asignación no está sujeto al control del investigador, mientras que en un experimento controlado el investigador genera el mecanismo de asignación para el experimento. En un experimento natural, interviene una fuerza externa que crea grupos de tratamiento comparables de una manera aparentemente aleatoria (adviértase que la causa de esta intervención es irrelevante; puede ser arbitraria, accidental o incidental). En ese sentido, uno podría describirlos como experimentos encontrados (o cuasi experimentos encontrados, si se prefiere). La esperanza del investigador es que la intervención, o tratamiento, sea la única diferencia entre los grupos, que el mecanismo de asignación se comporte tan bien como un mecanismo que se sabe que es aleatorio. Noción (Dunning), II 80/88 A diferencia de los auténticos experimentos, los datos utilizados en los experi mentos naturales provienen de fenómenos naturales en realidad, en las ciencias sociales, de fenómenos que a menudo son producto de fuerzas sociales y políticas. Debido a que la manipulación de las variables de tratamiento generalmente no está bajo el control del analista, los experimentos naturales son, de hecho, estudios observacionales. Sin embargo, a diferencia de otros enfoques no experimentales, un investigador que explota un experimento natural puede afirmar creíblemente que la asignación de los sujetos no experimentales a las condiciones de tratamiento y control es “como si” se hubiera hecho al azar. Los resultados se comparan entre los grupos de tratamiento y control, y tanto el razonamiento a priori como la evidencia empírica se utilizan para validar la afirmación de la aleatorización. Por lo tanto, lo aleatorio o “como si” fuera aleatorio de la asignación a las condiciones de tratamiento y control constituyen la característica definitoria de un experimento natural. Noción (Sekhon y Titiunik), II 81/88 Los experimentos naturales se diferencian de los experimentos controlados aleatorios en dos aspectos fundamentales, el primero de los cuales se reconoce comúnmente y el segundo no. En primer lugar, generalmente no se sabe que el mecanismo que asigna a los sujetos a los grupos de tratamiento y control sea aleatorio. Más bien, ocurre un evento en el mundo que afecta a algunos sujetos pero no a otros, y el investigador asume que la intervención que ocurre naturalmente fue asignada como si fuera al azar (Dunning2008). La condición de aleatoriedad “como si fuera aleatoriamente (al azar)” a veces se denomina exogeneidad. En la mayoría de los estudios, los investigadores hacen todo lo posible para argumentar que esta condición se satisface. La exogeneidad implica que los grupos de tratamiento y control creados por el experimento natural son similares en términos de todos los factores observados y no observados que pueden afectar al resultado de interés, con la excepción del tratamiento y los factores de confusión que controla el investigador. Si los dos grupos son similares de esta manera, entonces se dice que el diseño es válido y la comparación de los resultados entre los grupos identifica el efecto causal del tratamiento. Fuentes (Crasnow) 82/88 Cuatro circunstancias que ofrecen los experimentos de la Naturaleza / Sociedad son intervenciones masivas que hacen irrelevantes los temas de control, situaciones de aislamiento total, eventos inusuales que ocurren dentro de un ambiente estable, o situaciones en las que tanto el ambiente como la intervención son controlados cui dadosamente a través de circunstancias naturales o sociales (Morgan 2013, 345 46): 1. Una intervención masiva produce un “antes” y un “después”, siendo la interven ción tan potente como para aplastar todos los demás factores (ceteris neglectis). Un terremoto podría brindar este tipo de oportunidad. 2. Las islas pueden producir situaciones de aislamiento total (ceteris absentis) y, por lo tanto, pueden brindar la oportunidad de realizar una comparación con una isla o islas similares en las que estén presentes algún factor (o factores) diferente. El uso que hizo Darwin de las Islas Galápagos de esta manera es un ejemplo bien conocido. Fuentes (Crasnow) 83/88 3. Un evento inusual en un entorno estable se diferencia de una intervención masiva en que el argumento no es que otros factores sean irrelevantes, sino que permanezcan iguales (ceteris paribus). Fisman (2001) utiliza la muerte de Suharto para producir evidencia de que la conexión política es causalmente relevante para el valor de las empresas (precios de las acciones). Sostiene que “debido a la estructura política altamente centralizada y estable de Indonesia (hasta el final del reinado de Suharto), es posible construir un índice creíble de conexiones políticas” (Fisman 2001, 1095). 4. Y finalmente, las circunstancias sociales en las que todos los demás factores están controlados por razones distintas de las relevantes para el efecto de la intervención también presentan la oportunidad para un experimento natural. Fuentes (Dunning), I 84/88 1. Mecanismo de aleatorización que divide una población con una probabilidad conocida: ejs.: premios en loterías, como la investigación de Doherty, Green y Gerber (2006) que examina las actitudes de los ganadores de la lotería hacia las políticas redistributivas; el experimento natural se produce porque la cuantía de los premios de los ganadores se asigna aleatoriamente. Otras loterías con ramifi caciones políticas podrían ser: el llamamiento a filas varios beneficios estatales la recepción de órganos de donantes. Fuentes (Dunning), II 85/88 2. Jurisdicciones (territoriales): Los estudios jurisdiccionales generalmente hacen uso de divisiones geográficas para estudiar poblaciones similares que se encuentran por azar en lados opuestos de alguna frontera. Ej.: el análisis de Posner de las tensiones entre los grupos étnicos chewa y tumbuka (que se extienden por la frontera de Malawi y Zambia). Posner (2004) sostiene que los grupos étnicos que residen en la frontera de Zambia y Malawi brindan la oportunidad de estudiar los efectos de la competencia entre partidos y las coaliciones étnicas. El argumento es que los pueblos chewa y tumbuka están más en conflicto en el lado de la frontera de Malawi que en el lado de Zambia, porque juntos comprenden una proporción mucho mayor del electorado general de Malawi en un sistema presidencial en el que el ganador se lo lleva todo. Sugirió que en Zambia, los chewas y los tumbukus se movilizan políticamente como parte de una coalición de “orientales”, ya que por sí solo ninguno de los grupos tiene el tamaño para contribuir con una base de apoyo sustancial en las elecciones nacionales, mientras que en el más pequeño Malawi (donde cada grupo constituye un proporción mucho mayor de la población), los chewas se movilizan como chewas y los tumbukus como tumbukus. Fuentes (Dunning), III 86/88 3. Otros; ejs.: la exploración de Miguel, Satyanath y Sergenti (2004) de la relación entre el crecimiento económico y los conflictos civiles en África sub sahariana utilizando los efectos económicos del mal tiempo (es decir, el mal tiempo como variable instrumental cuyo efecto en los conflictos solo se produce a través del crecimiento económico) Ejemplos 87/88 Uno de los más célebres experimentos naturales es el que aportó a John Snow, tras la epidemia de cólera que afectó al Soho londinense en 1853, evidencia adicional a favor de su teoría de la propagación del cólera mediante el agua contaminada. Véase la descripción en: http://www.ph.ucla.edu/epi/snow/grand_experiment.html Ejemplos en ciencia política (Dunning) 88/88