Evaluación del impacto del Programa.pdf

Revista Latinoamericana de Estudios Educativos (México) ISSN: 0185-1284 rle...

Revista Latinoamericana de Estudios Educativos (México) ISSN: 0185-1284 [email protected] Universidad Iberoamericana, Ciudad de México México Luna Bazaldúa, Diego Armando; Velázquez Villa, Pablo Gerardo Evaluación del impacto del Programa de Escuelas de Tiempo Completo en medidas de logro académico de centros escolares en México Revista Latinoamericana de Estudios Educativos (México), vol. XLIX, núm. 2, 2019, Julio-Diciembre, pp. 87-120 Universidad Iberoamericana, Ciudad de México México Disponible en: https://www.redalyc.org/articulo.oa?id=27059273013 Cómo citar el artículo Número completo Sistema de Información Científica Redalyc Más información del artículo Red de Revistas Científicas de América Latina y el Caribe, España y Portugal Página de la revista en redalyc.org Proyecto académico sin fines de lucro, desarrollado bajo la iniciativa de acceso abierto  POLÍTICA EDUCATIVA RLEE NUEVA ÉPOCA (MÉXICO) 2019 VOLUMEN XLIX NÚMERO 2 ISSN VERSIÓN EN LÍNEA: 2448-878X JULIO-DICIEMBRE PÁGINAS 87–120 Evaluación del impacto del Programa de Escuelas de Tiempo Completo en medidas de logro académico de centros escolares en México Assessment of the Impact of the Full-Time Schools Program in Measures of Academic Achievement in Mexican Schools Diego Armando Luna Bazaldúa Universidad Nacional Autónoma de México, México [email protected] Pablo Gerardo Velázquez Villa Mexicanos Primero, México [email protected] Resumen Abstract En México, hasta la reforma al artículo 51 In Mexico, until the reform to the article 51 de la Ley General de Educación realizada en of the General Law of Education enacted 2016, según lo estipulado en el plan y los in 2016, the school calendar of the public Fecha de ingreso: 27 de marzo de 2019. Fecha de aceptación: 28 de junio de 2019 programas de estudios, el calendario escolar schools of basic education determined that de las escuelas públicas de educación básica they had to comply with 800 hours of clas- determinaba que éstas debían cumplir con ses a year, as stipulated in the study plan 800 horas de clases al año. Con el objetivo and programs. With the aim of expanding de ampliar las oportunidades de aprendizaje, learning opportunities, in 2008, the Full-Time en 2008 se estableció el Programa Escuelas Schools Program (FTSP) was established, de Tiempo Completo (PETC) con el cual se which increased the total amount of clas- incrementó el total de este tiempo a 1 200 ses to 1 200 hours devoted to teaching in horas dedicadas a la enseñanza en el ciclo the school year. This research sought to de- escolar. En esta investigación se buscó deter- termine the impact of the implementation minar el impacto de la implementación del of the FTSP in the performance of students PETC en el desempeño de los estudiantes de in the National Assessment of Educational la Evaluación Nacional de Logro Académico Achievement in Schools. After controlling for en Centros Escolares (ENLACE). Tras controlar sociodemographic covariates and attrition in por el sesgo de covariables sociodemográ- response bias, the results show that the im- ficas y de atrición en la respuesta, los resul- plementation of the program had a positive tados muestran que la implementación del effect on the levels of achievement and test programa tuvo un efecto positivo en los ni- scores. veles de logro y puntajes en la prueba. Palabras clave: escuelas de tiempo completo, Key words: full-time schools, educational logro escolar, evaluación de impacto, métodos achievement, impact assessment, quasi-ex- cuasi-experimentales, estudio longitudinal perimental methods, longitudinal study  Introducción De acuerdo con Aronson, Zimmerman y Carlos (1998), el tiem- po que pasa un estudiante en la escuela ha sido clasificado de la siguiente manera: a) Tiempo en ella, entendido como la cantidad de tiempo en la cual el alumno está presente en la escuela, aun- que dicha presencia no garantiza que se involucre en procesos de aprendizaje, pues puede incluir actividades de receso, llegada y espe- ra a la salida; b) Tiempo en clase, el cual se refiere a la cantidad de tiempo en la cual el alumno está presente en ella, sin que necesaria- mente utilice ese tiempo en procesos de aprendizaje; c) Tiempo para la enseñanza, alude a la cantidad de tiempo en la que el alumno está presente en la clase y el profesor está de manera activa enseñando, aun cuando el alumno pueda no estar atento a lo que el profesor está enseñando y, por lo tanto, no esté ocurriendo un proceso de apren- dizaje y d) Tiempo para el aprendizaje, que comprende la cantidad de tiempo en el que el alumno está activamente aprendiendo. Sin embargo, hay una gran dificultad metodológica para cono- cer de modo específico cómo se utiliza el tiempo en la escuela. Esto implicaría una observación directa en el aula por periodos largos de tiempo o el análisis y codificación de videograbaciones en el aula (Razo y Cabrero, 2015). Por ello, una variable de interés utilizada para evaluar el impacto del tiempo en el aprendizaje es la extensión de tiempo en el horario escolar, bajo el supuesto de que extender el tiempo que pasan los alumnos en la escuela da la oportunidad de incrementar también el tiempo para la enseñanza y el aprendizaje (Patall, Cooper y Allen, 2009). nueva época / VOL. xLIX, NÚM. 2 / 2019 Kidron y Lindsay (2014) identifican cuatro tipos de programas enfocados en el tiempo adicional para actividades formales de en- señanza y aprendizaje: programas extraescolares de apoyo escolar, programas de escuelas de verano, programas de escuelas anuales y programas de tiempo escolar extendido. La distinción entre cada uno de éstos es el momento del ciclo escolar en el que ocurre la expansión del tiempo dedicado a la enseñanza y el tipo de espacio físico donde ocurren dichas actividades. El programa de interés en este estudio, Programa de Escuelas de Tiempo Completo (PETC) en rlee México, cae dentro de la categoría de programas de tiempo escolar 88 extendido, dado que el énfasis del mismo es el incremento en el diego armando luna bazaldúa y pablo gerardo Velázquez villa / Evaluación del impacto del programa eescuelas de tiempo completo... número de horas del horario escolar para la enseñanza, respetando el inicio y fin de cursos del calendario escolar. Silva (2007) señala que la efectividad esperada al extender el tiempo escolar depende de en qué se utiliza el tiempo extra, dado que agregar más tiempo de instrucción o manejo de grupo en ambientes donde estos dos com- ponentes son débiles, no resultará en mayor aprendizaje por parte de los alumnos. Existe evidencia del efecto positivo de este tipo de programas enfocados en la extensión del tiempo escolar para la enseñanza y el aprendizaje. Por ejemplo, Adelman, Haslam y Pringle (1996) en- contraron que extender el día escolar en Boston tenía un impacto positivo en el aprendizaje de los estudiantes, al incrementar de 77% a 90% el porcentaje de estudiantes que alcanzaban las habilidades básicas de lectura. Ross, McDonald, Alberg y McSparrin-Gallagher (2007) analizaron el impacto de extender el día escolar a la par de implementar otras políticas como acceso a los maestros después de clase y aumento de interacciones entre familia y escuela; los resulta- dos de su estudio indican que aquellos estudiantes expuestos a este tipo de programas obtuvieron mejores resultados en 4 de 6 exáme- nes estandarizados comparados con sus pares en escuelas que no recibieron tiempo adicional. Gersten, Compton, Connor, Dimino, Santoro, Linan-Thompson y Tilly (2009) han encontrado que un incremento en el tiempo dedicado a la enseñanza y el aprendizaje en la escuela promueve que los estudiantes no queden rezagados en la revisión del contenido curricular. Tras una revisión sistemática de la literatura en el efecto del tiempo escolar, Kidron y Lindsay (2014) encuentran que, en gene- ral, producen una mejora en puntajes de logro académico en habili- dad lectora y matemática; estos resultados parecen ser más notorios entre los estudiantes con bajo desempeño, pero esto depende del estilo de enseñanza utilizado por los docentes. Otros estudios seña- lan que pasar mayor tiempo en la escuela es particularmente positivo para los estudiantes en condición de desventaja, ya sea académica, económica, o de grupos minoritarios (Tuttle, Teh, Nichols-Barrer, Gilly Gleason, 2010; Burkam, Ready, Leey LoGerfo, 2004; Cooper, Nye, Charlton, Lindsayy Greathouse, 1996). Sin embargo, Chec- 89  koway, Boulay, Gamse, Caven, Fox, Kliorys, Luck, Maree, Velezy Woodford (2011) reportan no encontrar mejoras significativas en escuelas de Massachusetts que extendieron 300 horas al año en la escuela, ni tampoco identificaron diferencias entre grado escolar o asignaturas. A pesar de que la investigación en este tema muestra efectos positivos en el desempeño escolar, la mayor parte de la investiga- ción sobre el efecto del tiempo escolar se ha efectuado en países desarrollados. Entre la investigación previa en torno al PETC, existe una pesquisa de corte descriptivo que indica un decremento en la proporción de estudiantes clasificados en el nivel más bajo de lo- gro académico en la Evaluación Nacional de Logros Académicos en Centros Escolares (ENLACE), al mismo tiempo que se reporta un incremento de estudiantes en el nivel más alto de logro medido por esta prueba (Gómez-Zermeño, Flores-Fahara y Alemán, 2013). Sin embargo, es difícil establecer una relación causal entre el PETC y el logro académico de los estudiantes y las escuelas con un reporte descriptivo. En concordancia con este hallazgo y con base en la experiencia de una escuela primaria de tiempo completo en el estado de Hidalgo, México, López Mera (2012) señala que para el éxito del programa es necesario un liderazgo pedagógico y oportuno de la dirección es- colar, que será quien dirija a la comunidad académica en cuestiones como uso del horario, aprovechamiento del tiempo de la jornada ampliada y fortalecimiento de las capacidades del resto de la comu- nidad escolar. A partir de estos antecedentes, el objetivo de la presente inves- nueva época / VOL. xLIX, NÚM. 2 / 2019 tigación fue determinar si el PETC ha tenido algún impacto en el logro educativo medido por la prueba ENLACE utilizando métodos analíticos bajo el marco de la inferencia causal para el control de co- variables entre grupos (Shadish, Cook y Campbell, 2002). Se tomó como criterio o norma de impacto el cambio en puntajes promedio en la prueba ENLACE a partir de una medición de línea base de es- cuelas que implementaron y no implementaron el PETC, utilizando un modelo longitudinal de diferencias-en-diferencias (Shadish et al., 2002; Stuart, Huskamp, Duckworth, Simmons, Song, Chernew y rlee Barry, 2014). A continuación, se presenta una revisión sobre el PETC en México, seguido de información pertinente a la metodología de 90 la investigación, luego una sección con resultados, para finalizar con diego armando luna bazaldúa y pablo gerardo Velázquez villa / Evaluación del impacto del programa eescuelas de tiempo completo... discusión y conclusiones generales. El Programa de Escuelas de Tiempo Completo en México El PETC resultó de una iniciativa propuesta de política educativa en el año 2008 cuyo objetivo general era generar ambientes educativos propicios para ampliar las oportuni- dades de aprendizaje y el desarrollo de competencias de los alumnos conforme a los propósitos de la educación pública básica y desde la posibilidad que ofrece la incorporación de Líneas de Trabajo en la ampliación de la jornada escolar (Diario Oficial de la Federa- ción, DOF, 2008). Con el paso del tiempo, los objetivos del Programa se han mo- dificado para agregar nuevas metas. Por ejemplo, la meta en 2009 incluía la formación en valores ciudadanos, el desarrollo de com- petencias y la adquisición de conocimientos (DOF, 2009). En 2015 el objetivo general se enfocaba en aprovechar mejor el tiem- po disponible para el desarrollo académico, deportivo y cultural; además de que en aquellas escuelas que se necesite, se impulsarán esquemas eficientes para el suministro de alimentos al alumnado (DOF, 2015). Es decir, el Programa inició con el objetivo de exten- der y aprovechar una jornada ampliada para enseñar más tiempo los contenidos curriculares de educación básica, pero con el tiempo se incorporaron otros componentes adicionales al currículo. Asimis- mo, el Programa adicionó acciones encaminadas a abatir la desnu- trición del alumnado y de fortalecer el tejido social en la población. En sus inicios, el PETC se dirigía a las escuelas públicas de educa- ción básica que atendieran población en condiciones desfavorables en contextos urbanos y que presentaran bajos resultados educativos. Conforme el programa escaló y presentó incrementos en los recur- sos destinados al mismo, los criterios de inclusión de escuelas se volvieron ambiguos. Por ejemplo, de acuerdo con el DOF (2010), las reglas de operación del PETC establecían que la población objetivo se centraba en escuelas públicas de educación básica que contaran 91  alguna de las siguientes características: escuelas que decidan partici- par en el programa, escuelas que ya operaban en horario ampliado, escuelas que presentaban bajos resultados educativos, o bien escuelas ubicadas en contextos indígenas o migrantes. Financiamiento del PETC En el primer año, los recursos financieros del Programa estaban li- mitados a los siguientes componentes: actualización del personal directivo, docente y de apoyo; seguimiento y asesoría a las escuelas; material didáctico; servicios de alimentación a alumnos y docentes; personal de apoyo para la atención al horario escolar ampliado y al fortalecimiento de las Coordinaciones Estatales del PETC. A partir de 2010, las Reglas de Operación permitieron destinar un porcen- taje de hasta 30% de los recursos para cubrir los apoyos económicos al personal directivo y docente que participa en el PETC. Como se muestra en el cuadro 1, el presupuesto para el PETC se incrementó año con año a partir de su creación. Mientras en 2009 ejerció un presupuesto de 254.4 millones de pesos, en 2014 alcanzó su punto más alto al ejercer 11 440.9 millones de pesos. En 2015 tuvo una caída en su presupuesto superior a 40% del monto ejercido en el año anterior, provocado, principalmente, por un recorte en el gasto público federal. Cabe indicar que el presupuesto asignado al progra- ma cada año no dependía de los resultados educativos producidos por el mismo. Cobertura del PETC nueva época / VOL. xLIX, NÚM. 2 / 2019 Siguiendo un patrón similar al del presupuesto, el PETC aumentó de manera considerable el número de escuelas incorporadas al Pro- grama. Como se muestra en el cuadro 2, mientras que en 2009 se contabilizaban 2 012 escuelas públicas en el programa, para 2015 el padrón de escuelas beneficiarias había aumentado a 24 507 cen- tros escolares. Se observa que la mayoría de las escuelas de tiempo completo han sido las primarias generales. En 2009, casi 70% de las escuelas de tiempo completo eran escuelas primarias públicas rlee generales. Este porcentaje se mantuvo constante a lo largo de los años, aunque descendió un poco para 2015 al ubicarse en 66.3%. 92 La modalidad que ha visto disminuida su participación en términos diego armando luna bazaldúa y pablo gerardo Velázquez villa / Evaluación del impacto del programa eescuelas de tiempo completo... porcentuales es el Preescolar General, al pasar de 13.9% a 7.6%. Por el contrario, la modalidad que más ha aumentado su participación en el padrón de beneficiarios de escuelas de tiempo completo son las Telesecundarias, al incrementar de 4.2% a 10.4% de escuelas sobre el total de beneficiarios. Cuadro 1. Evolución del gasto asignado y ejercido en el Programa, en pesos mexicanos Año Original Modificado Ejercido 2009 300 000 000.00 254 558 200.00 254 558 200.00 2010 507 305 225.00 416 465 359.00 416 465 359.00 2011 1 802 830 069.00 1 487 027 663.00 1 487 027 663.00 2012 3 002 953 668.00 2 508 721 886.00 2 508 721 886.00 2013 6 102 953 668.00 5 979 992 467.00 5 943 339 272.00 2014 12 000 381 528.00 11 440 988 293.00 11 440 961 293.00 2015 12 500 381 529.00 6 684 905 306.00 6 684 892 388.00 Fuente: elaboración propia con base en datos de la cuenta pública de cada año. Cuadro 2. Número de escuelas participantes en el PETC por modalidad Modalidad de escuela 2009 2010 2011 2012 2013 2014 2015 Educación Especial 8 62 105 105 116 120 150 Preescolar 279 311 1 234 1 251 1 372 1 675 1 858 Preescolar Indígena 5 12 55 50 104 239 245 Primaria 1 404 1 498 3 995 4 230 10 837 15 468 16 249 Primaria Indígena 199 192 496 489 2,213 3,032 3,116 Secundaria General 20 24 166 145 213 210 218 Secundaria para Trabajadores 0 0 1 0 4 4 0 Secundaria Técnica 13 26 90 95 102 114 111 Telesecundaria 84 77 314 339 384 2,309 2,548 No especificado 0 0 4 4 4 11 12 Total 2 012 2 202 6 460 6 708 15 349 23 182 24 507 Fuente: elaboración propia con datos de la Secretaría de Educación Pública. 93  Método Datos La información utilizada para este análisis son los resultados de des- empeño de las escuelas primarias en la prueba ENLACE entre los ciclos escolares 2006-2007 y 2013-20014. Dada la naturaleza lon- gitudinal de los datos, la información de rendimiento académico en el ciclo 2006-2007 fue utilizada como una línea base antes del inicio del PETC. Los datos abiertos de esta evaluación desglosan el puntaje promedio de los centros escolares en las pruebas de Espa- ñol y de Matemáticas de ENLACE, así como el número y porcentaje de alumnos en los cuatro niveles de logro en la prueba: insuficiente, elemental, bueno y excelente. Para identificar las escuelas de tiempo completo, se utilizó la información de padrones de beneficiarios de los programas federales de la Secretaría de Educación Pública. Esta información permitió identificar los ciclos escolares en los cuales se implementó el PETC en cada una de las escuelas con datos reporta- dos de ENLACE. La base de datos original de ENLACE también señala el nivel de marginación de la localidad en la que se encuentra la escuela, así como el número de alumnos evaluados en cada centro escolar. Dado que la información de ENLACE contiene datos de georreferen- ciación de las escuelas, fue posible complementar la información de rendimiento académico con 129 variables del contexto socioeconó- mico de las secciones electorales donde se encuentran las escuelas; estos datos fueron obtenidos de las Estadísticas Censales a escalas nueva época / VOL. xLIX, NÚM. 2 / 2019 geoelectorales producidas por el Instituto Nacional de Estadística y Geografía (INEGI) y el Instituto Nacional Electoral con base en el Censo de Población y Vivienda 2010. La base de datos original presentaba valores perdidos en algu- nos de los puntajes de ENLACE en Español y Matemáticas de los centros escolares. Previo a cualquier análisis de resultados, se proce- dió a realizar un proceso de imputación de datos en las variables de interés con técnicas de imputación múltiple (Zachrisson, Dearing, Lekhal y Toppelberg, 2013; Van Buuren, 2007). Se generaron diez rlee bases de datos imputados en los puntajes de ENLACE con el mismo 94 tamaño de muestra que la base original de modo independiente. diego armando luna bazaldúa y pablo gerardo Velázquez villa / Evaluación del impacto del programa eescuelas de tiempo completo... Estas bases de datos imputados fueron analizadas a partir del mismo modelo estadístico utilizado para la base de datos completa. Muestra Los datos descritos en la sección anterior permitieron incluir un to- tal de 62 246 escuelas públicas indígenas y generales de nivel prima- ria que sí contaban con información sociodemográfica suficiente en la muestra. Para este análisis, no se incluyeron las escuelas prima- rias de sostenimiento privado ni del Consejo Nacional de Fomento Educativo (Conafe). Una comparación de la información sociodemográfica de los centros escolares que en algún punto han implementado el PETC (N = 10706) comparados con aquellos que nunca implementaron el programa (N = 51540) reveló la existencia de diferencias considera- bles entre ambos tipos de escuelas en casi todas las variables socio- demográficas. Estas diferencias sociodemográficas entre ambos tipos de centros escolares podrían producir sesgos al momento de deter- minar el impacto del PETC en el desempeño en la prueba ENLACE, por lo que se generó una submuestra apareada de casos utilizando puntajes de propensidad (Austin, 2011; Caliendo y Kopeinig, 2008; Guo y Fraser, 2010; Shadish y Steiner, 2010). Para la estimación de los puntajes de propensidad se utilizó como modelo el generalized boosted model (GBM; McCaffrey, Griffin, Al- mirall, Slaughter, Ramchand y Burgette, 2013; Ridgeway, McCaf- frey, Morral, Griffin y Burgette, 2016), una técnica de minería de datos que produce puntajes de propensidad con mayor balance en- tre covariables, comparada con otras técnicas analíticas. La variable dependiente en el modelo fue una variable dicotómica que identifica si las escuelas en algún punto han formado parte del PETC o no. Las variables independientes fueron correspondientes a los datos so- ciodemográficos de INEGI, que presentaban baja multicolinealidad. Una vez calculados los puntajes de propensidad, se procedió a gene- rar un apareamiento (matching) de uno a uno entre escuelas que for- maron parte del PETC (N = 10706) y aquellas que no (N = 10706). Este proceso resultó en una reducción del sesgo absoluto de 190 95  covariables de 0.129 en la muestra completa de escuelas primarias públicas (N = 62 246) a 0.042 en la muestra apareada (N = 21 412). Este valor promedio de sesgo absoluto en la muestra apareada cae dentro del nivel recomendado por el Institute of Education Sciences (What Works Clearinghouse, 2014). El Anexo A detalla la reducción del sesgo absoluto en algunas de las 190 covariables sociodemográficas en la muestra apareada de escuelas con respecto a la muestra completa de las mismas. Las dife- rencias de medias en la muestra completa revelan contrastes sociode- mográficos de las localidades en las que se encuentran las escuelas que implementaron el PETC con respecto al resto de las escuelas prima- rias públicas. Por ejemplo, las PETC están circunscritas a localidades con menor población, estas localidades presentan un menor porcen- taje de su población afiliada al Instituto Mexicano del Seguro Social (IMSS), pero un mayor porcentaje que depende del Seguro Popular (SP) reportan tener una mayor proporción de población no católica y los hogares dentro de estas localidades presentan mayores caren- cias de infraestructura y servicios (por ejemplo, drenaje, electricidad, televisión, refrigerador, lavadora, computadora y telefonía celular). Las diferencias sociodemográficas entre ambos grupos de escuelas se reducen cuando se produce el apareamiento (matching) con punta- jes de propensidad. Es importante enfatizar que las covariables sociodemográficas corresponden a la localidad en la cual las escuelas están circunscritas, pero no son covariables sociodemográficas de la población dentro de las propias escuelas. Los datos originales de ENLACE no cuentan con mucha información sociodemográfica, por lo que tal información nueva época / VOL. xLIX, NÚM. 2 / 2019 de la localidad es el mejor aproximado disponible para controlar por sesgos adicionales en la evaluación del impacto del PETC. Diseño de investigación y modelo estadístico El diseño de investigación de este estudio es cuasi-experimental con datos longitudinales. Es un diseño cuasi-experimental dado que el PETC no fue asignado a los centros escolares de modo aleatorio, se cuenta con un grupo comparativo de escuelas que nunca han rlee implementado el programa y con una línea base para ambos gru- 96 pos en sus puntajes de la prueba ENLACE antes de que comenza- ra la implementación del programa. En el contexto de los estudios cuasi-experimentales en educación, la implementación del PETC se considera como la intervención y las variables dependientes co- rresponden a los puntajes en la prueba ENLACE antes y después de la implementación de dicho programa (Shadish et al., 2002; What Works Clearinghouse, 2014). Una vez que la muestra analítica completa y apareada fue de- finida y los valores perdidos imputados, se procedió a definir el modelo estadístico a utilizar para determinar el impacto del PETC en los puntajes de la prueba ENLACE. Dado el tipo y cantidad de datos longitudinales disponibles, este estudio combinó el uso de análisis de diferencias-en-diferencias (DID, por sus siglas en inglés; Somers, Zhu, Jacob y Bloom, 2013; Stuart et al., 2014) con contro- les de sesgo de covariables con puntajes de propensidad y de sesgo atrición con la imputación múltiple de datos en las variables depen- dientes (Shadish et al., 2002). El análisis DID se estimó utilizando un modelo multinivel longi- tudinal (Raudenbush y Bryk, 2002). Como se muestra en las siguien- tes ecuaciones jerárquicas, en el nivel uno se incluyen los puntajes de la prueba ENLACE de Español y Matemáticas para cada escuela en cada año escolar, así como un indicador binario que identifica si la escuela ha implementado el PETC (ETCti = 1) o no (ETCti = 0) duran- te el año escolar t. En el nivel dos del análisis se incluye información a nivel del i-ésimo centro escolar e información de las covariables sociodemográficas; las covariables seleccionadas fueron aquellas que presentaron muy bajo nivel de multicolinealidad entre ellas. En el nivel dos también se incluye un indicador binario que denota si al menos durante un año escolar la escuela ha implementado el PETC (Ti = 1) o no ha implementado el PETC (Ti = 0). 97  Esta estructura multinivel en los datos permitió estimar un mo- delo DID de efectos fijos (Somers et al., 2013) al comparar escuelas que han implementado el programa con aquellas que nunca lo hi- cieron. El coeficiente de interés es ß11 (y11 en el modelo completo) pues refiere al efecto fijo de DID del PETC durante los años escolares en que dicho programa fue implementado en las escuelas. Además del apareamiento por puntajes de propensidad, el modelo multini- vel también controla el sesgo de las variables sociodemográficas al incorporarlas en el análisis. El software R (R Core Team, 2016) fue utilizado para llevar a cabo la imputación múltiple de los datos con el paquete ‘Amelia’ (Honaker, King y Blackwell, 2011) y la estimación y apareamien- to por puntajes de propensidad con los paquetes ‘twang’ (McCa- ffrey et al., 2013; Ridgeway et al., 2016) y ‘MatchIt’ (Ho, Imai, King y Stuart, 2007). Para la estimación de los modelos multinivel longitudinales se utilizó el software HLM 7.3 (Raudenbush, Bryky Congdon, 2017) por su flexibilidad para estimar efectos con bases de datos imputados. Resultados Los resultados descriptivos indican que las escuelas que formaron parte en el PETC, en promedio, incrementaron sus puntajes en la prueba ENLACE durante los años que implementaron el programa. Como se observa en los cuadros 3 y 4, en la mayoría de los años es- colares entre 2007-2008 y 2013-2014, los puntajes tanto en la prue- ba de Español como la de Matemáticas son mayores para las escuelas nueva época / VOL. xLIX, NÚM. 2 / 2019 que están implementando el PETC (columnas en la extrema derecha en ambos cuadros) comparadas con aquellos centros escolares en el grupo comparativo y con escuelas que eventualmente implemen- tarían el PETC pero que en ese año escolar específico no formaron parte del programa. De la misma manera, los cuadros 3 y 4 muestran un decremento en el número de alumnos clasificados en el nivel más bajo de logro en Español y en Matemáticas y un incremento en alumnos clasifica- dos en el nivel más alto de logro en las pruebas cuando las escuelas rlee implementan el PETC. Por ejemplo, en el caso del grupo de escuelas 98 que eventualmente implementarían el PETC, en promedio 27.91% diego armando luna bazaldúa y pablo gerardo Velázquez villa / Evaluación del impacto del programa eescuelas de tiempo completo... de sus estudiantes son clasificados con un nivel insuficiente en Espa- ñol y 26.13% en Matemáticas en el ciclo escolar 2006-2007; para el ciclo escolar 2013-2014, las escuelas que ya implementan el PETC en promedio cuentan con 22.90% de sus estudiantes clasificados en el nivel insuficiente en Español y 19.45% en Matemáticas. Este de- cremento en la proporción de estudiantes en el nivel más bajo de desempeño también se observa en los otros grupos analizados, por lo que es necesario hacer uso de modelos multinivel para identificar si estos cambios a lo largo del tiempo se pueden atribuir al PETC. Los resultados de los modelos multinivel se presentan en el cua- dro 5. Los resultados se desglosan por muestra utilizada para el aná- lisis: muestra completa de escuelas que implementaron el PETC y el resto de escuelas del grupo comparativo, muestra apareada uno a uno de escuelas con PETC y escuelas del grupo comparativo con un perfil promedio similar en covariables sociodemográficas y muestra apareada con datos imputados en las variables dependientes del mo- delo. Se reportan coeficientes para el intercepto global (y00) entendi- do como un promedio general esperado con este modelo multinivel, el efecto de haber participado en algún ciclo escolar en el PETC (y10) y el efecto de haber implementado el PETC en un ciclo escolar en específico (y11). No se reporta el efecto de las covariables sociodemo- gráficas por cuestiones de espacio. En general, los resultados indican un efecto positivo significa- tivo del PETC en la prueba de Español y un efecto positivo pero no estadísticamente significativo en Matemáticas. En el caso de los puntajes y clasificación de los estudiantes en niveles de desempeño en Español, se observa que el efecto del PETC es atribuible única- mente a los años en que el programa se implementó en las escue- las, cuando se controla por sesgos de covariables sociodemográficas y de atrición en las variables dependientes. Así, el extender el nú- mero de horas escolares en un ciclo escolar, incrementa el puntaje promedio en la prueba de Español de ENLACE en 25.64 puntos, decrementa en promedio el porcentaje de estudiantes en el nivel más bajo de logro en la prueba de Español en un 16.4% e incrementa el porcentaje de alumnos en el nivel más alto de logro en un 0.85%. 99  Los resultados en la prueba de Matemáticas también son positi- vos, pero no son estadísticamente significativos. Cuando se controla por el sesgo de covariables y de atrición, se observa que implementar el PETC produce un incremento promedio de 28.47 puntos en el puntaje de la prueba de Matemáticas de ENLACE. Este programa produce un decremento en el porcentaje de estudiantes con un nivel de logro insuficiente en Matemáticas de 13.8% y un incremento de 0.23% en el porcentaje de estudiantes en el nivel de logro excelente. Discusión y conclusiones Los resultados de esta investigación sugieren que el PETC tiene un impacto positivo en el logro académico de las escuelas en la prueba ENLACE, lo que da apoyo a uno de los principales objetivos de esta política educativa implementada en miles de centros escolares en México. Estos resultados son consistentes con la literatura en tor- no a los beneficios de los programas de extensión tiempo escolar (Kidron y Lindsay, 2014; Patall et al., 2010; Ross et al., 2007). El PETC y programas similares en otros países promueven el nivel de logro de los estudiantes al pasar de niveles de desempeño insuficien- te en dominios escolares a niveles esperados de logro escolar (Adel- man et al., 1996); estos resultados respecto a la mejora en los niveles de logro académico también corroboran estudios descriptivos pre- vios en torno al PETC (Gómez et al., 2013). A futuro, será necesario determinar en qué medida los resultados alcanzados por el PETC resultan óptimos desde una perspectiva de costo-beneficio (Levin, nueva época / VOL. xLIX, NÚM. 2 / 2019 McEwan, Blefield, Brooks y Shand, 2017). El hecho de que los niveles de logro y puntajes en la prueba de Matemáticas no fueran estadísticamente significativos, a pesar de ser positivos, es algo reportado en la literatura. Kidron y Lindsay (2014) encontraron que los programas enfocados en un incremento para el tiempo de instrucción y aprendizaje tienen un mayor efecto en habilidades lectoras en educación primaria comparadas con ha- bilidades lógico-matemáticas, además de que este efecto depende del grado escolar de los estudiantes expuestos a programas como el rlee PETC. Sin embargo, estos autores enfatizan que el beneficio de es- 100 tos programas es mayor para aquellos estudiantes en los niveles más diego armando luna bazaldúa y pablo gerardo Velázquez villa / Evaluación del impacto del programa eescuelas de tiempo completo... bajo de desempeño, lo cual es consistente con lo encontrado en la presente investigación. Cuadro 3. Estadísticas descriptivas de puntajes en la prueba ENLACE de Español por año escolar y grupo Muestra Muestra Muestra Muestra comparativa comparativa con PETC no con PETC completa apareada implementedo implementedo Variables Año Media DE Media DE Media DE Media DE 06-07 478.91 63.15 477.22 64.30 477.05 64.93 -- -- 07-08 478.74 65.69 480.57 67.05 476.86 67.80 532.79 56.60 08-09 466.37 103.27 470.64 99.29 467.21 100.04 507.58 71.33 Puntaje en 09-10 461.64 120.35 465.70 111.15 463.63 107.19 487.99 98.27 Español 10-11 503.32 106.40 505.99 96.40 501.25 102.81 525.52 81.01 11-12 520.68 71.42 519.57 72.13 506.96 75.46 542.09 66.21 12-13 519.19 78.61 516.71 82.28 500.23 86.92 540.80 73.98 13-14 520.77 78.91 519.11 84.00 528.17 84.24 518.23 87.63 06-07 26.68 27.64 27.91 -- 07-08 27.02 26.88 28.41 13.39 % de estudiantes 08-09 28.28 28.02 29.32 21.58 clasificados en 09-10 27.22 28.44 30.06 24.07 nivel de logro 10-11 16.66 17.81 18.36 14.98 insuficiente en Español. 11-12 18.61 19.33 22.30 14.91 12-13 23.24 24.39 28.87 19.02 13-14 20.36 22.04 19.85 22.90 06-07 0.64 0.66 0.67 -- 07-08 0.99 1.14 1.11 3.80 % de estudiantes 08-09 1.30 1.47 1.44 2.92 clasificados en 09-10 1.39 1.50 1.43 2.05 nivel de logro 10-11 1.66 1.73 1.69 2.65 excelente en 11-12 3.90 3.91 3.19 6.28 Español. 12-13 5.65 5.90 4.71 8.57 13-14 5.35 5.79 6.90 6.26 Nota: DE se refiere a la desviación estándar. Una de las contribuciones metodológicas del presente estudio es el controlar por sesgos en la evaluación del programa bajo un di- seño cuasi-experimental. El haber utilizado técnicas analíticas para controlar por diferencias sociodemográficas entre las escuelas que implementan el PETC y el grupo comparativo, así como el haber considerado la atrición de datos a lo largo del tiempo, permiten ro- 101  bustecer los resultados encontrados y descartar hipótesis alternativas que invaliden los resultados en torno al efecto del programa (Cam- pbell y Stanley, 1963; Shadish et al., 2002). Cuadro 4. Estadísticas descriptivas de puntajes en la prueba ENLACE de Matemáticas por año escolar y grupo Muestra Muestra Muestra Muestra comparativa comparativa con PETC no con PETC completa apareada implementedo implementedo Variables Año Media DE Media DE Media DE Media DE 06-07 482.78 66.06 481.73 66.98 479.69 67.06 -- -- 07-08 482.26 70.27 484.84 71.88 478.98 71.17 536.52 66.25 08-09 472.42 111.02 477.09 106.93 470.23 108.51 511.76 81.51 Puntaje en 09-10 473.51 129.76 478.41 120.06 473.94 116.80 500.65 107.16 Matemáticas 10-11 508.15 115.88 510.75 106.68 503.18 111.34 530.64 90.91 11-12 528.46 85.19 527.85 85.87 512.63 90.12 545.94 78.49 12-13 545.60 93.08 544.03 96.78 521.93 102.51 568.78 85.78 13-14 564.56 97.47 563.53 102.51 571.14 102.39 558.18 107.78 06-07 24.67 25.47 26.13 -- 07-08 27.26 27.04 28.75 13.86 % de estudiantes 08-09 29.56 29.57 31.50 23.37 clasificados en 09-10 25.31 26.41 28.51 22.56 nivel de logro insuficiente en 10-11 16.69 17.78 19.05 15.08 Matemáticas. 11-12 17.96 18.44 22.26 15.11 12-13 19.10 19.94 25.75 15.00 13-14 16.44 17.44 16.78 19.45 06-07 0.57 0.56 0.62 -- 07-08 1.54 1.77 1.59 4.71 nueva época / VOL. xLIX, NÚM. 2 / 2019 % de estudiantes 08-09 2.27 2.44 2.27 4.08 clasificados en 09-10 2.75 2.95 2.72 4.09 nivel de logro 10-11 3.60 3.76 3.28 4.58 excelente en Matemáticas. 11-12 5.58 5.74 4.62 7.91 12-13 9.19 9.37 7.40 12.31 13-14 11.64 12.23 13.08 12.47 Nota: DE se refiere a la desviación estándar. rlee 102  Cuadro 5. Coeficientes estimados del efecto del PETC xen las pruebas de Español y Matemáticas de ENLACE diego armando luna bazaldúa y pablo gerardo Velázquez villa / Evaluación del impacto del programa eescuelas de tiempo completo... Muestra apareada con Muestra completa Muestra apareada imputación múltiple Efecto Coef E.E. valor-p Coef E.E. valor-p Coef E.E. valor-p Intercepto, γ00 469.07 2.71