Política educativa
Esta obra está bajo una Licencia Creative Commons Atribución-NoComercial-CompartirIgual 4.0 Internacional.
Recepción: 01 Mayo 2019
Aprobación: 28 Junio 2019
Resumen: En México, hasta la reforma al artículo 51 de la Ley General de Educación realizada en 2016, según lo estipulado en el plan y los programas de estudios, el calendario escolar de las escuelas públicas de educación básica determinaba que éstas debían cumplir con 800 horas de clases al año. Con el objetivo de ampliar las oportunidades de aprendizaje, en 2008 se estableció el Programa Escuelas de Tiempo Completo (PETC) con el cual se incrementó el total de este tiempo a 1 200 horas dedicadas a la enseñanza en el ciclo escolar. En esta investigación se buscó determinar el impacto de la implementación del PETC en el desempeño de los estudiantes de la Evaluación Nacional de Logro Académico en Centros Escolares (ENLACE). Tras controlar por el sesgo de covariables sociodemográficas y de atrición en la respuesta, los resultados muestran que la implementación del programa tuvo un efecto positivo en los niveles de logro y puntajes en la prueba.
Palabras clave: escuelas de tiempo completo, logro escolar, evaluación de impacto, métodos cuasi-experimentales, estudio longitudinal.
Abstract: In Mexico, until the reform to the article 51 of the General Law of Education enacted in 2016, the school calendar of the public schools of basic education determined that they had to comply with 800 hours of classes a year, as stipulated in the study plan and programs. With the aim of expanding learning opportunities, in 2008, the Full-Time Schools Program (FTSP) was established, which increased the total amount of classes to 1 200 hours devoted to teaching in the school year. This research sought to determine the impact of the implementation of the FTSP in the performance of students in the National Assessment of Educational Achievement in Schools. After controlling for sociodemographic covariates and attrition in response bias, the results show that the implementation of the program had a positive effect on the levels of achievement and test scores.
Keywords: full-time schools, educational achievement, impact assessment, quasi-experimental methods, longitudinal study.
Introducción
De acuerdo con Aronson, Zimmerman y Carlos (1998), el tiempo que pasa un estudiante en la escuela ha sido clasificado de la siguiente manera: a) Tiempo en la escuela, entendido como la cantidad de tiempo en la cual el alumno está presente en la misma, aunque dicha presencia no garantiza que se involucre en procesos de aprendizaje, pues puede incluir actividades de receso, llegada y espera a la salida; b) Tiempo en clase, el cual se refiere a la cantidad de tiempo en la cual el alumno está presente en ella, sin que necesariamente utilice ese tiempo en procesos de aprendizaje; c) Tiempo para la enseñanza, alude a la cantidad de tiempo donde el alumno está presente en la clase y el profesor está de manera activa enseñando, aun cuando el alumno pueda no estar atento a lo que el profesor está enseñando y, por lo tanto, no está ocurriendo un proceso de aprendizaje y d) Tiempo para el aprendizaje, que comprende la cantidad de tiempo donde el alumno está activamente aprendiendo.
Sin embargo, hay una gran dificultad metodológica para conocer de modo específico cómo se utiliza el tiempo en la escuela. Esto implicaría una observación directa en el aula por periodos largos de tiempo o el análisis y codificación de videograbaciones en el aula (Razo y Cabrero, 2015). Por ello, una variable de interés utilizada para evaluar el impacto del tiempo en el aprendizaje es la extensión de tiempo en el horario escolar, bajo el supuesto de que extender el tiempo que pasan los alumnos en la escuela da la oportunidad de incrementar también el tiempo para la enseñanza y el aprendizaje (Patall, Cooper y Allen, 2010).
Kidron y Lindsay (2014) identifican cuatro tipos de programas enfocados en el tiempo adicional para actividades formales de enseñanza y aprendizaje: programas extraescolares de apoyo escolar, programas de escuelas de verano, programas de escuelas anuales y programas de tiempo escolar extendido. La distinción entre cada uno de estos programas es el momento del ciclo escolar en el que ocurre la expansión del tiempo dedicado a la enseñanza y el tipo de espacio físico donde ocurren dichas actividades. El programa de interés en este estudio, Programa de Escuelas de Tiempo Completo (PETC) en México, cae dentro de la categoría de programas de tiempo escolar extendido dado que el énfasis del mismo es el incremento en el número de horas del horario escolar para la enseñanza, respetando el inicio y fin de cursos del calendario escolar. Silva (2007) señala que la efectividad esperada al extender el tiempo escolar depende de en qué se utiliza el tiempo extra, dado que agregar más tiempo de instrucción o manejo de grupo en ambientes donde estos dos componentes son débiles, no resultará en mayor aprendizaje por parte de los alumnos.
Existe evidencia del efecto positivo de este tipo de programas enfocados en la extensión del tiempo escolar en la enseñanza y el aprendizaje. Por ejemplo, Adelman, Haslam y Pringle (1996) encontraron que extender el día escolar en Boston tenía un impacto positivo en el aprendizaje de los estudiantes, al incrementar de 77% a 90% el porcentaje de estudiantes que alcanzaban las habilidades básicas de lectura. Ross, McDonald, Alberg y McSparrin-Gallagher (2007) analizaron el impacto de extender el día escolar a la par de implementar otras políticas como acceso a los maestros después de clase y aumento de interacciones entre familia y escuela; los resultados de su estudio indican que aquellos estudiantes expuestos a este tipo de programas obtuvieron mejores resultados en 4 de 6 exámenes estandarizados comparados con sus pares en escuelas que no recibieron tiempo adicional. Gersten, Compton, Connor, Dimino, Santoro, Linan-Thompson y Tilly (2008) han encontrado que un incremento en el tiempo dedicado a la enseñanza y el aprendizaje en la escuela promueve que los estudiantes no queden rezagados en la revisión del contenido curricular.
Tras una revisión sistemática de la literatura en el efecto del tiempo escolar, Kidron y Lindsay (2014) encuentran que, en general, producen una mejora en puntajes de logro académico en habilidad lectora y matemática; estos resultados parecen ser más notorios entre los estudiantes con bajo desempeño, pero esto depende del estilo de enseñanza utilizado por los docentes. Otros estudios señalan que pasar mayor tiempo en la escuela es particularmente positivo para los estudiantes en condición de desventaja ya sea académica, económica, o grupos minoritarios (Tuttle, Teh, Nichols-Barrer, Gilly Gleason, 2010;Burkam, Ready, Leey LoGerfo, 2004; Cooper, Nye, Charlton, Lindsay y Greathouse, 1996). Sin embargo, Checkoway, Boulay, Gamse, Caven, Fox, Kliorys, Luck, Maree, Velezy Woodford (2011) reportan no encontrar mejoras significativas en escuelas de Massachusetts que extendieron 300 horas al año en la escuela, ni tampoco identificaron diferencias entre grado escolar o asignaturas.
A pesar de que la investigación en este tema muestra efectos positivos en el desempeño escolar, la mayor parte de la investigación sobre el efecto del tiempo escolar se ha efectuado en países desarrollados. Entre la investigación previa en torno al PETC, existe investigación de corte descriptivo que indica un decremento en la proporción de estudiantes clasificados en el nivel más bajo de logro académico en la Evaluación Nacional de Logros Académicos en Centros Escolares (ENLACE), al mismo tiempo que se reporta un incremento de estudiantes en el nivel más algo de logro medido por esta prueba (Gómez-Zermeño, Flores-Fahara y Alemán, 2013). Sin embargo, es difícil establecer una relación causal entre el PETC y el logro académico de los estudiantes y las escuelas con un reporte descriptivo.
En concordancia con este hallazgo y con base en la experiencia de una escuela primaria de tiempo completo en el estado de Hidalgo, México, López Mera (2012) señala que para el éxito del programa es necesario un liderazgo pedagógico y oportuno de la dirección escolar, que será quien dirija a la comunidad académica en cuestiones como uso del horario, aprovechamiento del tiempo de la jornada ampliada y fortalecimiento de las capacidades del resto de la comunidad escolar.
A partir de estos antecedentes, el objetivo de la presente investigación fue determinar si el PETC ha tenido algún impacto en el logro educativo medido por la prueba ENLACE utilizando métodos analíticos bajo el marco de la inferencia causal para el control de covariables entre grupos (Shadish, Cook y Campbell, 2002). Se tomó como criterio o norma de impacto el cambio en puntajes promedio en la prueba ENLACE a partir de una medición de línea base de escuelas que implementaron y no implementaron el PETC utilizando un modelo longitudinal de diferencias-en-diferencias (Shadish et al., 2002; Stuart, Huskamp, Duckworth, Simmons, Song, Chernew y Barry, 2014). A continuación, se presenta una revisión sobre el PETC en México, seguido de información pertinente a la metodología de la investigación, luego una sección con resultados, para finalizar con discusión y conclusiones generales.
El Programa de Escuelas de Tiempo Completo en México
El PETC resultó de una iniciativa propuesta de política educativa en el año 2008 cuyo objetivo general era
generar ambientes educativos propicios para ampliar las oportunidades de aprendizaje y el desarrollo de competencias de los alumnos conforme a los propósitos de la educación pública básica y desde la posibilidad que ofrece la incorporación de Líneas de Trabajo en la ampliación de la jornada escolar (Diario Oficial de la Federación, DOF, 2008).
Con el paso del tiempo, los objetivos del Programa se han modificado para agregar nuevas metas. Por ejemplo, la meta en 2009 incluía la formación en valores ciudadanos, el desarrollo de competencias y la adquisición de conocimientos (DOF, 2009). En 2015 el objetivo general se enfocaba en aprovechar mejor el tiempo disponible para el desarrollo académico, deportivo y cultural; además de que en aquellas escuelas que se necesite, se impulsarán esquemas eficientes para el suministro de alimentos al alumnado (DOF, 2015). Es decir, el Programa inició con el objetivo de extender y aprovechar una jornada ampliada para enseñar más tiempo los contenidos curriculares de educación básica, pero con el tiempo se incorporaron otros componentes adicionales al currículo. Asimismo, el Programa adicionó acciones encaminadas a abatir la desnutrición del alumnado y de fortalecer el tejido social en la población.
En sus inicios, el PETC se dirigía a las escuelas públicas de educación básica que atendieran población en condiciones desfavorables en contextos urbanos y que presentaran bajos resultados educativos. Conforme el programa escaló y presentó incrementos en los recursos destinados al mismo, los criterios de inclusión de escuelas se volvieron ambiguos. Por ejemplo, de acuerdo con el DOF (2010), las reglas de operación del PETC establecían que la población objetivo se centraba en escuelas públicas de educación básica que contaran alguna de las siguientes características: escuelas que decidan participar en el programa, escuelas que ya operaban en horario ampliado, escuelas que presentaban bajos resultados educativos, o bien escuelas ubicadas en contextos indígenas o migrantes.
Financiamiento del PETC
En el primer año, los recursos financieros del Programa estaban limitados a los siguientes componentes: actualización del personal directivo, docente y de apoyo; seguimiento y asesoría a las escuelas; material didáctico; servicios de alimentación a alumnos y docentes; personal de apoyo para la atención al horario escolar ampliado y al fortalecimiento de las Coordinaciones Estatales del PETC. A partir de 2010, las Reglas de Operación permitieron destinar un porcentaje de hasta 30% de los recursos para cubrir los apoyos económicos al personal directivo y docente que participa en el PETC. Como se muestra en el cuadro 1, el presupuesto para el PETC se incrementó año con año a partir de su creación. Mientras en 2009 ejerció un presupuesto de 254.4 millones de pesos, en 2014 alcanzó su punto más alto al ejercer 11 440.9 millones de pesos. En 2015 tuvo una caída en su presupuesto superior a 40% del monto ejercido en el año anterior, provocado, principalmente, por un recorte en el gasto público federal. Cabe indicar que el presupuesto asignado al programa cada año no dependía de los resultados educativos producidos por el mismo.
Cobertura del PETC
Siguiendo un patrón similar al del presupuesto, el PETC aumentó de manera considerable el número de escuelas incorporadas al Programa. Como se muestra en el cuadro 2, mientras que en 2009 se contabilizaban 2 012 escuelas públicas en el programa, para 2015 el padrón de escuelas beneficiarias había aumentado a 24 507 centros escolares. Se observa que la mayoría de las escuelas de tiempo completo han sido las primarias generales. En 2009, casi 70% de las escuelas de tiempo completo eran escuelas primarias públicas generales. Este porcentaje se mantuvo constante a lo largo de los años, aunque descendió un poco para 2015 al ubicarse en 66.3%. La modalidad que ha visto disminuida su participación en términos porcentuales es el Preescolar General, al pasar de 13.9% a 7.6%. Por el contrario, la modalidad que más ha aumentado su participación en el padrón de beneficiarios de escuelas de tiempo completo son las Telesecundarias, al incrementar de 4.2% a 10.4% de escuelas sobre el total de beneficiarios.
Evolución del gasto asignado y ejercido en el Programa, en pesos mexicanos
Fuente: elaboración propia con base en la cuenta pública de cada año.
Número de escuelas participantes en el PETC por modalidad
Fuente: elaboración propia con base en datos de la Secretaría de Educación Pública.
Método
Datos
La información utilizada para este análisis son los resultados de desempeño de las escuelas primarias en la prueba ENLACE entre los ciclos escolares 2006-2007 y 2013-20014. Dada la naturaleza longitudinal de los datos, la información de rendimiento académico en el ciclo 2006-2007 fue utilizada como una línea base antes del inicio del PETC. Los datos abiertos de esta evaluación desglosan el puntaje promedio de los centros escolares en las pruebas de Español y de Matemáticas de ENLACE, así como el número y porcentaje de alumnos en los cuatro niveles de logro en la prueba: insuficiente, elemental, bueno y excelente. Para identificar las escuelas de tiempo completo, se utilizó la información de padrones de beneficiarios de los programas federales de la Secretaría de Educación Pública. Esta información permitió identificar los ciclos escolares en los cuales se implementó el PETC en cada una de las escuelas con datos reportados de ENLACE.
La base de datos original de ENLACE también señala el nivel de marginación de la localidad en la que se encuentra la escuela, así como el número de alumnos evaluados en cada centro escolar. Dado que la información de ENLACE contiene datos de georreferenciación de las escuelas, fue posible complementar la información de rendimiento académico con 129 variables del contexto socioeconómico de las secciones electorales donde se encuentran las escuelas; estos datos fueron obtenidos de las Estadísticas Censales a escalas geoelectorales producidas por el Instituto Nacional de Estadística y Geografía (INEGI) y el Instituto Nacional Electoral con base en el Censo de Población y Vivienda 2010.
La base de datos original presentaba valores perdidos en algunos de los puntajes de ENLACE en Español y Matemáticas de los centros escolares. Previo a cualquier análisis de resultados, se procedió a realizar un proceso de imputación de datos en las variables de interés con técnicas de imputación múltiple (Zachrisson, Dearing, Lekhal y Toppelberg, 2013; Van Buuren, 2007). Se generaron diez bases de datos imputados en los puntajes de ENLACE con el mismo tamaño de muestra que la base original de modo independiente. Estas bases de datos imputados fueron analizadas a partir del mismo modelo estadístico utilizado para la base de datos completa.
Muestra
Los datos descritos en la sección anterior permitieron incluir un total de 62 246 escuelas públicas indígenas y generales de nivel primaria que sí contaban con información sociodemográfica suficiente en la muestra. Para este análisis, no se incluyeron las escuelas primarias de sostenimiento privado ni del Consejo Nacional de Fomento Educativo (Conafe).
Una comparación de la información sociodemográfica de los centros escolares que en algún punto han implementado el PETC (N = 10706) comparados con aquellos que nunca implementaron el programa (N = 51540) reveló la existencia de diferencias considerables entre ambos tipos de escuelas en casi todas las variables sociodemográficas. Estas diferencias sociodemográficas entre ambos tipos de centros escolares podrían producir sesgos al momento de determinar el impacto del PETC en el desempeño en la prueba ENLACE, por lo que se generó una submuestra apareada de casos utilizando puntajes de propensidad (Austin, 2011;Caliendo y Kopeinig, 2008; Guo y Fraser, 2010; Shadish y Steiner, 2010).
Para la estimación de los puntajes de propensidad se utilizó como modelo el generalized boosted model (GBM; McCaffrey, Griffin, Almirall, Slaughter, Ramchand y Burgette, 2013; Ridgeway, McCaffrey, Morral, Griffin y Burgette, 2016), una técnica de minería de datos que produce puntajes de propensidad con mayor balance entre covariables, comparada con otras técnicas analíticas. La variable dependiente en el modelo fue una variable dicotómica que identifica si las escuelas en algún punto han formado parte del PETC o no. Las variables independientes fueron correspondientes a los datos sociodemográficos de INEGI que presentaban baja multicolinealidad. Una vez calculados los puntajes de propensidad, se procedió a generar un apareamiento (matching) de uno a uno entre escuelas que formaron parte del PETC (N = 10706) y aquellas que no (N = 10706). Este proceso resultó en una reducción del sesgo absoluto de 190 covariables de 0.129 en la muestra completa de escuelas primarias públicas (N = 62 246) a 0.042 en la muestra apareada (N = 21 412). Este valor promedio de sesgo absoluto en la muestra apareada cae dentro del nivel recomendado por el Institute of Education Sciences (What Works Clearinghouse, 2014).
El Anexo A1 detalla la reducción del sesgo absoluto en algunas de las 190 covariables sociodemográficas en la muestra apareada de escuelas con respecto a la muestra completa de escuelas. Las diferencias de medias en la muestra completa revelan contrastes sociodemográficos de las localidades en las que se encuentran las escuelas que implementaron el PETC con respecto al resto de las escuelas primarias públicas. Por ejemplo, las PETC están circunscritas a localidades con menor población, estas localidades presentan un menor porcentaje de su población afiliada al Instituto Mexicano del Seguro Social (IMSS) pero un mayor porcentaje que depende del Seguro Popular (SP), reportan tener una mayor proporción de población no católica y los hogares dentro de estas localidades presentan mayores carencias de infraestructura y servicios (por ejemplo, drenaje, electricidad, televisión, refrigerador, lavadora, computadora y telefonía celular). Las diferencias sociodemográficas entre ambos grupos de escuelas se reducen cuando se produce el apareamiento (matching) con puntajes de propensidad.
Es importante enfatizar que las covariables sociodemográficas corresponden a la localidad en la cual las escuelas están circunscritas, pero no son covariables sociodemográficas de la población dentro de las propias escuelas. Los datos originales de ENLACE no cuentan con mucha información sociodemográfica, por lo que tal información de la localidad es el mejor aproximado disponible para controlar por sesgos adicionales en la evaluación del impacto del PETC.
Diseño de investigación y modelo estadístico
El diseño de investigación de este estudio es cuasi-experimental con datos longitudinales. Es un diseño cuasi-experimental dado que el PETC no fue asignado a los centros escolares de modo aleatorio, se cuenta con un grupo comparativo de escuelas que nunca han implementado el programa y con una línea base para ambos grupos en sus puntajes de la prueba ENLACE antes de que comenzara la implementación del programa. En el contexto de los estudios cuasi-experimentales en educación, la implementación del PETC se considera como la intervención y las variables dependientes corresponden a los puntajes en la prueba ENLACE antes y después de la implementación de dicho programa (Shadish et al., 2002; What Works Clearinghouse, 2014).
Una vez que la muestra analítica completa y apareada fue definida y los valores perdidos imputados, se procedió a definir el modelo estadístico a utilizar para determinar el impacto del PETC en los puntajes de la prueba ENLACE. Dado el tipo y cantidad de datos longitudinales disponibles, este estudio combinó el uso de análisis de diferencias-en-diferencias (DID, por sus siglas en inglés; Somers, Zhu, Jacob y Bloom, 2013; Stuart et al., 2014) con controles de sesgo de covariables con puntajes de propensidad y de sesgo atrición con la imputación múltiple de datos en las variables dependientes (Shadish et al., 2002).
El análisis DID se estimó utilizando un modelo multinivel longitudinal (Raudenbush y Bryk, 2002). Como se muestra en las siguientes ecuaciones jerárquicas, en el nivel uno se incluyen los puntajes de la prueba ENLACE de Español y Matemáticas para cada escuela en cada año escolar, así como un indicador binario que identifica si la escuela ha implementado el PETC (ETCti = 1) o no (ETCti = 0) durante el año escolar t. En el nivel dos del análisis se incluye información a nivel del i-ésimo centro escolar e información de las covariables sociodemográficas; las covariables seleccionadas fueron aquellas que presentaron muy bajo nivel de multicolinealidad entre ellas. En el nivel dos también se incluye un indicador binario que denota si al menos durante un año escolar la escuela ha implementado el PETC (Ti = 1) o no ha implementado el PETC (Ti = 0).
Esta estructura multinivel en los datos permitió estimar un modelo DID de efectos fijos (Somers et al., 2013) al comparar escuelas que han implementado el programa con aquellas que nunca lo hicieron. El coeficiente de interés es β11 (γ11 en el modelo completo) pues refiere al efecto fijo de DID del PETC durante los años escolares en que dicho programa fue implementado en las escuelas. Además del apareamiento por puntajes de propensidad, el modelo multinivel también controla el sesgo de las variables sociodemográficas al incorporarlas en el análisis.
El software R (R Core Team, 2016) fue utilizado para llevar a cabo la imputación múltiple de los datos con el paquete ‘Amelia’ (Honaker, King y Blackwell, 2011) y la estimación y apareamiento por puntajes de propensidad con los paquetes ‘twang’ (McCaffrey et al., 2013; Ridgeway et al., 2016) y ‘MatchIt’ (Ho, Imai, King y Stuart, 2007). Para la estimación de los modelos multinivel longitudinales se utilizó el software HLM 7.3 (Raudenbush, Bryky Congdon, 2017) por su flexibilidad para estimar efectos con bases de datos imputados.
Resultados
Los resultados descriptivos indican que las escuelas que formaron parte en el PETC, en promedio, incrementaron sus puntajes en la prueba ENLACE durante los años que implementaron el programa. Como se observa en los cuadro 3 y 4 en la mayoría de los años escolares entre 2007-2008 y 2013-2014, los puntajes tanto en la prueba de Español como la de Matemáticas son mayores para las escuelas que están implementando el PETC (columnas en la extrema derecha en ambos cuadros) comparadas con aquellos centros escolares en el grupo comparativo y con escuelas que eventualmente implementarían el PETC pero que en ese año escolar específico no formaron parte del programa.
De la misma manera, los cuadros 3 y 4 muestran un decremento en el número de alumnos clasificados en el nivel más bajo de logro en Español y en Matemáticas y un incremento en alumnos clasificados en el nivel más alto de logro en las pruebas cuando las escuelas implementan el PETC. Por ejemplo, en el caso del grupo de escuelas que eventualmente implementarían el PETC, en promedio 27.91% de sus estudiantes son clasificados con un nivel insuficiente en Español y 26.13% en Matemáticas en el ciclo escolar 2006-2007; para el ciclo escolar 2013-2014, las escuelas que ya implementan el PETC en promedio cuentan con 22.90% de sus estudiantes clasificados en el nivel insuficiente en Español y 19.45% en Matemáticas. Este decremento en la proporción de estudiantes en el nivel más bajo de desempeño también se observa en los otros grupos analizados, por lo que es necesario hacer uso de modelos multinivel para identificar si estos cambios a lo largo del tiempo se pueden atribuir al PETC.
Los resultados de los modelos multinivel se presentan en el cuadro 5. Los resultados se desglosan por muestra utilizada para el análisis: muestra completa de escuelas que implementaron el PETC y el resto de escuelas del grupo comparativo, muestra apareada uno a uno de escuelas con PETC y escuelas del grupo comparativo con un perfil promedio similar en covariables sociodemográficas y muestra apareada con datos imputados en las variables dependientes del modelo. Se reportan coeficientes para el intercepto global (γ00) entendido como un promedio general esperado con este modelo multinivel, el efecto de haber participado en algún ciclo escolar en el PETC (γ10)y el efecto de haber implementado el PETC en un ciclo escolar en específico (γ11). No se reporta el efecto de las covariables sociodemográficas por cuestiones de espacio.
En general, los resultados indican un efecto positivo significativo del PETC en la prueba de Español y un efecto positivo pero no estadísticamente significativo en Matemáticas. En el caso de los puntajes y clasificación de los estudiantes en niveles de desempeño en Español, se observa que el efecto del PETC es atribuible únicamente a los años en que el programa se implementó en las escuelas, cuando se controla por sesgos de covariables sociodemográficas y de atrición en las variables dependientes. Así, el extender el número de horas escolares en un ciclo escolar incrementa el puntaje promedio en la prueba de Español de ENLACE en 25.64 puntos, decrementa en promedio el porcentaje de estudiantes en el nivel más bajo de logro en la prueba de Español en un 16.4% e incrementa el porcentaje de alumnos en el nivel más alto de logro en un 0.85%.
Los resultados en la prueba de Matemáticas también son positivos, pero no son estadísticamente significativos. Cuando se controla por el sesgo de covariables y de atrición, se observa que implementar el PETC produce un incremento promedio de 28.47 puntos en el puntaje de la prueba de Matemáticas de ENLACE. Este programa produce un decremento en el porcentaje de estudiantes con un nivel de logro insuficiente en Matemáticas de 13.8% y un incremento de 0.23% en el porcentaje de estudiantes en el nivel de logro excelente.
Discusión y conclusiones
Los resultados de esta investigación sugieren que el PETC tiene un impacto positivo en el logro académico de las escuelas en la prueba ENLACE, lo que da apoyo a uno de los principales objetivos de esta política educativa implementada en miles de centros escolares en México.
Estos resultados son consistentes con la literatura en torno a los beneficios de los programas de extensión tiempo escolar (Kidron y Lindsay, 2014; Patall et al., 2010; Ross et al., 2007). El PETC y programas similares en otros países promueven el nivel de logro de los estudiantes al pasar de niveles de desempeño insuficiente en dominios escolares a niveles esperados de logro escolar (Adelman et al., 1996); estos resultados respecto a la mejora en los niveles de logro académico también corroboran estudios descriptivos previos en torno al PETC (Gómez et al., 2013). A futuro, será necesario determinar en qué medida los resultados alcanzados por el PETC resultan óptimos desde una perspectiva de costo-beneficio (Levin, McEwan, Blefield, Brooks y Shand, 2017).
Estadísticas descriptivas de puntajes en la prueba ENLACE de Español por año escolar y grupo.
Nota DE se refiere a la desviación estándar.
Estadísticas descriptivas de puntajes en la prueba ENLACE de Matemáticas por año escolar y grupo.
Nota DE se refiere a la desviación estándar.
Coeficientes estimados del efecto del PETC en las pruebas de Español y Matemáticas de ENLACE
Nota Coefse refiere al coeficiente estimado en el modelo multinivel, E.E. al error estándar del coeficiente.
El hecho de que los niveles de logro y puntajes en la prueba de Matemáticas no fueran estadísticamente significativos, a pesar de ser positivos, es algo reportado en la literatura. Kidron y Lindsay (2014) encontraron que los programas enfocados en un incremento para el tiempo de instrucción y aprendizaje tienen un mayor efecto en habilidades lectoras en educación primaria comparadas con habilidades lógico-matemáticas, además de que este efecto depende del grado escolar de los estudiantes expuestos a programas como el PETC. Sin embargo, estos autores enfatizan que el beneficio de estos programas es mayor para aquellos estudiantes en los niveles más bajo de desempeño, lo cual es consistente con lo encontrado en la presente investigación.
Una de las contribuciones metodológicas del presente estudio es el controlar por sesgos en la evaluación del programa bajo un diseño cuasi-experimental. El haber utilizado técnicas analíticas para controlar por diferencias sociodemográficas entre las escuelas que implementan el PETC y el grupo comparativo, así como el haber considerado la atrición de datos a lo largo del tiempo, permiten robustecer los resultados encontrados y descartar hipótesis alternativas que invaliden los resultados en torno al efecto del programa (Campbell y Stanley, 1963; Shadish et al., 2002).
Finalmente, existe una serie de limitaciones en torno a la presente investigación que deberán ser abordadas en futuras evaluaciones. En el ámbito teórico, se deberá trabajar en establecer modelos lógicos (Kellogg, 2004) que consideren aspectos de la dinámica escolar que pueden explicar la mejora en el rendimiento académico de los estudiantes cuando se incrementa el tiempo escolar. En lo metodológico, a pesar de la factibilidad de utilizar información a nivel escuela para determinar el impacto de programas (Stuart, 2007), futuras investigaciones deberán analizar si estos resultados se mantienen al analizar cambios en puntajes a nivel de los estudiantes con el fin de descartar una potencial falacia ecológica en la agregación de resultados a nivel escuela (Snijders y Bosker, 1999). Por último, los resultados deben ser complementados con investigación cualitativa que aborde la percepción de los actores educativos en torno a los cambios que ha producido el PETC en sus centros escolares.
Agradecimientos
Los autores agradecen a la Dirección General de Asuntos del Personal Académico de la UNAM por el apoyo recibido a través del proyecto de investigación PAPIIT IA303018.
Anexo A
Covariables sociodemográficas en muestra total y muestra apareada con puntajes de propensidad
Nota “Comparativo” refiere al grupo de escuelas que nunca implementaron el PETC, “PETC” refiere al grupo de escuelas que por al menos un año implementaron el PETC. IMSS corresponde al Instituto Mexicano del Seguro Social, ISSSTE al Instituto de Seguridad y Servicios Sociales de los Trabajadores del Estado y SP al Seguro Popular.
1-2
1-3
1-4
1-5
1-6
1-7
1-8
1-9
1-10
Referencias bibliográficas
Adelman, N. E., Haslam, M. B., y Pringle, B. A. (1996). The uses of time for teaching and learning. (Vol 1: Findings and Conclusions). Washington, DC: Policy Studies Associates.
Aronson, J., Zimmerman, J., y Carlos, L. (1999). Improving student achievement by extending school: Is it just a matter of time? San Francisco, California: Office of Educational Research and Improvement.
Austin, P. C. (2011). An introduction to propensity score methods for reducing the effects of confounding in observational studies. Multivariate Behavioral Research, 46(3), 399-424.
Burkam, D. T., Ready, D. D., Lee, V. E., y LoGerfo, L. F. (2004). Social-class differences in summer learning between kindergarten and first grade: Model specification and estimation. Sociology of Education, 77(1), 1-31.
Campbell, D. T., y Stanley, J. C. (1963). Experimental and Quasi-Experimental Designs for Research. Boston, Massachusetts: Houghton Mifflin.
Caliendo, M., y Kopeinig, S. (2008). Some practical guidance for the implementation of propensity score matching. Journal of Economic Surveys, 22(1), 31-72.
Checkoway, A., Boulay, B., Gamse, B., Caven, M., Fox, L., Kliorys, K., Luck, R., Maree, K., Velez, M., y Woodford, M. (2011). Evaluation of the Expanded Learning Time Initiative Year Four Integrated Report: 2009-10. Cambridge, MA: Abt Associates Inc.
Cooper, H., Nye, B., Charlton, K., Lindsay, J., y Greathouse, S. (1996). The effects of summer vacation on achievement test scores: A narrative and meta-analytic review. Review of educational research, 66(3), 227-268.
Diario Oficial de la Federación (DOF) (2008). Acuerdo número 475 por el que se emiten las Reglas de Operación del Programa de Escuelas de Tiempo Completo. México: Gobierno de México. Recuperado de http://dof.gob.mx/nota_detalle.php?codigo=5076688&fecha=31/12/2008
DOF (2009). Acuerdo número 527 por el que se emiten las Reglas de Operación del Programa de Escuelas de Tiempo Completo. México: Gobierno de México. Recuperado de https://www.sep.gob.mx/work/models/sep1/Resource/7ecc5f47-dbca-4e16-9f2c-d1a863283b61/a527.pdf
DOF (2010). Acuerdo número 556 por el que se emiten las Reglas de Operación del Programa de Escuelas de Tiempo Completo. México: Gobierno de México. Recuperado de http://dof.gob.mx/nota_detalle.php?codigo=5173025&fecha=29/12/2010
DOF (2015). Acuerdo número 18/12/15 por el que se emiten las Reglas de Operación del Programa de Escuelas de Tiempo Completo para el ejercicio fiscal 2016. México: Gobierno de México. Recuperado de http://dof.gob.mx/nota_detalle.php?codigo=5421435&fecha=27/12/2015
Gersten, R., Compton, D., Connor, C. M., Dimino, J., Santoro, L., Linan-Thompson, S., y Tilly, W. D. (2008). Assisting students struggling with reading: Response to intervention and multitier intervention for reading in the primary grades: A practice guide. Washington, DC: U.S. Department of Education, Institute of Education Sciences, National Center for Education Evaluation and Regional Assistance.
Gómez-Zermeño, M. G., Flores, M., y Alemán, L. (2013). The full-time school program in Mexico. Journal of Case Studies in Education, 5(4), 1-15.
Guo, S., y Fraser, M. W. (2010). Propensity Score Analysis: Statistical Methods and Applications. Menlo Park, California: Sage.
Ho, D. E., Imai, K., King, G., y Stuart, E. A. (2007). Matching as nonparametric preprocessing for reducing model dependence in parametric causal inference. Political analysis, 15(3), 199-236.
Honaker, J., King, G., y Blackwell, M. (2011). Amelia II: A Program for Missing Data. Journal of Statistical Software, 45(7), 1-47.
Kellogg, W. K. (2004). Using logic models to bring together planning, evaluation, and action: logic model development guide. Michigan: Kellogg Foundation.
Kidrony., y Lindsay, J. (2014). The effects of increased learning time on student academic and nonacademic outcomes: Findings from a meta‑analytic review. Washington, DC: U.S. Department of Education, Institute of Education Sciences, National Center for Education Evaluation and Regional Assistance, Regional Educational Laboratory Appalachia.
Levin, H. M., McEwan, P. J., Blefield, C. R., Brooks Bowden, A., y Shand, R. (2017). Economic Evaluation in Education: Cost-Effectiveness and Benefit-Cost Analysis. Newbury Park, California: Sage Publications.
López Mera, M. (2012). El aporte pedagógico del PETC a la calidad en el proceso enseñanza-aprendizaje en una escuela primaria en Hidalgo. Tiempo de Educar, 13(25), 114-136.
McCaffrey, D. F., Griffin, B. A., Almirall, D., Slaughter, M. E., Ramchand, R., y Burgette, L. F. (2013). A tutorial on propensity score estimation for multiple treatments using generalized boosted models. Statistics in medicine, 32(19), 3388-3414.
Patall, E. A., Cooper, H., y Allen, A. B. (2010). Extending the school day or school year: A systematic review of research (1985–2009). Review of educational research, 80(3), 401-436.
R Core Team (2016). R: A language and environment for statistical computing. R Foundation for Statistical Computing, Vienna, Austria. Recuperado de http://www.R-project.org/
Raudenbush, S. W., y Bryk, A. S. (2002). Hierarchical linear models: Applications and data analysis methods. Thousand Oaks, California: Sage.
Raudenbush, S.W., Bryk, A.S., y Congdon, R. (2017). HLM 7.03 for Windows. Skokie, IL: Scientific Software International, Inc.
Razo, A., y Cabrero, I. (2015). Uso y organización del tiempo en aulas de Educación Media Superior. Ciudad de México, México: Secretaría de Educación Pública.
Ridgeway, G., McCaffrey, D., Morral, A., Griffin, B. A., y Burgette, L. (2016). twang: Toolkit for Weighting and Analysis of Nonequivalent Groups (Version 1.4-9.5). Retrieved from https://CRAN.R-project.org/package=twang
Ross, S. M., McDonald, A. J., Alberg, M., y McSparrin-Gallagher, B. (2007). Achievement and climate outcomes for the Knowledge Is Power Program in an inner-city middle school. Journal of Education for Students Placed at Risk, 12, 137-165.
Shadish, W. R., Cook, T. D., y Campbell, D. T. (2002). Experimental and quasi-experimental designs for generalized causal inference. Boston, Massachusetts: Houghton Mifflin.
Shadish, W. R., y Steiner, P. M. (2010). A primer on propensity score analysis. Newborn and Infant Nursing Reviews, 10(1), 19-26.
Silva, E. (2007). On the clock: Rethinking the way schools use time. Washington, DC: Education Sector.
Snijders, T. A. B., y Bosker, R. J. (1999). Multilevel analysis: An introduction to basic and advanced multilevel modeling. Londres, Reino Unido: Sage Publications.
Somers, M., Zhu, P., Jacob, R., y Bloom, H., (2013). The validity and precision of the comparative interrupted time series design and the difference-in-difference design in educational evaluation (MDRC working paper in research methodology). Recuperado de http://www.mdrc.org/publication/validity-and-precision-comparative-interrupted-time-series-design-and-difference
Stuart, E. A. (2007). Estimating causal effects using school-level data sets. Educational Researcher, 36(4), 187-198.
Stuart, E. A., Huskamp, H. A., Duckworth, K., Simmons, J., Song, Z., Chernew, M. E., y Barry, C. L. (2014). Using propensity scores in difference-in-differences models to estimate the effects of a policy change. Health Services and Outcomes Research Methodology, 14(4), 166-182.
Tuttle, C. C., Teh, B. R., Nichols-Barrer, I., Gill, B. P., y Gleason, P. (2010). Student characteristics and achievement in 22 KIPP middle schools. Washington, DC: Mathematica Policy Research.
Van Buuren, S. (2007). Multiple imputation of discrete and continuous data by fully conditional specification. Statistical methods in medical research, 16(3), 219-242.
What Works Clearinghouse. (2014). What Works Clearinghouse procedures and standards handbook (Version 3.0). Recuperado de http://ies.ed.gov/ncee/wwc/DocumentSum.aspx?sid=19.
Zachrisson, H. D., Dearing, E., Lekhal, R., & Toppelberg, C. O. (2013). Little evidence that time in child care causes externalizing problems during early childhood in Norway. Child development, 84(4), 1152-1170.
Notas
