Más hallazgos sobre los vales escolares y los puntajes de las pruebas, y siguen siendo negativos
Resumen ejecutivo
Los vales para pagar a los estudiantes para que asistan a escuelas privadas siguen atrayendo la atención del público. La administración actual ha propuesto cupones en su presupuesto y más de la mitad de los estados están operando o han propuesto programas de cupones.
Cuatro estudios rigurosos recientes, en el Distrito de Columbia, Luisiana, Indiana y Ohio, utilizaron diferentes diseños de investigación y alcanzaron el mismo resultado: en promedio, los estudiantes que usan cupones para asistir a escuelas privadas obtienen menos resultados en las pruebas que estudiantes similares que no lo hacen. asistir a escuelas privadas. Los estudios de Louisiana e Indiana ofrecen algunos indicios de que los efectos negativos pueden disminuir con el tiempo. No está claro si los efectos llegarán a ser positivos alguna vez.
Los puntajes de las pruebas no son el único resultado educativo y algunos observadores los han restado importancia, citando evidencia más antigua de que los programas de cupones aumentan la graduación de la escuela secundaria y la asistencia a la universidad. Carecemos de pruebas de que la generación actual de programas de cupones produzca estos resultados a más largo plazo. También carecemos de evidencia de cómo las escuelas públicas y las escuelas privadas difieren en sus estrategias de instrucción y enseñanza que expliquen los efectos negativos en los puntajes de las pruebas. Ambas cuestiones deberían ocupar un lugar destacado en la agenda de investigación.
Los vales para pagar a los estudiantes para que asistan a escuelas privadas siguen atrayendo la atención del público. La administración actual ha propuesto cupones en su presupuesto y más de la mitad de los estados están operando o han propuesto programas de cupones.
Dynarski escribió en este foro el año pasado sobre estudios recientes que habían mostrado efectos negativos de los vales en los puntajes de las pruebas en Louisiana e Indiana. Desde entonces, se han publicado nuevos estudios de cupones en DC y Ohio, y los estudios de Louisiana e Indiana publicaron hallazgos de un año adicional.
¿Cuántos años tenía Catalina de Aragón cuando se casó con Arturo?
Los cuatro estudios diferentes utilizan cuatro diseños diferentes pero llegan al mismo resultado: en promedio, los estudiantes que usan vales para asistir a escuelas privadas obtienen menos resultados en las pruebas que los estudiantes similares que no asisten a escuelas privadas. Con los programas de vales expandiéndose rápidamente y con cada uno de los cuatro estudios que miden los efectos de los vales de manera diferente, vale la pena analizar un poco cada estudio para ver qué dicen y qué no dicen sobre los efectos de los vales.
La Tabla 1, en el apéndice (ver PDF adjunto), compara las características de los cuatro estudios, incluidas las poblaciones atendidas por los programas, los tamaños de muestra de los estudios, la prueba que los estudios utilizaron como resultado y cómo los estudios midieron los impactos en esas pruebas.
La Figura 1, a continuación, muestra las medidas de los impactos de las puntuaciones de las pruebas, comenzando con los cuatro estudios en la parte superior, y luego los efectos en las puntuaciones de las pruebas de estudios anteriores, aproximadamente en orden histórico inverso. El punto en el medio de las barras para cada estudio es la estimación del efecto de puntuación, que es negativo en ambos sujetos en los cuatro estudios. Las barras son intervalos de confianza para los efectos estimados; cuando los intervalos de confianza incluyen cero, el efecto no es estadísticamente significativo. Debajo del divisor azul, mostramos los efectos de ocho estudios previos de cupones. Estos muestran algunos efectos positivos para ambos sujetos, aunque la mayoría no son estadísticamente significativos.
Figura 1. Hallazgos de cuatro estudios actuales de cupones y ocho estudios anteriores
Fuente: Para discusión y referencias ver http://www.abtassociates.com/Perspectives/March/Do-Vouchers-Lead-to-Greater-Learning-Depends-Where.aspx .
La pregunta es por qué el patrón de estudios recientes difiere de estudios previos. Como Dynarski había escrito anteriormente, las escuelas públicas y las escuelas privadas han estado bajo diferentes presiones de responsabilidad durante los últimos 15 años, lo que podría explicar algunos de los hallazgos. Reconociendo que los investigadores a menudo piden más investigación, creemos que aquí se merece esa llamada. Es raro que las iniciativas de políticas se expandan ante la evidencia de que esas iniciativas pueden tener efectos negativos en los resultados clave.
Programa de becas de oportunidad del Distrito de Columbia
Este estudio es un 'experimento de campo' clásico consistente con la legislación de autorización que exigía que el programa se estudiara utilizando el 'diseño apropiado más fuerte'.1Los estudiantes seleccionados para recibir un cupón podían asistir a escuelas privadas que aceptaron aceptar el cupón como pago, lo que representa más de la mitad de todas las escuelas privadas del Distrito. Los estudiantes y las familias no tenían la obligación de usar el cupón y, después de un año, el estudio informó que alrededor del 30 por ciento de los estudiantes de hecho no había usado sus cupones. Este es un recordatorio útil de que el hecho de que se les ofrezca un vale amplía las opciones para los padres, pero por sí solo no requiere que los padres hagan nada.
El estudio administró el Tierra nueva prueba en el momento en que los estudiantes solicitaron los vales (generalmente primavera o principios del verano), y nuevamente aproximadamente un año después. También recopiló otros datos sobre los estudiantes y las familias, como las características demográficas, la educación de los padres, el tiempo en la residencia actual y las calificaciones de los padres de la escuela actual del niño. Estas características se utilizaron en modelos estadísticos para ajustar las diferencias que quedaban entre los estudiantes a los que se les ofreció y a los que no se ofrecieron cupones.
Los hallazgos mostraron que después de un año, los estudiantes a los que se les había ofrecido un cupón obtuvieron calificaciones más bajas en la parte de matemáticas de la prueba, y la cantidad por la cual fueron más bajos fue estadísticamente significativa (la diferencia no se pudo explicar por una variación aleatoria). Los estudiantes también obtuvieron calificaciones más bajas en la prueba de lectura, pero la cantidad en la que fueron más bajos no fue estadísticamente significativa.2
El estudio consideró tres posibles explicaciones de los resultados negativos. Una fue que los estudiantes a los que no se les ofrecieron cupones asistieron a escuelas públicas de alto rendimiento (ya sean escuelas tradicionales o autónomas). Sin embargo, esto no explica mucho: los estudiantes a los que no se les ofrecieron cupones asistieron a escuelas públicas que tenían niveles de rendimiento que eran promedio para el distrito. Una segunda explicación posible fue que a los estudiantes les fue peor en las pruebas porque se estaban adaptando a las nuevas escuelas. Esta explicación tampoco se sostuvo, en parte porque más de la mitad de los estudiantes no ofrecieron un vale también cambiaron de escuela, ya sea porque tenían que hacerlo (como los estudiantes que se estaban mudando de una escuela primaria a una secundaria) o porque querían.
La tercera explicación fue que las escuelas privadas ofrecían menos instrucción en lectura y matemáticas. Los datos de una encuesta de directores que administró el estudio encontraron que el tiempo de instrucción era más bajo en aproximadamente una hora a la semana en ambas materias, aproximadamente doce minutos al día. El Distrito no fue inusual en este sentido; la diferencia en el tiempo de instrucción entre las escuelas públicas y privadas fue aproximadamente la misma que la del Centro Nacional de Estadísticas Educativas de una encuesta nacional de directores.3Pero es al menos plausible que los estudiantes de las escuelas privadas hayan obtenido puntuaciones más bajas porque recibieron menos instrucción en lectura y matemáticas.
El programa de becas de Luisiana
El Programa de Becas de Luisiana (LSP) comenzó en 2012.4Es un programa estatal y casi 10,000 estudiantes solicitaron en su primer año, lo que lo hace considerablemente más grande que el programa DC, que promedió alrededor de 600 solicitantes elegibles por año durante los tres años en que los estudiantes estuvieron inscritos en la muestra del estudio. Las escuelas privadas que eligieron participar aceptando vales como pago también tuvieron que administrar la evaluación del estado de Luisiana a los estudiantes que recibieron vales y fueron calificadas por el estado usando el mismo esquema A-F que el estado usó para sus escuelas públicas. Las escuelas privadas cuyos estudiantes que recibieron vales obtuvieron calificaciones bajas del estado podrían ser retiradas del programa.
El estudio del LSP es un experimento pero más complejo que el de DC. La lotería en el corazón del experimento LSP se llevó a cabo solo cuando las escuelas no tenían suficientes espacios disponibles en un nivel de grado para la cantidad de estudiantes que querían asistir a esa escuela y nivel de grado. Una escuela puede haber tenido suficientes espacios para la cantidad de estudiantes de cuarto grado que solicitan, por ejemplo, pero no suficientes espacios para la cantidad de estudiantes de tercer grado que solicitan. Eso habría provocado una lotería de tercer grado en la escuela. La combinación de las prioridades de los solicitantes, las preferencias expresadas por los padres por las escuelas y los espacios disponibles dio como resultado una estructura compleja con 150 loterías diferentes, lo que requirió un enfoque analítico complejo para medir los efectos de los vales que se describe en los informes del estudio.
El estudio calculó que los estudiantes que usaron cupones obtuvieron calificaciones más bajas en matemáticas en la evaluación del estado de Louisiana; de hecho, las calificaciones fueron mucho más bajas. El estudio presentó resultados para dos muestras, una que se restringió a los estudiantes que tenían puntajes de referencia porque habían participado previamente en las pruebas estatales en la escuela pública antes de solicitar un vale, y otra que incluía la muestra completa de estudiantes que tenían una prueba. puntuación tres años después, independientemente de si tenían una puntuación inicial. Las puntuaciones fueron negativas y estadísticamente significativas para la muestra completa, pero menos negativas y no estadísticamente significativas para la muestra que se restringió a los estudiantes con puntuaciones de referencia. Los experimentos no tienen que utilizar datos de referencia para estimar los efectos porque las simples diferencias de los resultados en el seguimiento son efectos del programa. Y el uso de muestras más grandes puede producir estimaciones más precisas. Depende de si la muestra es lo suficientemente grande como para compensar la falta de puntajes de prueba de referencia. En este caso, preferimos los resultados de la muestra completa, pero los resultados de ambas muestras apuntan en la misma dirección.
Los informes de los medios sobre los hallazgos señalaron los efectos negativos más grandes en el primer año y los efectos negativos más pequeños en el tercer año como buenas noticias.5Ésta es una conclusión extraña. Existen diferentes argumentos a favor de los vales, como que darían a los padres más opciones, reducirían el papel del gobierno en la educación, permitirían a los padres transmitir valores y religión a sus hijos y brindarían una educación rentable. Pero sin duda uno de los argumentos a favor de los vales es permitir que los estudiantes prosperen académicamente en las escuelas privadas. Si este es el caso, no debería haber habido nada que hacer para ponerse al día en primer lugar, más allá de los ajustes que los estudiantes deben hacer cuando cambian de escuela. Y es digno de mención que los estudiantes de Louisiana aún no se han puesto al día después de tres años.
Algunos comentaristas han llegado a la conclusión de que los efectos negativos en Luisiana fueron la consecuencia de que el programa estaba 'sobrerregulado'.6Pero la conclusión de que el programa de Luisiana estaba sobreregulado se basa en premisas no declaradas de que las escuelas privadas que aceptaron participar eran académicamente inferiores a las que no estaban de acuerdo, pero que lo hubieran hecho si el estado no imponía requisitos o si la regulación en sí misma perjudica el rendimiento académico. La evidencia de cualquiera de los dos es notablemente ausente en el argumento. Además, los otros tres estudios discutidos aquí no tienen la misma estructura regulatoria.
El programa de becas Indiana Choice
Indiana actualmente opera el programa de vales escolares más grande del país. Más que 34.000 estudiantes recibió vales para asistir a más de 300 escuelas privadas en el año escolar que terminó recientemente (2016-2017). A diferencia de otros programas de vales, Indiana otorga vales a los estudiantes que viven en familias de ingresos relativamente medios, aunque los estudiantes que viven en familias más cercanas a la línea de pobreza son elegibles para vales más grandes. Y, a diferencia de otros estados que operan programas de vales, Indiana requiere que sus escuelas privadas administren la evaluación estatal. Las escuelas privadas no son nuevas para la prueba.
calendario de luna llena marzo 2021
El estudio publicado recientemente del programa examina sus efectos en los puntajes de las pruebas de los estudiantes que han utilizado vales durante uno, dos, tres o cuatro años.7Estos no son los mismos estudiantes: un estudiante que usa un vale por, digamos, dos años y luego regresa a una escuela pública, no está en la muestra de estudiantes que usaron un vale por tres o cuatro años. En la muestra de estudiantes del estudio utilizada para medir los efectos, la cantidad de estudiantes que usaron un vale durante un año es diez veces mayor que la cantidad que usó un vale durante cuatro años (Tabla 1 del Apéndice).
El programa de Indiana no utilizó loterías y el equipo de investigación utilizó enfoques cuasi-experimentales para medir los efectos. Lo hizo emparejando a los estudiantes que cambiaron de escuela y usaron cupones con los estudiantes que no lo hicieron, y comparó los resultados en puntos posteriores. El enfoque de emparejamiento es el equivalente a mirar a una gran multitud y elegir a la persona que más se parece a ti. Un estudiante que usa un cupón y asiste a quinto grado, tiene ingresos familiares cercanos a la línea de pobreza, una raza o etnia en particular y tiene calificaciones bajas en las pruebas de matemáticas y lectura, por ejemplo, se le asignará uno o más estudiantes que también estén asisten a quinto grado, tienen ingresos cercanos a la línea de pobreza, son de esa raza o etnia y tienen calificaciones bajas en lectura y matemáticas, pero no usan vales.8
Este enfoque se parece mucho a un experimento, pero difiere en una dimensión crucial: las características de los estudiantes o las familias que explican por qué algunos usaron cupones y otros no pueden no ser las mismas. Por ejemplo, los estudiantes que usan vales pueden tener más motivación para tener éxito académico, o los padres de esos estudiantes pueden estar dispuestos a hacerlo, o los padres pueden haber asistido a escuelas privadas y querer que sus hijos también asistan a ellas. También puede haber una selección 'negativa', por ejemplo, si es más probable que los estudiantes con dificultades en las escuelas públicas utilicen cupones. En cualquier caso, estas variables 'no observadas' se interponen en el camino porque los estudiantes que usan cupones pueden haber tenido diferentes resultados académicos, incluso si no hubiera un programa de cupones. No poder controlar estas variables no observadas es lo que separa los cuasi-experimentos de los experimentos. Las loterías, que son verdaderos experimentos, son ciegas a las variables no observadas y terminan distribuidas equitativamente entre quienes las ganan y quienes las pierden.
El estudio se esfuerza por buscar enfoques de emparejamiento alternativos y diferentes formas de estimar los efectos en los puntajes de las pruebas. Pero el hallazgo principal es el mismo que el de los otros dos estudios discutidos anteriormente. Los estudiantes que usaron sus cupones para cambiar de escuelas públicas a privadas tenían más probabilidades de obtener una puntuación peor en matemáticas y aproximadamente lo mismo en lectura.9
El estudio señala que los estudiantes que usan el bono durante más años parecen tener efectos negativos menores, pero, como se señaló anteriormente, estos no son los mismos estudiantes a los que se sigue durante más años, como es el caso de Louisiana (y lo estarán en informes futuros de el estudio DC). Son diferentes alumnos que han utilizado los vales durante periodos más prolongados. El hecho de que algunos estudiantes usaran cupones durante períodos más largos ejerce más presión sobre el método de comparación porque el caso de que las variables no observadas estén afectando sus resultados se vuelve más fuerte. Aquí existe una oportunidad útil para explorar las diferencias entre los 'estadías prolongadas' y las 'estadías cortas', lo que puede mejorar nuestra comprensión de qué tipos de estudiantes se benefician de los programas de cupones.
El programa EdChoice de Ohio
El programa 'EdChoice' de Ohio proporcionó vales para más de 18.000 estudiantes en el año escolar 2013-2014, y es probable que los cambios legislativos recientes amplíen este número. Ohio no realizó loterías, pero se administraron evaluaciones estatales a todos los estudiantes que recibieron vales, y el estudio emparejó a los estudiantes que usaban cupones con estudiantes similares que no los usaron.10
Uno de los criterios de elegibilidad para el programa de Ohio era que la escuela pública a la que asistían los estudiantes actualmente tenía que obtener una puntuación por debajo de un umbral en la medida del 'Indicador de rendimiento' de Ohio. El estudio usó ese umbral para identificar las escuelas cercanas al umbral, y comparó a los estudiantes de las escuelas que estaban en un lado del umbral con los estudiantes que estaban en las escuelas del otro lado. Si lo hace, es probable que se reduzcan los problemas sobre las variables no observadas, aunque el estudio reconoce que paga un precio en términos de la representatividad de los hallazgos. La mayoría de las escuelas están muy por encima o muy por debajo del umbral y no están representadas en la muestra.
Al comparar los puntajes en la evaluación de la declaración de Ohio para los estudiantes emparejados, se encontraron grandes efectos negativos para las matemáticas y para leer. Los otros tres estudios encontraron evidencia de efectos negativos para las matemáticas; el estudio de Ohio es el único que encontró efectos negativos y estadísticamente significativos para la lectura también. Los principales hallazgos no se vieron afectados cuando el estudio estimó diferentes tipos de modelos y amplió la muestra al incluir a los estudiantes que se volvieron elegibles para un cupón en cualquier año después de que el programa comenzara inicialmente en 2007.
El estudio de Ohio también analizó si el programa generó cambios en el rendimiento académico de los estudiantes que estaban en escuelas que estaban cerca de ser elegibles para el programa. Encontró que los estudiantes de estas escuelas tenían un mayor rendimiento académico, un 'efecto competitivo' que se hace eco de un estudio anterior de efectos competitivos en Florida.11Los efectos competitivos son interesantes porque potencialmente incluyen a muchos estudiantes que no usan cupones pero que se benefician académicamente del programa de cupones. Sin embargo, también crean tensión. Los estudiantes que usan cupones experimentan pérdidas académicas que son mayores que las ganancias académicas experimentadas por los estudiantes que no usan cupones.
¿Donde nos encontramos ahora?
Cuatro estudios recientes, cuatro programas diferentes, diferentes enfoques de investigación, pero el mismo hallazgo general: el uso de vales para asistir a escuelas privadas conduce a calificaciones más bajas en matemáticas y, en un estudio, también a calificaciones más bajas en lectura.
Algunos estudios anteriores mostraron resultados positivos para los estudiantes mayores, como tasas más altas de graduación y tasas más altas de asistencia a la universidad.12Citando estos y otros estudios, Greene ha argumentado que los puntajes de las pruebas deben minimizarse porque están débilmente correlacionados con los resultados de los adultos, como la asistencia a la universidad y los ingresos.13
Este argumento plantea la pregunta acerca de qué tan grandes deben ser las correlaciones para ser consideradas como indicadores de los resultados de los adultos, y también descarta investigaciones recientes que muestran que las mejoras en los puntajes de las pruebas se relacionan con maestros efectivos fueron correlacionados con ganancias en los resultados del mercado laboral de adultos.14Esta investigación sugiere ser muy cauteloso cuando se presentan pruebas sobre programas públicos que producen efectos negativos en los puntajes de las pruebas. Los investigadores deben considerar formas de medir otros resultados que sean significativos en el debate, como diseñar estudios con períodos de seguimiento prolongados para permitir investigaciones futuras sobre la graduación de la escuela secundaria, la asistencia a la universidad y los resultados del mercado laboral. Significa esperar más tiempo para obtener respuestas, pero el valor de conocer las respuestas es claro.
Ninguno de los cuatro estudios desglosó la educación que está ocurriendo dentro de las escuelas públicas y privadas a las que asisten los participantes del estudio. El estudio de Indiana menciona el uso de enfoques cualitativos para entrevistar a los administradores de escuelas privadas sobre sus experiencias de adaptación a los estudiantes que ingresan con vales, y eso parece una vena fructífera. Hay una variedad de herramientas que los investigadores podrían usar aquí: medidas de valor agregado que distinguen entre el nivel de los puntajes de las pruebas de una escuela y las ganancias de los estudiantes en las calificaciones de las pruebas (las ganancias probablemente son lo que les importa a los padres, y los niveles son una señal ruidosa de ganancias ), encuestas de clima escolar, instrumentos de observación docente, descripciones de planes de estudio. Sin estas medidas, realmente no tenemos idea de cómo se comparan las escuelas públicas y privadas en la forma en que educan a los estudiantes.
Si los cuatro estudios sugieren algo, es que las escuelas privadas no tienen una clave secreta que desbloquee el potencial educativo.