Revista de Economía del Rosario
ISSN:0123-5362 | eISSN:2145-454X

Externalidades en el desempeño académico de la provisión de incentivos: evidencia del programa Ser Pilo Paga

Externalities in Academic Achievement from the Presence of Prior Beneficiaries: Evidence from the Program “Ser Pilo Paga”

Externalidades no desempenho acadêmico da provisão de incentivos: evidência do programa “Ser Pilo Paga”

Sergio Arango

Externalidades en el desempeño académico de la provisión de incentivos: evidencia del programa Ser Pilo Paga

Revista de Economía del Rosario, vol. 20, núm. 2, 2017

Universidad del Rosario

Sergio Arango *

Instituto Colombiano para la Evaluación de la Educación (ICFES), Colombia

Pontificia Universidad Javeriana, Colombia




Recibido: Octubre 10, 2016

Aceptado: Octubre 22, 2017

Información adicional

Cómo citar este artículo: Arango, S. (2017). Externalidades en el desempeño académico de la provisión de incentivos: evidencia del programa Ser Pilo Paga. Revista de Economía del Rosario, 20(2), 175-212. Doi: https://doi.org/10.12804/revistas.urosario.edu.co/economia/a.6454

Resumen: En octubre de 2014 el Gobierno colombiano anunció la provisión de 10 000 becas a estudiantes de bajos recursos para estudiar en instituciones de educación superior. En este trabajo, se estima el efecto ser elegible por el programa en colegios con y sin beneficiarios de este luego de la primera ola de incentivos, sobre los resultados del examen Saber 11 de los estudiantes que presentaron la prueba en el 2015. Usando un modelo de diferencias en diferencias se encuentra que los estudiantes elegibles en colegios con beneficiarios aumentaron su puntaje global del examen y su puntaje en lectura en 0,03 desviaciones estándar, mientras que en matemáticas el aumento fue de 0,02 desviaciones estándar. En colegios sin beneficiarios, ser elegible representó un aumento de 0,09 desviaciones estándar en el puntaje global del examen y en matemáticas, mientras que en lectura el aumento fue de 0,08 desviaciones estándar. Estos resultados sugieren la existencia de externalidades en los estudiantes de colegios que no obtuvieron beneficiarios del programa en la primera entrega de incentivos.

Clasificación JEL: C21, D04, O12, I28

Palabras clave: desempeño académico, externalidades, incentivos, Ser Pilo Paga.

Abstract: In October 2014, the Colombian government announced that it was granting ten thousand scholarships to low-income students to study at institutions of higher education. This paper examines the effect on eligibility for the program, based on 2015 Saber 11 achievement test results, in schools with and without program beneficiaries after the first wave of scholarships was granted. Using a differences in differences model, it was found that overall test scores of eligible students in schools with beneficiaries increased, and their reading scores increased by 0.03 standard deviations. In mathematics their scores increased by 0.02 standard deviations. In schools without prior beneficiaries, eligibility represented an increase of 0.09 standard deviations in the overall test score and in math, while in reading the increase was 0.08 standard deviations. These results suggest the existence of externalities in the students of schools that did not have beneficiaries of the program in the first year of incentives.

JEL Classification: C21, D04, O12, I28

Keywords: Academic performance, Externalities, Incentives, Ser Pilo Paga.

Resumo: Em outubro de 2014 o governo colombiano anunciou a provisão de dez mil bolsas a estudantes de baixos recursos para estudar em instituições de educação superior. Neste trabalho, estima-se o efeito de ser elegível pelo programa em escolas com e sem beneficiários do programa após da primeira onda de incentivos, sobre o resultado do exame Saber 11 dos estudantes que apresentaram a prova no ano 2015. Usando um modelo de diferenças em diferenças se encontra que os estudantes elegíveis em escolas com beneficiários aumentaram a sua pontuação global do exame e a sua pontuação em leitura em 0,03 desvio-padrão. Em escolas sem beneficiários, ser elegível representou um aumento de 0,09 desvio-padrão na pontuação global do exame e em matemáticas, enquanto que na leitura o aumento foi de 0,08 desvio-padrão. Estes resultados sugerem a existência de externalidades nos estudantes de escolas que não obtiveram beneficiários do programa na primeira entrega de incentivos.

Classificação JEL: C21, D04, O12, I28

Palavras-chave: desempenho acadêmico, externalidades, incentivos, Ser Pilo Paga.

Introducción

De acuerdo con Bettinger (2012), Hanushek (1997) y Hanushek (2003), existe un creciente interés por parte de investigadores y responsables de las políticas en el papel que cumplen los incentivos en educación sobre el rendimiento escolar de los estudiantes, pues el diseño de este tipo de mecanismos puede proveer retornos inmediatos y, en consecuencia, aumentar la motivación de estudiantes que invierten poco esfuerzo en su educación 1 .

Mientras la literatura ha estudiado ampliamente los efectos directos de proveer incentivos a estudiantes, basados en su rendimiento, los estudios sobre los efectos indirectos o externalidades son apenas un cuerpo de literatura en desarrollo. Entre los efectos indirectos que algunos detractores de la provisión de incentivos en educación señalan, se encuentran la creencia sobre cómo el flujo de beneficios termina dirigiéndose a estudiantes con ingresos altos o medios (Heller & Marin, 2002) y el daño potencial en la motivación intrínseca con la que algunos estudiantes cuentan, ante la presencia de una recompensa extrínseca (Greene et al., 1976; Greene & Lepper, 1974; Lepper, 1973). Sin embargo, otros estudios como el de Kremer et al. (2009) y Angrist et al. (2009) han mostrado que los estudiantes no expuestos directamente a los incentivos o con pocas probabilidades de obtenerlos responden a estos de forma más intensa, lo cual sugiere la existencia de externalidades de la provisión de incentivos en educación.

Como establece Kremer et al. (2009), las externalidades en la acumulación de capital humano son, por lo general, una justificación para la provisión de subsidios en educación (Lucas, 1989). A pesar de que algunos estudios sugieren que el efecto de las externalidades en la acumulación de capital humano sobre el mercado laboral son pequeños (Acemoglu & Angrist, 2000), un mayor rendimiento en pruebas estandarizadas y un mayor valor agregado en la acumulación de capital humano suelen estar asociados con mayores ingresos siendo adultos, una mayor probabilidad de atender a la educación superior, una menor probabilidad de tener hijos siendo adolescentes, entre otros (Chetty et al., 2010; Chetty et al., 2011).

En el caso del programa Ser Pilo Paga (SPP), que provee becas dirigidas a estudiantes en condiciones de vulnerabilidad con puntajes altos en pruebas estandarizadas, no solo permite que estudiantes de bajos recursos económicos accedan a la educación superior sino también puede llevar a aquellos que están próximos a acabar la educación media, y que son elegibles por el programa, a esforzarse más y alcanzar un mayor rendimiento en el examen de salida de la educación media (Saber 11). En particular, se cree que ser elegible por el programa puede tener un efecto diferente en colegios con y sin beneficiarios luego de la primera ola de incentivos si los estudiantes beneficiarios provienen de familias con mayores recursos o colegios con mejores condiciones como establecen Heller y Marin (2002).

Por esta razón, en este trabajo se busca identificar el efecto de ser elegible en colegios con y sin beneficiarios del programa SPP, sobre el desempeño de los estudiantes en el examen Saber 11, un año después de la primera provisión de becas. Para hacerlo, se usa como estrategia de identificación un modelo de diferencias en diferencias para comparar los estudiantes elegibles y no elegibles en colegios con y sin beneficiarios del programa, descontando por las diferencias en características observables entre ambos tipos de estudiantes. Esta comparación es factible debido a cómo fue anunciado el programa, pues mientras los estudiantes presentaron el examen en el 2014 sin tener conocimiento del programa, los estudiantes que presentaron el examen en el 2015 anticipaban la provisión de las becas.

Los resultados que se reportan en este trabajo sugieren la existencia de externalidades provocadas por esquemas de incentivos como el programa Ser Pilo Paga. Mientras ser elegible en un colegio que obtuvo beneficiarios del programa representó un aumento de 0,02 desviaciones estándar en matemáticas y 0,03 desviaciones estándar en lectura y en el puntaje global del examen, ser elegible en un colegio que no obtuvo beneficiarios en la primera ola de incentivos representó un aumento de 0,09 desviaciones estándar en el puntaje global del examen y de 0,08 desviaciones estándar en matemáticas y lectura. Estos resultados sugieren que no solo la brecha entre elegibles y no elegibles se está cerrando a causa del programa, sino también se está cerrando más rápido en colegios con población más vulnerable y donde las diferencias entre los dos grupos de estudiantes eran más amplias.

Adicionalmente, se exploran efectos heterogéneos a partir de la hipótesis de Camerer y Hogarth (1999), la cual establece que pueden existir diferencias en el efecto de la provisión de incentivos dependiendo de qué tan alcanzable o inalcanzable un individuo percibe la provisión de una recompensa. Desde que los estudiantes de altos y bajos rendimientos en el examen pueden percibir de forma distinta el umbral de desempeño a partir del cual se proveen las becas del programa, se encuentra que los estudiantes elegibles de desempeños altos en colegios que no obtuvieron beneficiaros en la primera ola de incentivos aumentaron su desempeño en 0,16 desviaciones estándar en matemáticas y el puntaje global del examen, y en 0,14 desviaciones estándar en lectura. Los estudiantes elegibles de desempeños bajos en los mismos colegios incrementaron en 0,06 desviaciones estándar su puntaje de lectura y matemáticas, y en 0,07 desviaciones estándar su desempeño en el puntaje global del examen. En los colegios que obtuvieron beneficiarios del programa en el 2014 no se evidenciaron diferencias notables en el efecto de ser elegible entre los estudiantes de altos y bajos desempeños.

El resto del artículo está organizado de la siguiente manera: la sección 1 presenta una revisión de la literatura sobre la provisión de incentivos en educación y sobre algunos estudios del programa Ser Pilo Paga. En la sección 2, se habla sobre el examen Saber 11, el programa y los datos; en la sección 3, se explica la estrategia de identificación; en la sección 4 se muestran los resultados y en la sección 5 se concluye.

1. Provisión de incentivos en educación

Allan y Fryer (2011) establecen que existen dos tipos de incentivos en educación. Los incentivos dirigidos a los insumos (inputs) y los dirigidos a los productos (outputs). Mientras los primeros incentivan la realización de actividades que puedan contribuir al aprendizaje de los estudiantes, los segundos buscan recompensar logros de los estudiantes medidos por medio de notas o puntajes en pruebas estandarizadas como el programa Ser Pilo Paga.

Existen estudios sobre incentivos a los productos en distintos ciclos educativos. En educación básica y secundaria, Kremer et al. (2009) implementan un experimento en las provincias de Busia y Teso en Kenia que consistía en seleccionar aleatoriamente 64 escuelas de 127 elegibles, para ofrecerles una beca a las niñas de grado sexto que obtuvieran puntajes superiores al percentil 85 en una prueba realizada en su distrito. Las beneficiarias del programa obtenían un premio por los dos siguientes años que incluían los costos de estudio, dinero para los elementos escolares y una ceremonia con los estudiantes, los padres, los profesores y los funcionarios públicos en los colegios. Entre los resultados encontrados, las niñas que estaban en los colegios seleccionados obtuvieron puntajes más altos en comparación a niñas en colegios donde no fue ofrecido el incentivo. Además, a pesar de que el incentivo solo estaba dirigido a las niñas, los niños en los colegios donde se ofrecieron las becas también obtuvieron mayores puntajes. Este último resultado es uno de los escasos antecedentes en la literatura de una externalidad provocada por un programa de provisión de incentivos.

En educación media, el programa “Achievement Award Demonstration” realizado en Israel, consistía en una selección aleatoria de colegios de bajo rendimiento en donde los estudiantes recibían incentivos financieros por realizar el examen de certificación “Bagrut” y por su desempeño en este. Al evaluar el programa, Angrist y Lavy (2009) encontraron un aumento en las tasas de certificación de las mujeres en colegios beneficiarios, pero no de los hombres. Además, establecen que la promesa de una beca puede incrementar el tiempo destinado a estudiar y llevar a los estudiantes a desarrollar mejores hábitos de estudio. Por esta razón, muestran que el incremento en el esfuerzo de las estudiantes fue el canal para que los incentivos funcionaran dado que, en el periodo de vacaciones previo al examen, ellas aumentaron el tiempo de estudio. Levitt et al. (2012) y Gneezy et al. (2011) corroboran estos resultados y también reconocen el esfuerzo como un insumo relevante en la función de producción en educación.

En educación superior, Angrist et al. (2009) diseñaron un experimento que asignaba a todos los estudiantes de primer año de una universidad canadiense con un promedio inferior al primer cuartil a tres grupos de tratamiento y uno de control. A los estudiantes asignados al primer tratamiento les ofrecieron servicios de apoyo que incluían monitores; a los del segundo grupo les ofrecieron premios en efectivo (aproximadamente un año de matrícula) por alcanzar una meta de promedio; a los estudiantes en el tercer grupo les ofrecieron una combinación de servicios de apoyo e incentivos financieros. Entre los principales resultados, los autores identifican que a quienes les ofrecieron dinero en efectivo (segundo grupo) alcanzaron un promedio más alto frente a los de otros grupos. Por otra parte, los estudiantes del tercer tratamiento usaban más los servicios de apoyo que aquellos en el primer grupo, lo cual sugiere, según los autores, que los incentivos tienen el efecto inmediato de incrementar la tasa a la cual los estudiantes buscan apoyo académico.

En contraste, algunos estudios sugieren que existen efectos perversos de la provisión de incentivos en educación por tres razones principales. En primer lugar, siguiendo a Heller y Marin (2002), existe una creencia sobre cómo el flujo de beneficios termina dirigiéndose a estudiantes con ingresos altos o medios, o simplemente a estudiantes que sin necesidad de una beca o incentivos financieros tendrían desempeños altos. En segundo lugar, teorías en psicología sugieren que la presencia de recompensas extrínsecas puede afectar la motivación intrínseca, lo que lleva, incluso, a una disminución del esfuerzo de los estudiantes (Greene et al., 1976; Greene & Lepper, 1974; Lepper, 1973). En tercer lugar, los estudiantes o los profesores pueden estar tentados a manipular el sistema de incentivos inscribiendo menos clases para mantener notas altas, o entrenando a los estudiantes en realizar pruebas, etc. (Kremer et al., 2009).

Algunas evaluaciones del programa Ser Pilo Paga sugieren efectos positivos de la intervención, Londoño et al. (2017) muestran que el programa dobló la matrícula en educación superior de los estudiantes elegibles y desplazó a esta población de universidades no acreditadas a universidades acreditadas, las cuales tienen los mayores retornos a la inversión en educación (Camacho et al., 2016; MacLeod et al., 2017, citados en Londoño et al., 2017). Además, otros estudios evidencian efectos indirectos del programa, Londoño (2016) muestra que a partir del aumento sin precedentes de estudiantes vulnerables en una de las universidades privadas más costosas del país, se evidenció un aumento en las interacciones entre estudiantes que provenían de diferentes entornos sociales, un incremento en la percepción de inequidad, pobreza y movilidad social, y una mayor percepción de meritocracia en las admisiones a la universidad. Asimismo, Laajaj et al. (2016) muestran que los estudiantes elegibles obtuvieron mejores puestos en el examen de salida de la educación media, el examen Saber 11, y estudiantes elegibles de desempeños bajos en colegios que fueron beneficiarios del programa también lograron mejores puestos en el examen.

Este trabajo contribuye a la literatura de la provisión de incentivos en educación y al debate nacional sobre la continuidad del programa Ser Pilo Paga en varios aspectos: en primer lugar, los resultados presentan evidencia sobre la hipótesis de Heller y Marin (2002) acerca de cómo las becas del programa terminaron en los estudiantes elegibles que provenían de colegios con mayores recursos, familias con mayores ingresos y, probablemente, pares más aventajados. Esto permitió analizar la reacción al programa de dos poblaciones diferentes en características observables y, probablemente también, en características no observables: los estudiantes de colegios con y sin beneficiarios del programa en la primera ola de incentivos. Esto contribuye a la escasa literatura de externalidades de la provisión de incentivos en educación acerca de cómo reaccionan individuos expuestos a incentivos que cuentan con pocas chances de ser beneficiarios del programa.

Cabe añadir que la principal limitación de este trabajo es que no se cuenta con información que permita corroborar los mecanismos de transmisión que explican los efectos encontrados, se espera que investigaciones posteriores puedan presentar evidencia acerca de cómo la provisión de incentivos afecta el comportamiento de los estudiantes y el personal de las instituciones.

2. Datos

En esta sección se provee información sobre el programa Ser Pilo Paga y sobre los datos que se usaron en este documento. Además, se comparan las características de los estudiantes elegibles y no elegibles en 2014 y 2015 y se muestran algunas características de los colegios con y sin beneficiarios en la primera ola de incentivos.

2.1. El Examen Saber 11

La evaluación de la educación media en Colombia se realiza por medio del examen Saber 11, este tiene los objetivos de seleccionar estudiantes para la educación superior, monitorear la calidad de la formación en los establecimientos educativos y producir información para estimar el valor agregado de la educación superior. Este examen es de crucial importancia para acceder a la educación superior, pues alrededor del 80 % de las instituciones seleccionan a los estudiantes, en sus procesos de admisión, a partir de su desempeño en el examen (OECD & World Bank, 2012). Solo algunas instituciones públicas realizan sus procesos de admisión basados en exámenes que ellas mismas conducen.

Esta prueba es realizada por el Instituto Colombiano para la Evaluación de la Educación (Icfes) y obtiene resultados para las áreas de matemáticas, lectura, ciencias naturales, sociales y ciudadanas e inglés. Además, a partir de los resultados en las cinco áreas se construye un puntaje global del examen 2 . Este trabajo se concentra en los resultados del puntaje global del examen y los puntajes de matemáticas y lectura.

En general, la mayoría de los estudiantes a punto de salir de la educación media toman el examen en alguno de los dos semestres del año. En el primer semestre, los estudiantes de colegios privados y, en promedio, estudiantes de entornos socioeconómicos favorables presentan el examen, estos no suelen ser elegibles por el programa pues no cumplen con el requisito del Sisbén. En contraste, durante el segundo semestre de cada año, la mayoría de estudiantes del país, que provienen de colegios oficiales y el resto de colegios privados que incluyen estudiantes de entornos socioeconómicos no tan favorables, presentan el examen.

El Icfes posee registros administrativos de los estudiantes que presentan la prueba cada año y cada semestre. Estos no solo contienen información sobre sus resultados en las pruebas, sino también información personal y familiar, como la educación de sus padres, el colegio al que pertenecen, si obtuvieron una beca del programa Ser Pilo Paga 3 , entre otros.

2.2. El programa Ser Pilo Paga

De acuerdo con Galvis (2014), la tasa de cobertura 4 en educación superior alcanzó en Colombia el 45,5 % en 2014. Los estudiantes en el ciclo de educación superior están distribuidos en 288 instituciones, de las cuales solo el 11,8 % estaban acreditadas como instituciones de alta calidad (34 instituciones, 13 públicas y 21 privadas) cuando inició el programa.

Estudiar en una universidad acreditada como institución de alta calidad representa un reto para los estudiantes, pues ellos no solo deben obtener desempeños altos en el examen Saber 11 o en exámenes de admisión conducidos por las mismas universidades (generalmente públicas), sino también deben pagar altos costos de matrícula en caso de que quieran ingresar a instituciones privadas. Estas restricciones al ingreso a la educación superior llevaron a una baja representación de estudiantes sobresalientes de bajos ingresos, en instituciones de alta calidad. Por esta razón, en octubre de 2014, el Gobierno Nacional y el Ministerio de Educación Nacional implementaron el programa Ser Pilo Paga (SPP), que busca garantizarle el acceso a la educación superior cada año a 10 000 estudiantes en condición de vulnerabilidad, que obtuvieran puntajes altos en el examen Saber 11.

En consecuencia, un beneficiario del programa obtiene una beca otorgada por el Instituto Colombiano de Crédito Educativo y Estudios Técnicos en el Exterior (ICETEX) que financia la totalidad de la matrícula en una institución de educación superior acreditada de alta calidad y un subsidio de sostenimiento que varía si el estudiante debe desplazarse de su ciudad de origen 5 . Si los estudiantes desertan del programa, deben pagar la cantidad de dinero que les fue otorgada con la beca.

Asimismo, un estudiante beneficiario del programa debe cumplir con los siguientes requisitos: presentar el examen Saber 11 y obtener un puntaje global superior al percentil 91 6 , ser admitido en una institución de educación superior con acreditación de alta calidad y estar registrado en el Sisbén (Sistema de Identificación de Potenciales Beneficiarios de Programas Sociales) con un puntaje acorde al área de residencia (tabla 1). El Sisbén es un instrumento de focalización que permite identificar a la población pobre potencial beneficiaria de programas sociales (Espinosa et al., 2008). Este instrumento ordena a los individuos de acuerdo con sus condiciones de vida en un rango de 0 a 100, donde cero muestra las condiciones de mayor vulnerabilidad o pobreza.

Tabla 1
Requisitos para ser elegible por el Sisbén en el programa Ser Pilo Paga
Requisitos
para ser elegible por el Sisbén en el programa Ser
Pilo Paga


2.3. Características de los estudiantes elegibles y no elegibles

A partir de los registros administrativos del Icfes, se comparan las características de los estudiantes elegibles y no elegibles en colegios con y sin beneficiarios del programa luego de la primera ola de incentivos.

Las tablas 2 y 3 muestran diferencias en características observables de estudiantes elegibles y no elegibles en colegios con y sin beneficiarios del programa en el 2014. En estas tablas se evidencian diferencias estadísticamente significativas entre los estudiantes elegibles y no elegibles de ambos tipos de colegios.

En colegios con y sin beneficiarios del programa luego de la primera ola de incentivos, se evidencia una menor proporción de mujeres no elegibles en comparación a la proporción de mujeres elegibles, los no elegibles eran ligeramente menores en edad y provenían de padres más educados. Esto se evidencia al observar que la proporción de estudiantes no elegibles, cuyos padres completaron la secundaria u obtuvieron un título técnico o profesional o completaron un posgrado, es mayor en comparación a la proporción observada en los estudiantes elegibles.

Asimismo, se evidencia que las madres de estudiantes no elegibles se ocupan con menos frecuencia al hogar y, en su lugar, se emplean con mayor frecuencia como auxiliar, técnico o profesional, directivo o gerente general. En el caso de los padres de estudiantes elegibles, también se ocupan con mayor frecuencia en cargos de nivel auxiliar, técnico o profesional, directivo o gerente general y se ocupan menos como obreros u operarios. En cuanto al ingreso familiar, se observa que la proporción de estudiantes elegibles en cuyos hogares reciben menos de un salario mínimo es más de dos veces la proporción de estudiantes no elegibles en la misma condición. Esto se relaciona con las proporciones de estudiantes no elegibles y elegibles clasificados en el nivel 1 de Sisbén, pues la proporción de estudiantes elegibles clasificados en este nivel es alrededor de 3 veces la proporción de estudiantes no elegibles en la misma condición. También se evidencia que los estudiantes no elegibles tenían Internet, computadores y automóvil en su hogar con mayor frecuencia, vivían en promedio con menos personas en su hogar, era menos probable que estudiaran en colegios públicos y vivían con menor frecuencia en condiciones de extrema pobreza 7 .

Los resultados de las tablas 2 y 3 muestran diferencias sistemáticas en las características observables de los estudiantes elegibles y no elegibles. Esto sugiere que la selección de la población objetivo fue efectiva al ofrecer el incentivo a población que contaba con pocos recursos económicos y, en general, a estudiantes que tenían pocas probabilidades de acceder a la educación superior. Estas diferencias en características observables entre estudiantes elegibles y no elegibles en ambos tipos de colegios permanecen en el año 2015 e incluso algunas se amplían como sugieren las tablas 4 y 5.

Por otro lado, en las tablas 2 y 3 se pueden observar dos hechos estilizados relevantes. En primer lugar, se puede observar que tanto los estudiantes elegibles como no elegibles de colegios con beneficiarios en la primera ola de incentivos provienen de familias con mayores recursos económicos, padres más educados y padres mejor ubicados en el mercado laboral, en comparación a los estudiantes de colegios sin beneficiarios del programa. En segundo lugar, se evidencia que las diferencias en características observables entre los estudiantes elegibles y no elegibles suelen ser más grandes en colegios que no obtuvieron beneficiarios en la primera ola de incentivos. Estos resultados presentan evidencia sobre la hipótesis de Heller y Marin (2002) acerca de cómo el flujo de beneficios termina dirigiéndose a estudiantes con ingresos altos o medios, pues las becas del programa las obtuvieron estudiantes que, aunque eran elegibles, provenían de familias y colegios que en promedio tenían mayores recursos.

Tabla 2.
Diferencias entre estudiantes elegibles y no elegibles en colegios sin beneficiarios en la primera ola (Año = 2014)
Diferencias entre
estudiantes elegibles y no elegibles en colegios sin beneficiarios en la
primera ola (Año = 2014)

Nota: La significancia estadística se obtuvo a partir de una prueba t para diferencia de medias con varianzas desiguales. * Significativo al 10 %, ** Significativo al 5 %, *** Significativo al 1 %.


Tabla 2 (cotn.)
Diferencias entre estudiantes elegibles y no elegibles en colegios sin beneficiarios en la primera ola (Año = 2014)
Diferencias entre
estudiantes elegibles y no elegibles en colegios sin beneficiarios en la
primera ola (Año = 2014)

Nota: La significancia estadística se obtuvo a partir de una prueba t para diferencia de medias con varianzas desiguales. * Significativo al 10 %, ** Significativo al 5 %, *** Significativo al 1 %.


Tabla 2 (cont.)
Diferencias entre estudiantes elegibles y no elegibles en colegios sin beneficiarios en la primera ola (Año = 2014)
Diferencias entre
estudiantes elegibles y no elegibles en colegios sin beneficiarios en la
primera ola (Año = 2014)

Nota: La significancia estadística se obtuvo a partir de una prueba t para diferencia de medias con varianzas desiguales. * Significativo al 10 %, ** Significativo al 5 %, *** Significativo al 1 %.


Tabla 3
Diferencias entre estudiantes elegibles y no elegibles en colegios con beneficiarios en la primera ola (Año = 2014)
Diferencias entre
estudiantes elegibles y no elegibles en colegios con beneficiarios en la
primera ola (Año = 2014)

Nota: La significancia estadística se obtuvo a partir de una prueba t para diferencia de medias con varianzas desiguales. * Significativo al 10 %, ** Significativo al 5 %, *** Significativo al 1 %.


Tabla 3 (cont.)
Diferencias entre estudiantes elegibles y no elegibles en colegios con beneficiarios en la primera ola (Año = 2014)
Diferencias entre
estudiantes elegibles y no elegibles en colegios con beneficiarios en la
primera ola (Año = 2014)

Nota: La significancia estadística se obtuvo a partir de una prueba t para diferencia de medias con varianzas desiguales. * Significativo al 10 %, ** Significativo al 5 %, *** Significativo al 1 %.


Tabla 3 (cont.)
Diferencias entre estudiantes elegibles y no elegibles en colegios con beneficiarios en la primera ola (Año = 2014)
Diferencias entre
estudiantes elegibles y no elegibles en colegios con beneficiarios en la
primera ola (Año = 2014)

Nota: La significancia estadística se obtuvo a partir de una prueba t para diferencia de medias con varianzas desiguales. * Significativo al 10 %, ** Significativo al 5 %, *** Significativo al 1 %.


Tabla 4
Diferencias entre estudiantes elegibles y no elegibles en colegios sin beneficiarios en la primera ola (Año = 2015)
Diferencias entre
estudiantes elegibles y no elegibles en colegios sin beneficiarios en la
primera ola (Año = 2015)

Nota: La significancia estadística se obtuvo a partir de una prueba t para diferencia de medias con varianzas desiguales. * Significativo al 10 %, ** Significativo al 5 %, *** Significativo al 1 %.


Tabla 4 (cont.)
Diferencias entre estudiantes elegibles y no elegibles en colegios sin beneficiarios en la primera ola (Año = 2015)
Diferencias entre
estudiantes elegibles y no elegibles en colegios sin beneficiarios en la
primera ola (Año = 2015)

Nota: La significancia estadística se obtuvo a partir de una prueba t para diferencia de medias con varianzas desiguales. * Significativo al 10 %, ** Significativo al 5 %, *** Significativo al 1 %.


Tabla 4 (cont.)
Diferencias entre estudiantes elegibles y no elegibles en colegios sin beneficiarios en la primera ola (Año = 2015)
Diferencias entre
estudiantes elegibles y no elegibles en colegios sin beneficiarios en la
primera ola (Año = 2015)

Nota: La significancia estadística se obtuvo a partir de una prueba t para diferencia de medias con varianzas desiguales. * Significativo al 10 %, ** Significativo al 5 %, *** Significativo al 1 %.


Tabla 5
Diferencias entre estudiantes elegibles y no elegibles en colegios con beneficiarios en la primera ola (Año = 2015)
Diferencias entre
estudiantes elegibles y no elegibles en colegios con beneficiarios en la
primera ola (Año = 2015)

Nota: La significancia estadística se obtuvo a partir de una prueba t para diferencia de medias con varianzas desiguales. * Significativo al 10 %, ** Significativo al 5 %, *** Significativo al 1 %.


Tabla 5 (cont.)
Diferencias entre estudiantes elegibles y no elegibles en colegios con beneficiarios en la primera ola (Año = 2015)
Diferencias entre
estudiantes elegibles y no elegibles en colegios con beneficiarios en la
primera ola (Año = 2015)

Nota: La significancia estadística se obtuvo a partir de una prueba t para diferencia de medias con varianzas desiguales. * Significativo al 10 %, ** Significativo al 5 %, *** Significativo al 1 %.


Tabla 5 (cont.)
Diferencias entre estudiantes elegibles y no elegibles en colegios con beneficiarios en la primera ola (Año = 2015)
Diferencias entre
estudiantes elegibles y no elegibles en colegios con beneficiarios en la
primera ola (Año = 2015)

Nota: La significancia estadística se obtuvo a partir de una prueba t para diferencia de medias con varianzas desiguales. * Significativo al 10 %, ** Significativo al 5 %, *** Significativo al 1 %.


Las diferencias entre estudiantes elegibles y no elegibles en colegios con y sin beneficiarios del programa también se trasladan a los resultados en el puntaje global del examen. Así lo sugiere la figura 1, donde se muestra cómo está distribuido el puntaje global de los estudiantes elegibles y no elegibles en colegios con y sin beneficiarios en 2014. En esta se aprecia cómo las distribuciones de los estudiantes elegibles y no elegibles en colegios sin beneficiarios están centradas a la izquierda de las distribuciones de los estudiantes en colegios con beneficiarios. Incluso la distribución de los no elegibles en colegios sin beneficiarios está a la izquierda de la distribución de los estudiantes elegibles en colegios con beneficiarios.

Distribuciones
del puntaje global de estudiantes elegibles y no elegibles en colegios con y
sin beneficiarios
Figura 1
Distribuciones del puntaje global de estudiantes elegibles y no elegibles en colegios con y sin beneficiarios


La tabla 6 también presenta diferencias entre los colegios con y sin beneficiarios. En esta se aprecian diferencias estadísticamente significativas como una mayor proporción de estudiantes elegibles y una menor cantidad de estudiantes en colegios que no obtuvieron beneficiarios frente a los que obtuvieron beneficiarios en 2014.

Tabla 6
Diferencias en características observables de los colegios con y sin beneficiarios del programa (Año = 2014)
Diferencias en
características observables de los colegios con y sin beneficiarios del
programa (Año = 2014)

Nota: La significancia estadística se obtuvo a partir de una prueba t para diferencia de medias con varianzas desiguales. * Significativo al 10 %, ** Significativo al 5 %, *** Significativo al 1 %.


3. Metodología

El propósito de este trabajo es identificar el efecto de ser elegible por el programa sobre los resultados de los estudiantes en el examen Saber 11, en colegios con y sin beneficiarios del programa luego de la primera ola de incentivos. Comparar los resultados de estudiantes elegibles y no elegibles de colegios con y sin beneficiarios en 2015 puede resultar en una estimación sesgada del efecto. De hecho, dado que los estudiantes elegibles provienen de entornos socioeconómicos desfavorables, pues son hijos de padres menos educados y con menores ingresos, entre otros, comparar los resultados de estudiantes elegibles con los de los no elegibles en ambos tipos de colegios, solo en 2015, resultaría en una subestimación del efecto de interés. Por esta razón, la estrategia de identificación debe tener en cuenta las diferencias existentes en 2014, entre estudiantes elegibles y no elegibles de colegios con y sin beneficiarios, a la hora de comparar su desempeño en el año siguiente.

Esta comparación es posible debido a la forma en que fue anunciada la provisión de las becas a los estudiantes beneficiarios, pues mientras los estudiantes presentaron el examen Saber 11 el 3 agosto del año 2014 como establece el Acuerdo N.° 023 de 2014 del Icfes, el anuncio del programa Ser Pilo Paga fue realizado solo hasta octubre. Esto queda estipulado en el convenio entre el Ministerio de Educación Nacional y el ICETEX que busca dar cumplimiento al programa suscrito el 23 de octubre de 2014 como establece el Convenio Interadministrativo 771 de 2014 y el Contrato 077 de 2015 del ICETEX.

Tener datos de todos los estudiantes que presentaron el examen Saber 11 entre 2014 y 2015 y de los beneficiarios del programa en el primer año, no solo permite separar los colegios que obtuvieron beneficiarios del programa de los que no, sino también tener una línea base (2014) en donde nadie anticipaba el programa y, por tanto, el desempeño de los estudiantes no estaba incentivado por la provisión de becas, y una de seguimiento (2015) en donde tanto los estudiantes como el personal de los colegios ya anticipaban la provisión de los incentivos. De esta manera, usando un modelo de diferencias en diferencias se puede encontrar el efecto de ser elegible en colegios con y sin beneficiarios del programa, estimando el modelo.

(1)

Donde Puntajeij es el puntaje global estandarizado del estudiante i en el colegio j o el puntaje estandarizado en las pruebas de lectura y matemáticas. elegibleij es una variable indicadora que toma el valor de 1, si el estudiante i en el colegio j es elegible como potencial beneficiario del programa por el puntaje Sisbén. Tij es una variable indicadora que toma el valor de 1 si el estudiante i en el colegio j presentó el examen Saber 11 en el año 2015 y 0 si lo presentó en 2014. Xij es un vector de características del estudiante i en el colegio j, que se interactúan con la variable Tij para controlar por cambios en las características observables de los individuos. γ j es un vector de variables binarias para cada uno de los colegios de la muestra. Estos efectos fijos de colegios (γ j ) permiten controlar por las características observables de los colegios y otras no observables que afectan los resultados de los estudiantes en la prueba estandarizada. También se interactúan los efectos fijos de colegio con la variable de tiempo (Tij ) para capturar las características observables y no observables de los colegios que cambien entre un periodo y otro y puedan afectar los resultados de los estudiantes. Cabe resaltar que este modelo se estima por separado para estudiantes en colegios que obtuvieron y no obtuvieron beneficiarios del programa en 2014.

El coeficiente de interés en este modelo es el asociado con la interacción entre la variable binaria que indica si el estudiante es elegible (elegibleij ) y la variable indicadora de tiempo, Tij . Como sugiere la ecuación (2), β3 captura el efecto de ser elegible sobre los resultados en las pruebas de lectura, matemáticas y el puntaje global del examen, teniendo en cuenta las diferencias en características observables entre estudiantes elegibles y no elegibles en colegios con y sin beneficiarios del programa antes de la asignación de las becas.

(2)

Esta estrategia de identificación muestra un estimador insesgado del efecto bajo dos supuestos 8 . En primer lugar, es necesario que características no observables de los estudiantes elegibles y no elegibles sean constantes en el tiempo o su patrón de crecimiento en el tiempo no difiera entre un grupo u otro. Aunque este supuesto no es comprobable, es difícil imaginar un factor no observable de los estudiantes elegibles que cambie en el periodo en estudio y que no sea provocado por el programa. Además, entre la presentación de ambos exámenes hay menos de un año y, por tanto, es difícil imaginar un factor no observable en el grupo de tratamiento que haya presentado una tendencia de crecimiento diferente a la del grupo control entre 2014 y 2015. En segundo lugar, se debe satisfacer el supuesto de tendencias paralelas. Este requiere que el patrón de crecimiento de los puntajes de estudiantes elegibles y no elegibles en ambos tipos de colegios sea el mismo en ausencia del programa.

A diferencia del supuesto anterior, este puede comprobarse tomando información de los estudiantes en años anteriores a la asignación de las becas. En este caso, debido a que la primera ola de incentivos se llevó a cabo en el 2014, se utilizan resultados de estudiantes que presentaron el examen en 2012 y 2013. Con la información de los estudiantes que presentaron el examen en estos años, información sobre el nivel de Sisbén al que pertenecen y la variable binaria que indica los colegios con y sin beneficiarios del programa en la primera ola de incentivos, estimo el efecto de ser elegible sobre los resultados en matemáticas, lenguaje y el puntaje global de la prueba. El supuesto de tendencias paralelas se cumple si este efecto no es estadísticamente diferente de cero, pues sugiere que en ausencia del programa no existían diferencias en el patrón de crecimiento de los resultados entre estudiantes elegibles y no elegibles en colegios con y sin beneficiarios del programa.

4. Resultados

4.1. Efecto de ser elegible en colegios con y sin beneficiarios del programa

En la tabla 7 se presenta el puntaje global de la prueba estandarizado de los estudiantes elegibles y no elegibles en colegios con y sin beneficiarios entre 2014 y 2015. Aunque estos resultados son ilustrativos del efecto de ser elegible en ambos tipos de colegios, no usan toda la información disponible, pues no controlan por características observables de los individuos y los colegios.

Tabla 7
Puntajes promedio estandarizados por año
Puntajes
promedio estandarizados por año

Nota: Puntajes globales de la prueba estandarizados, la cantidad de estudiantes en cada grupo y año se encuentra entre paréntesis.


Los resultados preliminares para el puntaje global del examen, en colegios con beneficiarios en la primera ola de incentivos, muestran que los estudiantes elegibles presentaron un incremento de 0,04 desviaciones estándar en su desempeño entre un año y otro. Mientras tanto, los estudiantes no elegibles, no muestran cambios entre 2014 y 2015. En el caso de los estudiantes en colegios sin beneficiarios en la primera ola de incentivos, se evidencia un panorama distinto. Mientras los estudiantes elegibles evidencian un aumento en su desempeño global de la prueba en 0,04 desviaciones estándar, en los estudiantes no elegibles se evidencia una disminución de 0,06 desviaciones estándar.

El efecto de ser elegible por el programa SPP en colegios con y sin beneficiarios del programa proviene de la diferencia entre el crecimiento de un año y otro de los puntajes de cada prueba para los estudiantes elegibles y no elegibles. Esto bajo el supuesto de que, en ausencia del programa, el crecimiento en el puntaje de las pruebas entre estudiantes elegibles y no elegibles en colegios con y sin beneficiarios del programa, es similar.

El estimador simple del efecto de ser elegible por el programa SPP en colegios con beneficiarios, sobre el puntaje global del examen, sugiere que los estudiantes elegibles obtuvieron un crecimiento en el puntaje global de 0,04 desviaciones estándar superior al de estudiantes no elegibles. En los colegios sin beneficiarios del programa, los estudiantes elegibles obtuvieron un crecimiento en el puntaje global del examen de 0,10 desviaciones estándar superior al de estudiantes no elegibles.

En las tablas 8 y 9 se presentan estimaciones del modelo (1) para el puntaje global del examen y los puntajes en matemáticas y lectura, en colegios que obtuvieron beneficiarios del programa en la primera ola de incentivos y en colegios que no obtuvieron beneficiarios, respectivamente. La especificación (1) en cada puntaje muestra el resultado de la estrategia de identificación, incluyendo las características observables de los estudiantes y su interacción con la variable de tiempo (Tij ). Esta estimación muestra el efecto ser elegible una vez se controla por características observables de los estudiantes y por cambios en las características observables de los estudiantes entre 2014 y 2015. En la especificación (2) de cada puntaje se presentan los resultados del efecto de interés, controlando por características no observables de los colegios que puedan afectar los puntajes y a la vez estar relacionados con el patrón de crecimiento de los puntajes de los estudiantes elegibles. En la especificación (3) se presentan los efectos de interés, una vez se controla por interacciones entre los efectos fijos por colegios y la variable de tiempo (Tij ), con el objetivo de aislar todos los cambios en características no observables de los colegios entre un periodo y otro que puedan estar relacionados con el patrón de crecimiento de los estudiantes elegibles relativo al de los no elegibles 9 .

Los resultados en colegios que obtuvieron beneficiarios en la primera ola de incentivos (tabla 8) sugieren que los estudiantes elegibles evidenciaron un incremento en el puntaje de matemáticas de acuerdo con la especificación (1) de 0,04 desviaciones estándar frente a estudiantes no elegibles. Este incremento es estadísticamente diferente de cero a un nivel de significancia del 1 %. Una vez se controlan por efectos fijos a nivel de colegio en la especificación (2) y por cambios en factores no observables de los colegios entre un año y otro, ser elegible representó un aumento en el puntaje de matemáticas de 0,02 desviaciones estándar frente a no ser elegible por el programa. Al igual que en la especificación (1), este aumento es estadísticamente significativo a un nivel del 1 %.

En el puntaje global del examen y en el puntaje de lectura se observa un comportamiento similar, ser elegible representó un aumento de 0,05 desviaciones estándar frente a no ser elegible por el programa en colegios que obtuvieron beneficiarios en la primera ola de incentivos. Los resultados de las especificaciones (2) y (3) evidencian una disminución en la magnitud del efecto sobre ambos puntajes. De acuerdo con estas, los estudiantes elegibles registraron un aumento de 0,03 desviaciones estándar en el puntaje global del examen y el puntaje de lectura, frente a estudiantes no elegibles por el programa. Ambos efectos estadísticamente significativos al 1 %.

La tabla 9 muestra los resultados en colegios que no obtuvieron beneficiarios en la primera ola de incentivos. De acuerdo con la especificación (1), los estudiantes elegibles registraron un aumento de 0,10 desviaciones estándar en el puntaje de matemáticas y de lectura frente a estudiantes no elegibles entre 2014 y 2015. En el puntaje global del examen, el aumento fue de 0,11 desviaciones estándar. Las especificaciones (2) y (3) muestran una disminución en la magnitud de los tres efectos. Mientras ser elegible representó un aumento de 0,09 desviaciones estándar en el puntaje global del examen y en el puntaje de matemáticas, en el puntaje de lectura representó un aumento de 0,08 desviaciones estándar. Cabe mencionar que cada uno de los tres efectos es estadísticamente significativo al 1 %.

Los resultados de las tablas 8 y 9 proveen evidencia sobre las diferencias en el efecto de ser elegible, en colegios con y sin beneficiarios del programa en la primera ola de incentivos. Mientras ser elegible en colegios con beneficiarios representó un aumento de 0,02 desviaciones estándar en matemáticas y 0,03 desviaciones estándar en el puntaje global del examen y en el puntaje de lectura, ser elegible en colegios sin beneficiarios del programa representó un aumento de 0,09 desviaciones estándar en el puntaje global del examen y el puntaje de matemáticas, y un aumento de 0,08 desviaciones estándar en el puntaje de lectura.

Tabla 8
El efecto de ser elegible en colegios que obtuvieron beneficiarios en el 2014
El
efecto de ser elegible en colegios que obtuvieron beneficiarios en el 2014

Nota: Los errores estándar tienen en cuenta la posible autocorrelación de los errores de los estudiantes al interior de cada colegio y, por tanto, se usa el ajuste por clusters a este nivel. * Significativo al 10 %, ** Significativo al 5 %, *** Significativo al 1 %.


Tabla 9
El efecto de ser elegible en colegios sin beneficiarios en el 2014
El
efecto de ser elegible en colegios sin beneficiarios en el 2014

Nota: Los errores estándar tienen en cuenta la posible autocorrelación de los errores de los estudiantes al interior de cada colegio y por tanto, se usa el ajuste por clusters a este nivel. * Significativo al 10 %, ** Significativo al 5 %, *** Significativo al 1 %.


Estos resultados sugieren la existencia de externalidades en el desempeño de los estudiantes elegibles y no elegibles que provienen de colegios sin beneficiarios del programa, pues el efecto de ser elegible es alrededor de tres veces mayor al que muestran los estudiantes elegibles en colegios con beneficiarios. Además, estas diferencias en el efecto de ser elegible en colegios con y sin beneficiarios del programa no solo muestra que la brecha de puntajes entre estudiantes elegibles y no elegibles se reduce en el tiempo, sino también sugiere que la brecha de puntajes entre elegibles y no elegibles se cierra más rápido en colegios que en promedio tenían menores dotaciones iniciales, es decir, en colegios que no obtuvieron beneficiarios del programa en la primera ola de incentivos.

Existen evidencias de externalidades de la provisión de incentivos en educación, encontradas previamente en la literatura. Como fue mencionado anteriormente, Kremer et al. (2009) muestran que en un programa que buscaba proveer becas a mujeres de grado sexto con altos desempeños en una prueba estandarizada, no solo incrementaba los puntajes de las mujeres elegibles sino también provocaba un aumento en los puntajes de los hombres que pertenecían a los colegios donde fue ofrecido el incentivo, a pesar de que ellos no tuvieran oportunidad de ser beneficiarios. Asimismo, demuestran que las mujeres elegibles con pocas o ninguna probabilidad de ganarse el incentivo aumentaban más su puntaje frente a mujeres elegibles con mayores probabilidades de obtener la beca. Entre los mecanismos que conducen a la existencia de externalidades de la provisión de incentivos, Kremer et al. (2009) señalan no solo un mayor esfuerzo de los estudiantes elegibles sino también de los profesores, quienes probablemente tienen una percepción más acertada sobre el lugar en el que están ubicados sus estudiantes en la distribución de puntajes y, por tanto, del trabajo que deben realizar con ellos.

Aunque no se cuenta con información para probar los mecanismos que provocan la externalidad, los resultados parecen indicar un mayor esfuerzo presentado por los estudiantes elegibles como lo sugieren otros estudios en la literatura (Levitt et al., 2012; Gneezy et al., 2011; Angrist & Lavy, 2009) y una disminución en el desempeño de los estudiantes no elegibles que podría ser un ejemplo de una pérdida de motivación intrínseca (tabla 7), ante la recompensa extrínseca de la provisión de becas que no pueden recibir, y que puede llevar a una disminución del esfuerzo que imprimen los estudiantes (Lepper, 1973; Greene et al., 1976; Greene & Lepper, 1974). Esta disminución no se presenta en el desempeño de los estudiantes no elegibles de colegios que obtuvieron beneficiarios debido a que probablemente son estudiantes que en promedio ingresan a la educación superior o esperan ingresar, desde que provienen de entornos económicos más aventajados. Así lo evidencia la tabla 10, donde se presentan las respuestas de estudiantes no elegibles en colegios con y sin beneficiarios del programa ante la pregunta ¿Qué tan probable es que ingrese a un programa de educación superior el siguiente año?, realizada a una muestra aleatoria de estudiantes en el segundo semestre de 2014, durante la inscripción al examen. De hecho, se cree que al comparar los estudiantes no elegibles de colegios con y sin beneficiarios del programa que efectivamente ingresan a la educación superior, la diferencia es más amplia a lo evidenciado con respecto a sus expectativas.

Debido a que la primera ola de incentivos se entregó a los estudiantes que presentaron el examen durante el segundo semestre del 2014, como una prueba de robustez, se usa información de los estudiantes que tomaron el examen Saber 11 en 2012 y 2013. Además, a partir del nivel de Sisbén 10 en el que ellos se encuentran, se definieron a los estudiantes elegibles del programa como todos aquellos que se encuentran en el nivel uno. Con esta información, se estima el modelo (1) con información de los estudiantes y los colegios en ausencia del programa. El supuesto de tendencias paralelas se cumple si el efecto de ser elegible no es estadísticamente diferente de cero, pues sugiere que en ausencia del programa no existían diferencias en el patrón de crecimiento de los resultados entre estudiantes elegibles y no elegibles de colegios con y sin beneficiarios del programa.

Las tablas 11 y 12 muestran el efecto de ser elegible en colegios con y sin beneficiarios del programa, respectivamente, sobre el puntaje global del examen y los puntajes de matemáticas y lectura. Las especificaciones (1), (2) y (3) controlan por las características de los estudiantes, efectos fijos de colegio y efectos fijos de colegio interactuados con la variable tiempo (Tij ) para capturar los cambios en características no observables de los colegios entre un año y otro.

Los resultados de la tabla 11 muestran el efecto de ser elegible en colegios que obtuvieron beneficiarios del programa en 2014, en ausencia del programa, sobre el puntaje global del examen y los puntajes en lectura y matemáticas. La especificación (1) para cada puntaje sugiere que ser elegible representó una disminución en los puntajes de matemáticas y lectura de 0,03 desviaciones estándar en relación con los no elegibles, mientras que en el puntaje global del examen se evidencia una disminución de 0,02 desviaciones estándar, estadísticamente significativa solo a un nivel del 10 %. Al controlar por factores no observables de los colegios en la especificación (2) y por cambios en estos factores entre un año y otro en la especificación (3), se observa que, a los niveles tradicionales de significancia, no se puede rechazar que el efecto de ser elegible sobre el puntaje global del examen y los puntajes de matemáticas y lectura sean estadísticamente iguales a cero.

La tabla 12 muestra el efecto de ser elegible en colegios que no obtuvieron beneficiarios del programa en 2014, en ausencia de este. Los resultados de las tres especificaciones en el puntaje global del examen y el puntaje en matemáticas evidencian que no se puede rechazar que el efecto de ser elegible sobre el puntaje global del examen y sobre el puntaje de matemáticas sea estadísticamente igual a cero. En el caso de lectura, ser elegible representó una disminución de 0,03 desviaciones estándar. Aunque los resultados en el puntaje global del examen y en el puntaje de matemáticas sugieren el cumplimiento del supuesto de tendencias paralelas, en el caso de lectura probablemente exista, al igual que en el resto de estimaciones, producto de la estrategia de identificación, una subestimación del efecto de interés y, por tanto, un “lower bound” del efecto.

Tabla 10
Respuestas de los estudiantes no elegibles ante la pregunta ¿Qué tan probable es que el próximo año ingrese a un programa de Educación Superior?
Respuestas de los
estudiantes no elegibles ante la pregunta ¿Qué tan probable es que el próximo
año ingrese a un programa de Educación Superior?

Nota: La significancia estadística se obtuvo a partir de una prueba t para diferencia de medias con varianzas desiguales.
* Significativo al 10 %, ** Significativo al 5 %, *** Significativo al 1 %.


Tabla 11
El efecto de ser elegible en colegios que obtuvieron beneficiarios en 2014, en ausencia del programa
El efecto de ser
elegible en colegios que obtuvieron beneficiarios en 2014, en ausencia del programa

Nota: Los errores estándar tienen en cuenta la posible autocorrelación de los errores de los estudiantes al interior de cada colegio y, por tanto, se usa el ajuste por clusters a este nivel. * Significativo al 10 %, ** Significativo al 5 %, *** Significativo al 1 %.


Tabla 12
El efecto de ser elegible en colegios sin beneficiarios, en ausencia del programa
El efecto de ser
elegible en colegios sin beneficiarios, en ausencia del programa

Nota: Los errores estándar tienen en cuenta la posible autocorrelación de los errores de los estudiantes al interior de cada colegio y, por tanto, se usa el ajuste por clusters a este nivel. * Significativo al 10 %, ** Significativo al 5 %, *** Significativo al 1 %.


4.2. Efectos heterogéneos de la provisión de incentivos

De acuerdo con Camerer y Hogarth (1999), la provisión de incentivos puede tener efectos diferenciados dependiendo de qué tan grande es la brecha entre el desempeño desincentivado y el umbral de desempeño a partir del cual se provee el incentivo. Si los estudiantes de bajo desempeño perciben amplia esta brecha, y, por tanto, un umbral inalcanzable, el efecto de la provisión de incentivos es cercano a cero. En cambio, si los estudiantes de alto desempeño perciben que el umbral está a su alcance, el efecto de la provisión de incentivos tenderá a ser positivo.

Con el objetivo de probar si existen efectos heterogéneos de la provisión de incentivos, dependiendo del lugar en el que se encuentran ubicados los estudiantes en la distribución de desempeño, se usó el método de regresión cuantílica (Koenker & Hallock, 2001) para encontrar el estimador de diferencias en diferencias propuesto en el modelo (1) para los percentiles 25, 50, 75 y 90. Esto permite establecer si existen diferencias en el efecto de ser elegible a partir del lugar en el que los estudiantes se encuentran en la distribución de puntajes, sobre el puntaje global del examen y los puntajes de matemáticas y lectura.

Las tablas 13 y 14 presentan el efecto de ser elegible en colegios con y sin beneficiarios del programa, usando una regresión cuantílica como método de estimación. Los resultados de la tabla 13 muestran que estudiantes elegibles con desempeños bajos en el examen (percentil 25) evidenciaron un aumento de 0,02 desviaciones estándar en matemáticas, 0,05 desviaciones estándar en lenguaje y 0,04 desviaciones estándar en el puntaje global del examen. Mientras tanto, los estudiantes elegibles con desempeños altos (percentil 90) en el examen evidenciaron un aumento de 0,06 desviaciones estándar en matemáticas, 0,04 desviaciones estándar en lectura y 0,05 desviaciones estándar en el puntaje global del examen. Estos resultados sugieren que la hipótesis de Camerer y Hogarth (1999) parece cumplirse en el caso de matemáticas; sin embargo, los resultados en lectura y el puntaje global del examen no establecen diferencias notables entre el efecto estimado para los estudiantes de altos y bajos desempeños, al menos en estudiantes que provienen de colegios que obtuvieron beneficiarios del programa en el 2014.

La tabla 14 presenta estimaciones para el efecto de ser elegible en colegios que no obtuvieron beneficiarios del programa luego de la primera ola de incentivos. Los estudiantes elegibles con desempeños bajos en el examen registraron un aumento de 0,06 desviaciones estándar en los puntajes de matemáticas y lectura, y un aumento de 0,07 desviaciones estándar en el puntaje global del examen. Al observar las estimaciones para los estudiantes con altos desempeños, ser elegible representó un aumento en el puntaje global del examen y el puntaje de matemáticas de 0,16 desviaciones estándar, y un aumento en el puntaje de lectura de 0,14 desviaciones estándar. A diferencia de los resultados encontrados para estudiantes en colegios con beneficiarios del programa en la primera ola de incentivos, estos resultados sugieren diferencias en el efecto de ser elegible entre estudiantes con altos y bajos desempeños.

Existen evidencias de efectos heterogéneos de la provisión de incentivos, encontrados previamente en la literatura, similares a los resultados encontrados para los estudiantes de colegios que no obtuvieron beneficiarios en el primer año. Angrist y Lavy (2009) muestran que mientras los individuos en la parte alta de la distribución de habilidades respondían a los incentivos ofrecidos en su experimento, los individuos en la parte baja de la distribución no lo hacían. Asimismo, Leuven et al. (2010) señalan que los estudiantes de mayor habilidad responden positivamente a los incentivos, mientras que los estudiantes de menor habilidad no mejoran su desempeño e incluso, en ocasiones, se desempeñan aun peor por una pérdida de motivación intrínseca y una respuesta nula al incentivo.

En contraste a lo encontrado por la literatura, en este trabajo se presentan evidencias de que incluso los estudiantes elegibles con menor desempeño responden positivamente a la provisión de incentivos. Aunque en colegios que obtuvieron beneficiarios del programa en la primera ola de incentivos parece que no existen diferencias notables en el efecto de ser elegible entre estudiantes de altos y bajos desempeños, en colegios que no obtuvieron beneficiarios, la respuesta al incentivo de los estudiantes elegibles con altos desempeños es más de dos veces la de los estudiantes elegibles con desempeños bajos. Este resultado puede sugerir no solo una mayor respuesta al incentivo de los estudiantes elegibles de altos desempeños en la prueba, sino también una mayor pérdida de motivación intrínseca entre los estudiantes no elegibles de altos desempeños.

Tabla 13
Efectos heterogéneos en colegios con beneficiarios del programa en 2014
Efectos heterogéneos en colegios con beneficiarios del programa
en 2014

Nota: Los errores estándar fueron calculados por Bootstrap usando 50 repeticiones. * Significativo al 10 %, ** Significativo al 5 %, *** Significativo al 1 %.


Tabla 14
Efectos heterogéneos en colegios sin beneficiarios del programa en 2014
Efectos heterogéneos en colegios sin beneficiarios del programa en 2014

Nota: Los errores estándar fueron calculados por Bootstrap usando 50 repeticiones. * Significativo al 10 %, ** Significativo al 5 %, *** Significativo al 1 %.


Estos resultados no solo sugieren que la brecha de puntajes entre estudiantes elegibles y no elegibles se está cerrando a lo largo de la distribución de habilidades, sino también muestran que se está cerrando más rápido en la parte alta de la distribución de puntajes. Además, teniendo en cuenta que en los colegios que no obtuvieron beneficiarios del programa, los estudiantes provenían de entornos socioeconómicos más desfavorables, los resultados muestran que la brecha de puntajes entre estudiantes elegibles y no elegibles de desempeños bajos se está cerrando más rápido que la brecha de puntajes entre estudiantes elegibles y no elegibles de altos desempeños en colegios que obtuvieron beneficiarios del programa.

5. Conclusiones

La provisión de incentivos en educación es frecuentemente debatida pues no es claro que el tamaño de los efectos representa el mejor retorno a la inversión. Sin embargo, los resultados mostrados en este y otros trabajos sugieren no solo la existencia de efectos directos provocados por el programa sino también de efectos indirectos o externalidades que pueden subestimar (sobreestimar) el verdadero retorno a la inversión.

En 2014, el programa Ser Pilo Paga asignó becas a estudiantes en condiciones de vulnerabilidad que obtuvieron desempeños altos en la prueba estandarizada Saber 11, el examen de salida de la educación media, para que accedieran a instituciones de educación superior acreditadas de alta calidad. Los estudiantes beneficiarios provenían de familias y colegios con mayores recursos dentro de la población elegible. Esto permitió analizar la reacción al programa de los estudiantes elegibles en 2015 que provenían de colegios con y sin beneficiarios en la primera ola, a la provisión de becas que tanto ellos como el personal de los colegios anticipaban.

Los resultados de este trabajo sugieren que la brecha de puntajes entre estudiantes elegibles y no elegibles se está cerrando, y aún más relevante, se está cerrando a mayor velocidad en colegios que no obtuvieron beneficiarios del programa en el primer año, los cuales tienen población más vulnerable y diferencias en características observables más amplias. Aunque no se cuenta con información para probar los mecanismos de transmisión del efecto, se presenta evidencia de que el efecto puede estar explicado no solo a partir de un mayor esfuerzo de los estudiantes elegibles sino también a partir de una posible pérdida de motivación intrínseca de los estudiantes no elegibles, en particular, los de desempeños más altos.

Por último, es pertinente mencionar que debe conducirse más investigación acerca de los efectos indirectos o externalidades que provoca la provisión de incentivos en educación y de los mecanismos que explican estos resultados, con el objetivo de medir con certeza el verdadero retorno a la inversión de este tipo de programas y tomar decisiones en términos de la continuidad o no de este tipo de políticas públicas.

Referencias

Acemoglu, D., & Angrist, J. (2000). How Large are Human Capital Externalities? Evidence from Compulsory Schooling Law. NBER Macroeconomics Annual, 15, 9-59.

Angrist, J., & Lavy, V. (2009). The Effect of High-Stakes High School Achievement Awards: Evidence from a School-Centered Randomized Trial. American Economic Review, 99, 1384-1414.

Angrist, J., Lang, D., & Oreopoulos, P. (2009). Incentives and Services for College Achievement: Evidence from a Randomized Trial. American Economic Journal: Applied Economics, 1(1), 136-163.

Bettinger, E. (2012). Paying to Learn: The Effect of Financial Incentives on Elementary School Test Scores. The Review of Economics and Statistics, 94(3), 686-698.

Camacho, A., Messina, J., & Uribe, J. P. (2016). The Expansion of Higher Education in Colombia. Bad Students or Bad Programs? IDB Discussion Paper 452.

Camerer, C., & Hogarth, R. (1999). The Effects of Financial Incentives in Experiments: A Review and Capital-labor-production Framework. Journal of Risk and Uncertainty, 19, 7-42.

Chetty, R., Friedman, J., Hilger, N., Saez, E., Whitmore, D., & Yagan, D. (2010). How Does your Kindergarten Classroom Affect your Earnings? The Quarterly Journal of Economics (en prensa).

Chetty, R., Friedman, J., & Rockoff, J. (2014). Measuring the Impact of Teachers II: Teacher Value-Added and Student Outcomes in Adulthood. American Economic Review, 104(9), 2633-2679.

Contrato Interadministrativo 077 de 2015 de entre el Ministerios de Educación Nacional y el Instituto Colombiano de Crédito Educativo y Estudios Técnicos en el Exterior “ICETEX”.

Convenio Interadministrativo 711 de 2014 entre el Ministerios de Educación Nacional y el Instituto Colombiano de Crédito Educativo y Estudios Técnicos en el Exterior “ICETEX”.

Espinosa, F., Flórez, C., & Sánchez, L. (2008). Diseño del Índice Sisbén en su Tercera Versión-Sisbén III. Departamento Nacional de Planeación.

Galvis, C. (2014). Estadísticas de Educación Superior. Bogotá: Ministerio de Educación Nacional.

Gneezy, U., Mier, S., & Rey-Biel, P. (2011). When and Why (Don’t) Work to Modify Behavior. Journal of Economic Perspectives, 25(4), 191-210.

Greene, D., & Lepper, M. (1974). Effects of Extrinsic Rewards on Childrens Subsequent Intrinsic Interest. Child development, 34, 1141-1145.

Greene, D., Sternberg, B., & Lepper, M. (1976). Overjustification in a Token Economy. Journal of personality and social psychology, 34, 1219-1234.

Hanushek, E. (1997). Outcomes, incentives and beliefs: Reflections on Analysis of the Economics of Schools. Educational Evaluation and Policy Analysis, 19(4), 301-308.

Hanushek, E. (2003). The Failure of Input-Based Schooling Policies. Economic Journal, 113(485), 64-98.

Heller, D., & Marin, P. (2002). Who Should We Help? The Negative Social Consequences of Merit Scolarships. Los Ángeles: Harvard Civil Rights Project.

Jensen, R. (2010). The (Perceived) Returns to Education and the Demand for Schooling. The Quarterly Journal of Economics, 125(2), 515-548.

Koenker, R., & Hallock, K. (2001). Quantile Regression. Journal of Economic Perspectives, 15(4), 143-156.

Kremer, M., Miguel, E., & Thornton, R. (2009). Incentives to learn. The Review of Economics and Statistics, 91(3), 437-456.

Laajaj, R., Moya, A., & Sánchez, F. (2017). Motivational Effects of a Nationwide Merit Scholarship Program for Low Income Students. Bogotá: Universidad de los Andes.

Lepper, M. (1973). Undermining Children’s with Extrinsic Rewards. A Test of the Overidentification Hypothesis. Journal of Personality and Social Psychology, 28(1), 129-137.

Levitt, S., List, J. Neckermann, S., & Sadoff, S. (2016). The Behavioralist Goes to School: Leveraging Behavioral Economics to Improve Educational. Performance American Economic Journal: Economic Policy, 8(4), 183-219.

Londoño, J. (2016). Diversity and Redistributive Preferences: Evidence from a Quasi-Experiment in Colombia. Berkeley: University of California.

Londoño, J., Rodríguez, C., & Sánchez, F. (2017). The Intended and Unintended Impacts of a Merit-Based Financial Aid Program for the Poor: The Case of Ser Pilo Paga. Bogotá: Universidad de los Andes.

Lucas, R. (1988). On the Mechanics of Economic Development. Journal of Monetary Economics, 22, 3-42.

MacLeod, B., Riehl, E., Saavedra, J., & Urquiola, M. (2017). The Big Sort: College Reputation and Labor Market Outcomes. American Economic Journal: Applied Economics, 9(3), 223-261.

Nguyen, T. (2008). Information, Role Models and Perceived Returns to Education: Experimental Evidence from Madagascar. MIT Working Paper.

OECD, International Bank for Reconstruction and Development & The World Bank (2012). Reviews of National Policies for Education: Tertiary Education in Colombia. S.d.: OECD Publishing. doi https://doi.org/10.1787/9789264180697-en

Notas

1 La literatura establece que los estudiantes invierten poco esfuerzo en su educación debido a que descuentan de más los retornos futuros, o tienen preferencias inconsistentes temporalmente o subestiman los retornos de la educación por falta de información completa (Gneezy et al., 2011; Nguyen, 2008; Jensen, 2010).

2 El puntaje global del examen se construye a partir de un promedio ponderado de los puntajes en las cinco áreas. En las ponderaciones el puntaje de la prueba de inglés pesa tres veces menos que el resto de los puntajes.

3 El Icfes posee un registro definitivo sobre los estudiantes que obtuvieron una de las becas del programa Ser Pilo Paga.

4 La tasa de cobertura se calcula tomando a los estudiantes que ingresaron al primer periodo del programa de pregrado al que se inscribieron en el año t sobre el total de personas evaluadas en la prueba Saber 11 del año t-1.

5 Los estudiantes beneficiarios del programa reciben un subsidio de sostenimiento de uno a cuatro salarios mínimos en caso de que deban trasladarse de su municipio de origen para estudiar en una de las instituciones de educación superior acreditadas.

6 Este percentil equivale a 310 puntos de 500 posibles en la aplicación del segundo semestre de 2014. En la aplicación de 2015 para el mismo semestre, el percentil quedó en 318/500.

7 Como variable Proxy a la pobreza extrema, se usa el material con el que está construido el piso de la vivienda. En este caso, los porcentajes de pobreza extrema hacen referencia al porcentaje de estudiantes que afirmaron vivir en una casa con pisos en tierra.

8 En caso de que el efecto encontrado no sea insesgado, se espera encontrar un “lower bound” del efecto de interés debido a que en colegios con y sin beneficiarios del programa, los estudiantes elegibles provenían de familias con padres menos educados, tenía menores ingresos, se desempeñaban peor en comparación a los no elegibles, entre otros; lo cual subestimaría el efecto de interés.

9 Debido a que tanto en colegios con y sin beneficiarios del programa luego de la primera ola de incentivos existe una reducción en el número y la fracción de estudiantes elegibles entre un periodo y otro, controlar por interacciones entre los efectos fijos por colegio y la variable tiempo permite capturar cambios en los colegios entre un año y otro que puedan estar relacionados con el efecto de interés, como el cambio en el número de estudiantes no elegibles en cada colegio o el cambio en la heterogeneidad de los resultados de estudiantes no elegibles.

10 A diferencia de la información con la que se cuenta en los años 2014 y 2015, en el 2012 y 2013 se cuenta con el nivel de Sisbén de los estudiantes en lugar del puntaje.

Notas de autor

* Agradezco al Instituto Colombiano para la Evaluación de la Educación (Icfes) y a las profesoras Paula Herrera y Gloria Bernal de la Pontificia Universidad Javeriana (PUJ) por sus comentarios y apoyo en la realización de este trabajo. Las opiniones y argumentos presentados en este artículo muestran exclusivamente la perspectiva del autor; asimismo, todos los errores y omisiones son responsabilidad del mismo.
Investigador del Instituto Colombiano para la Evaluación de la Educación (ICFES). Profesor de cátedra de la Pontificia Universidad Javeriana.

Descarga
PDF
ePUB
Herramientas
Cómo citar
APA
ISO 690-2
Harvard
Fuente
Secciones
Contexto
Descargar
Todas