Guía práctica para la evaluación de impacto. Raquel Bernal

demasiado general y, por tanto, evaluar los logros de tales intervenciones es generalmente muy difícil. En suma, el evaluador debe tratar de relacionar, de la mejor manera posible, los objetivos, lineamientos y forma de operación del programa, con variables de resultado que se espera que puedan medir de manera relativamente razonable el desempeño del programa.

Bibliografía

      Blundell, R. y M. Costa Dias, 2009, “Alternative Approaches to Evaluation in Empirical Microeconomics,” Journal of Human Resources, University of Wisconsin Press, vol. 44(3), 565-540.

      Caliendo, M. y S. Kopeinig, 2005, “Some Practical Guidance for the Implementation of Propensity Score Matching”, IZA Discussion Paper Series, No. 1588.

      Heckman, J., R. LaLonde y J. Smith, 1999, “The Economics and Econometrics of Active Labor Market Programs,” en O. Ashenfelter y D. Card, capítulo 31, Handbook of Labor Economics, vol. IV, 1865-2073.

      Smith, J., 2000, “A Critical survey of Empirical Methods for Evaluating Active Labor Market Policies”, Schweizerische Zeitschrift fr Volkswirthschaft und Statistik, 136(6), 1-22.

      Roy, A., 1951, “Some Thoughts on the Distribution of Earnings”, Oxford Economic Papers, 3, 135-145.

      Rubin, D., 1974, “Estimating Causal Effects to Treatments in Randomised and Nonradomised Studies”, Journal of Educational Psychology, 66, 688-701.

7 Este punto se discute en detalle más adelante en la sección 4.5.

8 Average Treatment Effect.

9 Average Treatment on the Treated.

10 Average Treatment on the Untreated.

11 Con excepción de casos en los cuales el tratamiento se haya aplicado de manera aleatoria en la población (ver capítulo 4).

12 Note que para estimar ATE existe un reto adicional, dado que se requiere de la construcción de los dos resultados contrafactuales (y no sólo uno), E[Y_i(1)|D_i = 0] y E[Y_i(0)|D_i = 1].

13 Las variables binarias también se conocen en la literatura como variables dummy, dicótomas o dicotómicas.

14 Ver anexo 1.

15 Ver anexo 2.

16 Ver anexo 3.

17 Sistema de Identificación de Potenciales Beneficiarios de Programas Sociales. Es un instrumento desarrollado con el objetivo de focalizar los programas de política pública hacia la población más vulnerable en Colombia. El puntaje Sisbén se construye con base en una encuesta que indaga sobre las características sociodemográficas del hogar, toma valores entre 0 y 100, donde puntajes más bajos indican mayores niveles de pobreza del hogar.

3

       SESGO DE SELECCIÓN

      Como se detalló en el capítulo anterior, la evaluación de impacto consiste en la estimación de:

      donde E[Y_i(1)|D_i = 1] es el valor esperado de la variable de resultado entre los participantes en el programa en presencia del programa y E[Y_i(0)|D_i = 1], o resultado contrafactual, es el valor esperado de la variable de resultado entre los participantes en ausencia del programa. En otras palabras, evaluar la diferencia entre la variable de resultado entre el grupo de tratados si existe el programa y la variable de resultado entre el grupo de tratados si no se hubiera implementado el programa. Claramente no es posible observar ambos resultados al mismo tiempo. Sin embargo, sí se puede observar la variable de resultado entre un grupo de individuos elegibles que no participan en el programa (o grupo de control), E[Y_i(0)|D_i = 0].

      El principal reto de la evaluación de impacto es determinar las condiciones bajo las cuales E[Y_i(0)|D_i = 0] se puede utilizar como una aproximación válida de E[Y_i(0)|D_i = 1] y, por tanto, utilizarse en la ecuación (3.1) para obtener el efecto del programa ATT.

      Evidentemente E[Y_i(0)|D_i = 0] se podría utilizar como una aproximación adecuada del contrafactual si

      Es decir, si la variable de resultado en ausencia del programa es idéntica para el grupo de individuos tratados (D = 1) que para el grupo de individuos de control (D = 0).

      El supuesto (3.2) se viola toda vez que la participación en el programa es una elección del individuo elegible. La razón es que los participantes y los no participantes generalmente son diferentes, aun en ausencia del programa, y por tal motivo es precisamente que se observa que unos escogen participar y otros no, aun si todos son elegibles para recibir el tratamiento. Es decir, existen características (observadas y/o no observadas) que causan que unos individuos participen y otros no. Probablemente, las diferencias en estas características entre individuos participantes e individuos no participantes también originen diferencias en la variable de resultado entre un grupo y el otro. Por ende, es muy probable que la variable de resultado del grupo de tratamiento y la variable de resultado del grupo de control sean diferentes, aun si el programa no existiera. Este hecho se conoce como sesgo de selección.

      Recuerde que el ATT se puede escribir como:

      En la ecuación (3.3) es claro que si los individuos del grupo de tratamiento y el grupo de control son diferentes, aun en ausencia del tratamiento (la segunda parte al lado derecho de la ecuación), entonces la diferencia entre la media del grupo de tratamiento y la media del grupo de control (el lado izquierdo de la ecuación) será igual al ATT más la diferencia preexistente entre los dos grupos, término que se denomina sesgo de selección. Es decir, la comparación de medias entre el grupo de tratamiento y el grupo de control será una combinación del efecto directo del tratamiento, ATT , y las diferencias preexistentes entre