Evaluaciones para un cambio social efectivo

El libro “Effective Altruism” de William MacAskill cuestiona cómo, a pesar de los múltiples intentos por mejorar los problemas sociales del mundo a través de donaciones o programas sociales financiados con impuestos, no hay mucha noción para los contribuyentes de qué tantos beneficios se están obteniendo en relación con la inversión realizada ni cuales de todos los programas se deberían priorizar. A partir de la experiencia en África Subsahariana del premio nobel de economía Michael Kremer, MacAskill argumenta que las políticas públicas y los programas sociales deben ser evaluados bajo una evidencia empírica y no a partir de un juicio de valor ideológico. Mientras la primera presenta datos observables en un marco estrictamente técnico (imparcial e irrefutable), el segundo se basa en percepciones subjetivas y las conclusiones van a depender del interés de quién las observa.

Entonces uno podría pensar como colombiano, ¡Eureka! por allí es. De hecho, los últimos dos gobiernos han realizado un esfuerzo importante por evaluar con evidencia empírica algunos de los programas en los que los impuestos que usted y yo pagamos se invierten. Sin embargo, hay dos recomendaciones que el nuevo gobierno podría tener en cuenta si de verdad queremos lograr transformaciones sociales en el país.
Mejorar disponibilidad y calidad de los datos

Las evaluaciones de impacto son los métodos más conocidos para proporcionar evidencia empírica. Usualmente, se cree que una evaluación de impacto es solo un ejercicio econométrico que arroja un dato numérico que se traduce en qué tanto sirvió una política, pero en realidad este ejercicio implica mucho más en el antes y en el después.

En primer lugar, antes de realizar una evaluación de impacto es necesario contar con los datos suficientes para poder garantizar la calidad de los resultados que se van a obtener. Desafortunadamente, hoy en día se decide que se quiere evaluar el impacto de un programa cuando ya tiene un tiempo considerable funcionando y no hay datos apropiados. ¿Y qué sería apropiado?

Como una evaluación de impacto estima el efecto de una intervención a partir de una comparación entre quien sí recibió el tratamiento y quien no (controles), pues lo mínimo necesario es la información de esos dos grupos. Si se quiere entender mejor el mecanismo a través del cual la intervención está produciendo los cambios, es aconsejable monitorear los dos grupos antes, durante y después de la intervención. Al menos sobre los aspectos que se quieren evaluar (salud, educación, ingresos, por ejemplo). Esto último es clave para evitar que se pierda el contacto con los beneficiarios y al momento de realizar la evaluación de impacto no se cuente con la información. Además, para el Gobierno es más costo eficiente contar con estos datos porque reduce costos de recolección del estudio.

Para aquellas políticas cuyo presupuesto de monitoreo sea muy bajo, se puede acudir a información secundaria de otras entidades gubernamentales que pueden haberla recogido (Dian, Dane, etc.). Hoy en día, acceder a estos datos es engorroso. Sin embargo, garantizar el acceso a estos, ahorraría gasto público y mejoraría la calidad de los estudios contratados por el Estado. Es solo cuestión de lograr una mayor articulación entre agencias. Por ejemplo, en la evaluación del programa de Ingreso Solidario, la armonización de varias bases de datos fue de gran utilidad para su mejor implementación y evaluación.

Ahora, los datos siempre deben estar al mismo nivel en que se realizó la intervención. Una dificultad del reciente estudio que realizó Econometría Consultores sobre el impacto del Fondo de Ciencia, Tecnología e Innovación es que, aunque los recursos (intervención) se entregaban por proyectos, la evaluación se realizó a nivel de departamento. Lo anterior porque se buscaba el impacto sobre indicadores de crecimiento económico, ciencia y tecnología, y estos datos sólo estaban medidos a nivel de departamento, no de proyectos. Cuando el impacto se mide sobre un nivel de observación diferente al nivel de la intervención se difumina el verdadero impacto y es más difícil encontrar un efecto, cuando lo haya. De ahí la importancia de que antes de la implementación los proyectos o programas diseñen la estrategia de evaluación de impacto y se recolecten los datos al mismo nivel de la intervención.

Conciencia: etapas de aprendizaje

En segundo lugar, es importante que el talento humano de las instituciones del Gobierno interiorice que las evaluaciones de impacto no necesariamente encuentran impacto. Es difícil que una política o programa sea efectiva la primera vez. Como cualquier otra invención (aviones, celulares, etc.) requiere de ensayos, evaluaciones y retroalimentaciones para que algún día llegue a ser tan funcional como se desea.

Por eso, cuando se evalúa el impacto de un programa y el resultado arroja que no se encontró impactos o son muy marginales, la opinión pública no debe concentrarse en desprestigiar políticamente el programa, sino en valorar positivamente que se está adelantando una evaluación de manera técnica y responsable y que se está tratando de entender qué funciona y qué no. Esto supone un reto de comunicación y educación hacia los ciudadanos, quienes deben entender que, más allá de los discursos populistas, se requiere tomar decisiones informadas con evidencia empírica. Sólo si se logra esta conciencia de las etapas de aprendizaje en política pública, se va a poder utilizar las evaluaciones de impacto como instrumento para un verdadero cambio social.