Recomendaciones
Con base en la revisión de las buenas prácticas internacionales para los sistemas de evaluación y la evidencia obtenida del análisis del caso peruano, se presentan a continuación una serie de recomendaciones para fortalecer los procesos y cerrar las brechas existentes de manera gradual. Las recomendaciones también se agrupan de acuerdo con criterios temporales de ejecución (corto, mediano y largo plazo) y según su impacto y su viabilidad de implementación.
A. Definición de la agenda de evaluaciones concertada con los sectores y con las direcciones del MEF (25%)
 |
1. Mayor difusión de los criterios para la definición de la agenda de evaluación. Si bien la experiencia internacional sugiere hacer una concertación de la agenda de evaluaciones para mayor legitimidad del proceso de evaluación, se propone hacer una transición paulatina hacia dicha práctica. Se recomienda que un primer paso para avanzar hacia el fortalecimiento de la legitimidad y credibilidad de las EDEP como instrumento para la toma de decisiones sea difundir en mayor medida la agenda de evaluación. También se sugiere que los criterios para la definición de la agenda de evaluaciones (definidos por el MEF) sean públicos, con el objetivo que cada entidad gubernamental conozca las razones por las que puede llegar a ser objeto de una EDEP, promoviendo la transparencia y, por tanto, la confianza. |
 |
2. Una agenda de evaluaciones concertada. De la mano con esta mayor visibilización de los criterios y de la agenda, se recomienda capacitar a los funcionarios de las entidades públicas con el fin que vayan cambiando su imaginario frente a las EDEP. Una vez que este tipo de instrumentos no sea identificado como algo negativo, se llamará progresivamente a los funcionarios de nivel directivo en la concertación de la agenda. |
|
3. Mayor exigencia en los perfiles de los evaluadores. Se recomienda fortalecer la confianza de los diferentes actores hacia las EDEP y hacia los evaluadores externos que las conducen. El MEF debe imprimir un sello de calidad que certifique que las evaluaciones son confiables. Lo anterior puede lograrse mediante mayor exigencia en los perfiles de los evaluadores, así como la revisión exhaustiva de los productos de las evaluaciones. |
|
4. Difundir la información de las EDEP tanto al interior como al exterior del gobierno. Se debe mostrar que los resultados de las EDEP se materializan en mejoras de las intervenciones públicas (logro de resultados y mejora en la planeación y presupuestación). Lo anterior está atado a las recomendaciones de mayor difusión de los resultados de las EDEP entre miembros del gobierno y de la sociedad civil. |
|
5. Definición de roles. Se recomienda que el MEF defina, paso a paso, los actores, procesos y procedimientos involucrados en cada una de las fases de una EDEP, de modo claro y detallado. Este tipo de instructivos deben ser socializados con todos los actores que intervienen, de modo que se cuente con reglas de juego claras en la implementación de la EDEP. Éstos deben especificar: 1) las funciones y responsabilidades de las distintas direcciones del MEF; 2) el nivel de participación de las entidades públicas evaluadas; y 3) el nivel de participación de la academia y la sociedad civil en general.. |
|
6. Fortalecer el equipo de evaluaciones en términos de sus competencias para cada uno de los procesos de las EDEP. Dado que las actuales responsabilidades de este grupo de funcionarios esta relacionada con todo el ciclo del PpR, se requiere generar capacidades para el proceso de evaluación. Después de fortalecer estas capacidades es deseable que en el mediano plazo se incremente el número de profesionales en la Dirección de Calidad de Gasto, asignándoles funciones específicas en el marco de las EDEP. En la medida en que aumente el equipo y se fortalezcan sus capacidades, las cargas adicionales de éste disminuirían y podría dedicarse más eficientemente a las EDEP.
7. Mayor participación de otras direcciones del MEF. Por ejemplo, una participación mayor de la Dirección de Presupuesto Temático y de la Dirección de Programación del Gasto Público podría permitir una mejor articulación entre la ejecución de una EDEP y su uso efectivo. Un rol más predominante de estas direcciones no sólo permitirá contar con mayor información para las EDEP, sino que dará más herramientas para explicar el por qué se cumple o no con las metas, y se podrá contar con un panorama más realista con base en los resultados de cada intervención pública evaluada. |
|
8. Conformación de un grupo de apoyo a la evaluación. Se recomienda conformar al inicio de cada EDEP un grupo de actores compuesto por especialistas de: 1) la Dirección de Calidad de Gasto; 2) la Dirección de Presupuesto Temático; 3) la Dirección de Programación de Gasto Público, de considerarlo pertinente; 4) las direcciones del MEF que se verían beneficiadas con la información que produciría la evaluación de la entidad pública evaluada. Este grupo deberá reunirse periódicamente y será el encargado de hacer comentarios a los productos de los evaluadores, así como apoyarlos permanentemente en los inconvenientes metodológicos que se presenten durante la fase de conducción. Por medio de este comité, se garantiza que se den los espacios de discusión entre el MEF, los evaluadores y la entidad evaluada. |
|
9. Flexibilizar los términos de referencia. Se recomienda flexibilizar los términos de referencia de cada evaluación con el fin de hacerlos más pertinentes a las particularidades de cada caso. De esta forma, se propone que el MEF, acompañado por la dirección temática correspondiente y por el sector evaluado, identifique los cuellos de botella que dificultan el logro de los resultados de las IPE, con el objetivo de definir el tipo de evaluación más adecuado para la intervención en cuestión (por ejemplo, algunas IPE tienen problemas únicamente de diseño, otras sólo de implementación, algunas sólo muestran pobres resultados, etcétera). Se recomienda realizar formatos de evaluación, de modo que no se pierda la estandarización de algunos componentes, pero que se reconozca que existen posibles diferencias entre las intervenciones públicas. |
|
10. Sistema más robusto de seguimiento a resultados y al presupuesto. Se recomienda seguir fortaleciendo el sistema de seguimiento para alimentar no sólo las decisiones de política del gobierno nacional, sino para que continúe brindando información para el desarrollo de las EDEP. |
|
11. Difusión de los resultados entre otros miembros distintos al comité. Se sugiere la creación de espacios al interior de cada entidad para discutir los avances y los resultados de las EDEP. Asimismo, en dichos espacios los demás actores deberán apoyar el trabajo del representante de la entidad en el grupo de apoyo a la evaluación. |
|
12. Definición de un plan de implementación de recomendaciones (PIR). Se deberá exigir a la firma evaluadora, en los términos de referencia, la realización de un PIR, en el que se haga explícita la forma en la que se implementarán las sugerencias que surjan de la evaluación (el cómo y no sólo el qué), para así contar con recomendaciones más operativas. El plan deberá ser socializado con la entidad, con el fin de viabilizar la implementación de las recomendaciones, de modo que se garantice la ejecución de las acciones que la firma contratada propone. Lo anterior permitirá que las recomendaciones sean más útiles para las entidades evaluadas, y por tanto facilitará el proceso de formulación de los compromisos derivados de las EDEP. |
|
|
|
14. Matriz de seguimiento a los compromisos. Se recomienda que el MEF cuente con tableros de control del cumplimiento de los compromisos. Idealmente, el MEF habría de tener información actualizada cada cierto período corto de tiempo (mensual, trimestral o semestral), permitiéndole evidenciar oportunamente cuando las recomendaciones no se estén cumpliendo, así como tomar acciones correctivas que permitan el logro de las metas de los programas que no cuenten con resultados satisfactorios después de la evaluación.
El tablero de control se debe construir para los compromisos prioritarios de las EDEP, con el fin de concentrar los esfuerzos en las recomendaciones que tienen mayor impacto sobre las intervenciones. |
|
15. No recortar el financiamiento automáticamente. Primero, deben entenderse las causas del mal desempeño, pues de lo contrario, al recortar automáticamente el presupuesto de la entidad, se corre el riesgo de empeorar la situación. Las evaluaciones no se deben utilizar para reducir el presupuesto automáticamente, sino para mejorar la información de los programas y así lograr los resultados de política. |
|
16. Estrategia de incentivos para generar una cultura de evaluación. Se recomienda desarrollar una estrategia de incentivos que tenga en cuenta los siguientes elementos:
|
|
17. Estrategia de difusión y comunicación de los resultados de las EDEP más amplia. Se recomienda que el MEF desarrolle diferentes instrumentos como fichas resumen, tweets e infogramas, con el fin de transmitir de forma acertada los resultados de las EDEP a los actores interesados. En este marco, se deben elaborar productos diferenciados para cada tipo de actor involucrado en el proceso de evaluación (alto gobierno, ciudadanía en general, órganos de control, medios de comunicación, comunidad académica). Algunos de estos productos pueden ser: página web, presentaciones de resultados a ministerios y envío de fichas resumen de la evaluación. Se pueden tener en cuenta los siguientes elementos:
|
Adicionalmente, de entre las recomendaciones relacionadas directamente con la mejora de las EDEP, se eligieron 8 consideradas como las más relevantes, realizándose un ejercicio de priorización teniendo en cuenta su impacto y su viabilidad. El primero de estos dos criterios implica que la recomendación tiene un efecto muy importante en la mejora de las EDEP, desde el punto de vista de que constituye una herramienta útil para la toma de decisiones de políticas públicas. El segundo criterio de priorización hace referencia a la viabilidad, entendida como la facilidad normativa y presupuestal para implementar la recomendación; así, una recomendación viable es la que no requiere una transformación institucional muy importante y que, además, demanda bajo presupuesto.
A partir de lo anterior se obtuvieron los siguientes resultados para las recomendaciones de corto y mediano plazo (véanse gráfico 1 y gráfico 2). En estas gráficas, el eje de la viabilidad (eje X) crece hacia la derecha y el eje del impacto (eje Y) crece hacia arriba.
Del gráfico 1 se concluye que las recomendaciones de alto impacto y viabilidad son la 14, 3 y 5, por estar en el cuadrante superior derecho; siendo la implementación de la 3 y la 14 las más viables. Si bien la recomendación 12 es de gran impacto, su viabilidad es menor que el resto porque exige de una modificación en la normativa existente, en donde se requiera definir durante la consultoría un documento con las especificaciones para implementar las recomendaciones.
Gráfico 1. Impacto vs. viabilidad de las recomendaciones de corto plazo
Gráfico 2. Impacto vs viabilidad de las recomendaciones de mediano plazo
Las recomendaciones de mediano plazo sugieren flexibilizar los términos de referencia de las EDEP, cuyo impacto en la mejora de este tipo de evaluaciones sería muy amplio, seguido de mayor visibilización política de los resultados de las EDEP (recomendación n.° 13). En cuanto a la viabilidad de las recomendaciones, se asume que una estrategia de difusión de los resultados de las EDEP es la menos costosa y la que implica menos cambios institucionales. Le siguen la conformación de un grupo de apoyo a la evaluación (recomendación n.° 8) y la flexibilización de los términos de referencia (recomendación n. °9).