viernes, 8 de marzo de 2013

Sobre la evaluación de las políticas sociales para la inclusión




Entrevista a: Anibal Velásquez

Cargo: Director General de la Dirección General de Seguimiento y Evaluación Social del Ministerio de Desarrollo e Inclusión Social (MIDIS).

Boletín e-Governa No. 25, Gestión y Políticas públicas, Enero- Febrero 2013


1.      ¿Qué entiende el MIDIS por política social y por inclusión social? ¿De qué se encarga la Dirección General de Seguimiento y Evaluación del MIDIS? ¿Cómo articula su trabajo con los diferentes niveles de gobierno?


El MIDIS fue creado con la Ley 29792 de octubre de 2011, a partir de la necesidad de articular la política social. Compete al MIDIS formular, dirigir, coordinar, ejecutar, supervisar y evaluar la política nacional y sectorial en materia de desarrollo e inclusión social encaminadas a reducir la pobreza, las desigualdades, vulnerabilidades y riesgos sociales en aquellas brechas que no pueden ser cubiertas por la política social universal. Por otro lado, el MIDIS entiende la inclusión social como la situación en que todo ciudadano y ciudadana del país pueda ejercer sus derechos, acceder a servicios públicos de calidad, participar en condiciones de igualdad y contar con las capacidades esenciales para aprovechar las oportunidades que ofrece el crecimiento económico.


El MIDIS cumple dos roles: i) de rectoría de la política social y ii) de prestación de los programas sociales. Ello ha contribuido a la organización de dos Viceministerios:

i) El Viceministerio de prestaciones sociales1[1], que tiene a su cargo cinco programas sociales administrados por éste.

ii) El Viceministerio de Políticas y Evaluación Social que conduce la política social. En este Viceministerio se diseñan estrategias que permitirán mejorar la política de desarrollo e inclusión social. Actualmente se encuentra en proceso de diseño la estrategia nacional denominada “Crecer para Incluir”, la cual tiene cinco ejes: nutrición infantil, desarrollo infantil, programas para jóvenes, programas de inclusión social, financiera y desarrollo productivo, y por último programas para la tercera edad.


Esta estrategia está dirigida a la población en proceso de inclusión, es decir aquella que está expuesta a tres o más de cuatro circunstancias:


i) Madre con educación primaria o menos;

ii) Residencia en ámbitos rurales;

iii) Etnicidad, medida a través de la lengua materna que no sea español; y

iv) Pobreza, es decir, la pertenencia a estratos inferiores.


Para dar asistencia a esta población se han identificado resultados de corto, mediano y largo plazo. En el largo plazo, se espera que se pueda erradicar la desnutrición crónica infantil y que pueda mejorar la asistencia escolar. Los objetivos de mediano plazo están más relacionados a la producción, y mejora de los ingresos autónomos de la población. En el corto plazo, los resultados tienen que ver con alivios temporales de la pobreza, como transferencias condicionadas. El Estado peruano ha establecido metas para cada uno de estos indicadores de resultados.


La función principal del MIDIS es reducir las brechas de acceso a los servicios y de los niveles de bienestar. El éxito de la reducción de la exclusión social se ve con indicadores de pobreza, desnutrición, acceso a servicios (agua, saneamiento, electricidad, telefonía y vías), salud y educación. El MIDIS identifica las brechas de estos indicadores y articula la acción del Estado para que estas brechas se reduzcan, ayudando a que se redirijan los recursos hacia donde más se necesita.


El punto está en diferenciar lo que hace cada sector, porque el MIDIS no quiere replicar lo que hacen otros sectores, sino más bien buscar políticas que ayuden a que los sectores puedan llegar mejor a esos lugares, a través de mayores recursos, o de una acción más concertada y coordinada. Igualmente, se trata de tener mejores mecanismos de gestión que ayuden a lograr esos objetivos. Un aspecto clave es ponerse antes de acuerdo en las zonas donde se va a trabajar.


La metodología para el diseño de cada eje de la Estrategia Nacional Crecer para Incluir sigue los siguientes pasos: define dónde implementar cada eje e identifica a la población objetivo; y luego identifica cuáles son las intervenciones efectivas que el Estado debe promover y financiar. Se ha construido una cadena causal con base en evidencias con resultados medibles y que responde a una teoría de cambio.


Esta metodología basada en la evidencia hace que la Dirección General de Seguimiento y Evaluación - DGSYE del MIDIS tenga un rol activo en el diseño de políticas y programas.


La DGSYE está organizada para cumplir tres grandes funciones:

i) evaluación, ii) seguimiento y acompañamiento, y iii) gestión de la evidencia. El cómo nos hemos organizado, ha definido también nuestro enfoque de trabajo. Tradicionalmente, cuando se crean áreas de seguimiento y evaluación es para producir información y evidencias para la toma de decisiones. En este sentido, es importante que exista independencia sobre todo para las evaluaciones de impacto, porque son las que determinan si se logran o no los resultados. Nuestro enfoque valora más el uso de las evidencias, de tal forma que los tomadores de decisión y el nivel de desarrollo de los programas y políticas definen el requerimiento de la información. Así, la DGSYE proporciona información para el diseño, la operación, la mejora de la eficacia, eficiencia y calidad de los programas y políticas y sustentar decisiones.

Las evaluaciones de impacto en el MIDIS se manejan independientemente: los que diseñan la evaluación por un lado, y los que analizan la evaluación por el otro. El diseño sí es compartido con contrapartes técnicas para asegurar que los indicadores y los instrumentos se reflejen técnicamente.


El Ministerio de Economía y Finanzas - MEF tiene el área de calidad de gasto, que en el marco de presupuesto por resultados, cuenta con un área de evaluación. El MEF además dispone de recursos para implementar estas evaluaciones de impacto, por lo que las financia y las conduce técnicamente, y la DGSYE es contraparte técnica para dar apoyo en el desarrollo de los instrumentos, los indicadores, y en el diseño mismo de la evaluación.


Actualmente, el MIDIS está desarrollando evaluaciones de impacto en cuatro programas: i) Cuna más (evaluación de impacto con diseño experimental con asignación aleatoria); i)

Pensión 65 (evaluación de impacto con la técnica de regresión discontinua); iii) JUNTOS (evaluación de impacto cuasi-experimental con “propensity score matching” y diferencia en diferencias); y iv) Programa de alimentación escolar Qali Warma (evaluación de impacto con diseño cuasi-experimental con “propensity score matching” y diferencia en diferencias).


Otra de las funciones del área de evaluación del MIDIS es la gestión de la evidencia que se genera en los sistemas de seguimiento y evaluación. Esta función se puso en práctica cuando se aprobó el DS No. 002-2012-MIDIS que declaró en evaluación y reorganización los programas del MIDIS. Nuestra Dirección de Seguimiento y Evaluación llevó a cabo reuniones con los programas y la Alta Dirección del MIDIS a fin de conocer sus necesidades de información. Las reuniones permitieron definir las preguntas, los objetivos, la metodología de las evaluaciones y/o estudios. Se realizaron 16 reportes técnicos con resultados de las evaluaciones y estudios, incluyendo sistematización de todas las evaluaciones existentes de cada programa, revisiones documentales de documentos administrativos y revisiones sistemáticas de investigaciones científicas. Se desarrolló un documento técnico de la DGSYE denominado “Recomendaciones con base en la evidencia disponible para cada programa”. Los resultados de las evaluaciones y las recomendaciones fueron discutidos con los gestores de los programas, de tal forma que las recomendaciones contenían un análisis de sus consecuencias en el diseño u operación del programa, y los requerimientos para que las recomendaciones sean viables.


Podemos destacar las evaluaciones realizadas al PRONAA y el Sub Programa Infantil, donde se mostró que este programa de entrega de alimentos a niños y gestantes no cumplió con sus objetivos, no llegó a la población que más necesita debido a la alta filtración y sub-cobertura y el limitado uso efectivo de la papilla y no tuvo impacto en la reducción de la desnutrición crónica infantil. A su vez, estas evaluaciones reportaron que el PRONAA mantuvo problemas estructurales de gestión y organización que impidieron mejorar la eficacia y eficiencia de este programa.


La revisión de la experiencia internacional reveló que programas de entrega de alimentos no tienen impacto en la desnutrición crónica infantil. En cambio existen evidencias científicas sobre intervenciones efectivas que tienen efectos directos y persistentes para la protección de los niños de la desnutrición crónica. En el Perú, la mayoría de estas intervenciones han sido incorporadas en el Programa Articulado Nutricional - PAN, Programa de Salud Materno Neonatal (SMN), programas de agua y saneamiento y el Programa JUNTOS, lo que ha conllevado a un incremento significativo de recursos públicos destinado a proveer servicios a las gestantes, niños hasta los 5 años de edad y a sus respectivos hogares.


La DGSYE con base en estas evidencias recomendó que se fortalezca una estrategia multisectorial e intergubernamental conducida por el MIDIS y el desarrollo de programas de atención integral de los niños y gestantes y de hogares en proceso de inclusión como una mejor alternativa que un programa de entrega de alimentos. La Alta Dirección del MIDIS con información adicional sobre el funcionamiento del programa, ineficacia e ineficiencia del programa y los indicios de corrupción decidieron extinguir el PRONAA mediante Decreto Supremo Nº 007-2012-MIDIS.


Un ejemplo del uso de la evidencia para el diseño de políticas es la experiencia del MIDIS en el diseño de los Lineamientos de Gestión Articulada Intersectorial e Intergubernamental para acelerar la reducción de la Desnutrición Crónica Infantil. Estos

Lineamientos se promulgaron en el 2012, para definir las áreas territoriales de atención para la desnutrición crónica, así como las intervenciones efectivas basadas en evidencia. La meta es aumentar las coberturas de las intervenciones efectivas en estas poblaciones priorizadas con la acción articulada del Estado, sector privado, agencias cooperantes y sociedad civil.


Con esta misma lógica se está diseñando la gestión articulada en los otros ejes de la Estrategia Crecer para Incluir.


Nuestra Dirección ha definido los criterios técnicos para priorizar las áreas de intervención en desnutrición crónica[2]  hasta el nivel distrital con la intención que los recursos vayan directamente a la zona y ha hecho revisiones sistemáticas para establecer las intervenciones efectivas que reduce la prevalencia de este daño.


Para la gestión articulada y la implementación de esta Norma el MEF emitió una directiva para que los gobiernos regionales y locales realicen proyectos de inversión con base en estos Lineamientos. A su vez la Comisión Interministerial de Asuntos Sociales aprobó que la desnutrición crónica se convierta en una prioridad del país, con una meta de una reducción del 10% al 2016; todos los sectores suscribieron estos lineamientos y encargaron al MIDIS el seguimiento y evaluación de esta política.


La ANGR3[3] también se comprometió a implementar estos Lineamientos con los gobiernos regionales. En Moyobamba, Región San Martín, la ANGR y el Presidente de la República firmaron un acuerdo para implementarlos.


Las agencias de cooperación y organizaciones de la sociedad civil que trabajan en reducir la DCI también están implementando estos Lineamientos en sus respectivos proyectos y programas. De esta forma se pone a prueba los beneficios de una gestión pública con base en evidencias.


2.      ¿Cuáles han sido los resultados e impacto de las políticas y programas sociales implementados, en la reducción de los niveles de pobreza y desigualdad en la última década a nivel urbano y rural? ¿Las evaluaciones han servido para tomar mejores decisiones a fin de lograr una mayor eficacia y eficiencia en sus estrategias y en la asignación de recursos?


No hay una respuesta exacta sobre la contribución que podrían tener estos programas en la reducción de la pobreza, porque no ha habido evaluaciones de impacto. Análisis econométricos muestran un impacto positivo de las políticas dadas en estos últimos años en varios indicadores de pobreza, educación y salud. La política económica y social ha mostrado resultados positivos en alcanzar los Objetivos de Desarrollo del Milenio (ODM).


Dado que el Estado está implementando una de sus principales reformas que consiste en la asignación de presupuesto por resultados, la evaluación se constituye en una herramienta fundamental para mejorar la calidad del gasto. En la medida que se cumplan los objetivos y se logren resultados se hace más eficaz y eficiente la el gasto público. Por tanto, llevar a cabo evaluaciones de impacto de estos programas son pieza fundamental para el diseño de nuevos programas. Ello implica que estos programas deben estar bien diseñados, y que deben tener un diseño de evaluación de impacto desde el inicio. Esa decisión política ya está dada. El Estado está dispuesto a hacer evaluaciones de impacto sin menoscabar la calidad por el costo. El MEF tiene en ese sentido una política clara y está asignando importantes recursos para evaluaciones de impacto.


El sustento para apoyar estas evaluaciones de impacto a pesar de ser caras es que dotan a la institución de información necesaria para decidir sobre la necesidad de cerrar o abrir un programa, el cual indudablemente costaría más recursos al Estado si no tienen la eficacia esperada.


Los indicios existentes sobre la reducción de la desnutrición crónica señalan que ha sido por el aumento de recursos en las regiones en los últimos años. Los presupuestos por resultados también han tenido un efecto, por lo que las razones para su reducción responde a un confluir de diversas acciones.


Si bien el aumento de los recursos en los niveles sub-nacionales tuvo un impacto, en la actualidad, mayores recursos ya no van a producir el mismo efecto por la limitada capacidad de adsorción y por debilidades en la gestión. En este sentido, parte de la política del MIDIS va encaminada a resolver cómo mejorar la gestión y esta requiere de un trabajo multisectorial e intergubernamental.


La cultura de evaluación y seguimiento de la política social recién está comenzando ha desarrollarse en el país y todavía es insuficiente la asignación de recursos con este fin. No existe aún un sistema nacional de evaluación y los sistemas de seguimiento no están articulados, son incompletos, inoportunos, desactualizados y de baja calidad.


Las evaluaciones y las evidencias provenientes de evaluaciones en otras latitudes se utilizan cada vez más para decidir la asignación de recursos, para diseñar políticas y programas sociales. Por ahora las principales fuentes de información son las encuestas nacionales que miden diversos indicadores de resultados y productos de los programas sociales. Se hace necesario cada vez más tener sistemas de información que identifiquen a los más vulnerables y que hagan seguimiento de los servicios que reciben, y que puedan reportar las coberturas y calidad de los mismos.


3.      ¿Cómo va el avance de los Objetivos del Milenio (ODM)[4] en materia de reducción de la pobreza, educación y salud para el 2015?


El indicador 1.8 del primer ODM, aspira a reducir la insuficiencia ponderal (peso para la edad) a la mitad de año 1990 al 2015. Esta meta ha sido alcanzada en el Perú desde el año 2008 (4.4% de prevalencia), actualmente este indicador se encuentra en 4.1%.


Durante el año 2008, el Perú también llegó a la meta del ODM1 de reducir a la mitad la proporción de la población por debajo del nivel mínimo de consumo de energía alimentaria (población con hambre). Desde el año 1990, la proporción de la población por debajo del nivel mínimo de consumo de energía alimentaria ha disminuido de 32% a 11.2% para el año 2011 lográndose reducir no sólo el 50%, sino el 75% del valor basal de 1990.


Aunque la desnutrición crónica infantil no es un indicador del ODM 1, el Gobierno Peruano tiene como meta reducir este indicador aún a menores porcentajes de la mitad del año 1990 (se espera llegar por debajo de 18.7%). Existe una tendencia acelerada de la desnutrición crónica desde el año 2007-2008; para el año 2012 se muestra que se habría alcanzado la meta ODM Perú según resultados preliminares de la Encuesta Demográfica y Salud Familiar (ENDES) del 2012.


La ODM de reducción de mortalidad infantil y de pobreza también ha sido alcanzada por el Perú. De esta forma el Perú se prepara para enfrentar nuevos retos de desarrollo e inclusión social y es el resultado de la política económica y social del país.


4. ¿Cuáles han sido las principales lecciones aprendidas en seguimiento y evaluación y cuáles son los principales retos a futuro de la Dirección de Evaluación y Seguimiento de Políticas Sociales del MIDIS?


Una primera lección aprendida por la Dirección General de Seguimiento y Evaluación del MIDIS se ubica en el manejo de la gestión de la evidencia. Para que se use la información tiene que haber una decisión política y un mandato de utilizar esa información. Es por ello, que era importante construir previamente una institucionalidad de la evaluación dentro de la gestión pública. Lo bueno del MIDIS es que desde sus inicios, la gestión de la evidencia comenzó como uno de sus lineamientos de política, pero faltaba el traducirlo en mandato. Con este fin se desarrollaron los Lineamientos de seguimiento, evaluación y gestión de la evidencia, aprobados por una Resolución Ministerial, en los cuales se definieron la funciones, la línea de producción, los roles, los procedimientos y los estándares.


Otra de las lecciones aprendidas, se refieren a cómo pasar de la evidencia a la acción. Se aprendió que la calidad de las recomendaciones de las evaluaciones y los sistemas de información son fundamentales para el uso de las evidencias e información en la toma de decisiones. Sin embargo, se pudo verificar que tal como se realizan las recomendaciones en la actualidad no son muy útiles para la toma de decisiones y no contienen toda la información necesaria para implementarlas.


La toma de decisiones requiere de recomendaciones viables, es decir, que tengan un análisis de viabilidad política, económica, social y técnica, con una identificación de riesgos y consecuencias si se implementan.


Para ello, esta unidad del MIDIS ha propuesto tener un equipo de profesionales que se encargue del estudio de viabilidad de las recomendaciones provenientes de las evaluaciones y sistemas de seguimiento, y elabore propuestas y alternativas que muestren los resultados esperados si se implementan las recomendaciones, los arreglos institucionales necesarios y los costos de la intervención. Este equipo debe tener experiencia en gestión pública, análisis político y económico, entre otras cualidades. El MIDIS ha intentado construir ese equipo.


Después de tener esa información, el siguiente tema es cómo comunicar no solo hacia los que toman las decisiones, sino también hacia la opinión pública, con fines de acceso a la información y transparencia.


El gran reto ahora es el análisis en prospectiva. El uso de la gestión de la evidencia no sólo debe servir para tomar decisiones sobre el actual trabajo, sino también para el diseño de nuevas políticas públicas o nuevos programas.

Finalmente, la evaluación y el seguimiento debe servir para incluir, por esta razón estas funciones se enmarcan en la estrategia Conocer para Incluir, que consiste en conectar la evidencia con la política y conectar las personas en proceso de inclusión con los programas y servicios. Para ello se requieren sistemas de información que permitan identificar a esta población con registro de identidad y dirección, así como verificar si estas personas están recibiendo estos servicios de m





[1] (1) Estos programas estaban adscritos antes al Ministerio de la Mujer, como FONCODES, JUNTOS, y otros programas han sido modificados, como Wawa wasi, ahora denominado Cuna Más. El programa PRONAA, que fue adscrito al inicio, fue luego cerrado a partir de las evaluaciones hechas sobre dicho programa. La decisión fue realizar un nuevo programa de alimentación escolar. El otro programa que empezó con el anterior gobierno ahora se llama Pensión 65, ha sido diseñado con resultados claros para que pueda ser un programa de presupuesto por resultados.


[2] Bhutta Z, Ahmed T, Black R, Cousens S, Dewey K, Giugliani E, Haider B, Kirkwood B, Morris S, Sachdev S, Shekar M. What works? Interventions for maternal and child undernutrition and survival. Lancet 2008; 371: 417–40


[3] La ANGR es la Asamblea Nacional de Gobiernos Regionales


[4] Los ODM a los que nos referimos son: i) Erradicar la pobreza extrema y el hambre; ii) Lograr la enseñanza primaria universal; iii) Promover la igualdad entre géneros y la autonomía de la mujer; iv) Reducir la mortalidad infantil; v) Mejorar la salud materna; vi) Combatir el VIH/SIDA,

el paludismo y otras enfermedades.

:


No hay comentarios.: