Gestión basada en evidencias

LA GESTION PÚBLICA BASADA EN EVIDENCIAS Y LA EVALUACION

Por Anibal Velásquez-Valdivia

Esta reflexión surge a partir de una serie de publicaciones que se han hecho con relación a la reforma del sistema de salud de México. En la prestigiosa revista “The Lancet” se publicaron una serie de artículos (Frenk et al., 2006a; Gonzáles-Pier, 2006; Lozano, 2006; Knaul, 2006; gakidou, 2006; Sepúlveda, 2006) que expresan que los cambios realizados en México han sido con base en evidencias (Frenk, 2006b).

Julio Frenk (2006b), quien fuera Ministro de Salud del pasado gobierno de México, escribe que “En el diseño, implantación y evaluación de su reforma, México ha hecho un uso intensivo de las mejores evidencias disponibles, que se ha derivado de análisis nacionales y de diversos bienes públicos globales asociados con el conocimiento, como las comparaciones sistemáticas de las experiencias de otros países, marcos conceptuales y métodos de medición.

México ha asimilado las lecciones de las innovaciones introducidas en muchos otros países del mundo; al mismo tiempo, ha puesto a disposición de otras naciones sus propias experiencias. Es evidente que los países no pueden simplemente adoptar las experiencias internacionales a sus propias realidades sociales, financieras y culturales; lo que deben hacer es adaptarlas. Aun así, existe una búsqueda mundial por mejores formas de abordar los complejos retos de nuestros tiempos. Debido a las lagunas en nuestro conocimiento, cada iniciativa de reforma debe verse como un experimento cuyos efectos deben documentarse para beneficio de todas las demás iniciativas, tanto presentes como futuras. Este esfuerzo requiere de una sólida inversión en investigación de sistemas de salud.

Cada innovación constituye una oportunidad de aprendizaje; no aprovecharla nos condena a redescubrir, a un enorme costo, lo que ya se sabía o a repetir los errores del pasado. Para reformar, es indispensable informar, de lo contrario se corre el peligro de deformar. Al poner nuestras experiencias al alcance de la comunidad internacional, esperamos contribuir a un proceso de aprendizaje compartido entre los países que será esencial para alcanzar”.

Estas lecciones aprendidas de la reforma del sistema de salud de México son producto de más de de tres generaciones de reformas y que según refieren han sido basadas fuertemente en evidencias desde finales de la década de 1970 (Frenk et al., 2003). En consecuencia, son dignas de ser tomadas en cuenta, más aún cuando se están gestando importantes reformas en el Estado peruano y en la mayoría de los sectores sociales del país.

Es importante destacar que las evidencias, en este contexto, se refieren a la información sobre la efectividad y eficiencia de las intervenciones y acerca de cómo actúan las mismas. Justamente esta es la información que requieren los planificadores de intervenciones, los que asignan recursos y los que formulan y conducen políticas. En consecuencia, el rol que cumplen los evaluadores es vital para la gestión pública, siempre y cuando éstos brinden información oportuna y de calidad.

Lamentablemente, en nuestro país no es fácil encontrar evaluaciones con información oportuna y de calidad, a pesar de que se han realizado cuantiosas inversiones en programas sociales y de salud, es difícil saber cuánto de los cambios en los indicadores de resultados se pueden atribuir a las intervenciones y si estas intervenciones han sido costo-efectivas. De tal forma que no es posible responder a la inquietud de los que toman decisiones sobre cuánto tienen que invertir para obtener algún tipo de resultado.

El nivel de calidad de las intervenciones se mide en función del rigor científico del diseño de los estudios y existen escalas que clasifican en forma jerárquica las evidencias y a partir del cual se establecen recomendaciones respecto a la adopción de una determinada intervención (Jovell & Navarro-Rubio, 1995; Guyatt et al.,1995). En el campo de la salud se han propuesto diferentes escalas de gradación que pueden servir de referencia a las evaluaciones en el campo social, en esta oportunidad mostramos algunas de estas clasificaciones.


Así mismo se han propuesto niveles de evidencia según el tipo de estudio (Harbour & Miller, 2001), en este caso se considera además del diseño la existencia de estudios que realizan metanálisis[1] o revisiones sistemáticas de estudios experimentales aleatorios. Según esta clasificación los estudios que aportan mayor evidencia son los que realizan metanálisis de gran calidad y revisiones sistemáticas de estudios experimentales de asignación aleatoria.

Para la evaluación de la calidad de los estudios se han propuesto criterios y listas de chequeo para cada diseño y tipo de estudio (se incluyen evaluaciones cualitativas). Mayor información la pueden encontrar en: Nicki J, Waters E (2003) y The Cochrane Colaboration (2003). Y como existen diversos criterios para evaluar la validez de los estudios, el grupo Cochrane ha propuesto resumirlos, con un enfoque sencillo, en tres categorías (Cochrane, 2003):

A. Bajo riesgo de sesgos (Los sesgos no alteran seriamente los resultados)

B. Riesgo moderado de sesgos (Los sesgos generan alguna duda sobre los resultados)

C. Alto riesgo de sesgos (Los sesgos debilitan seriamente la confianza en los resultados)

En consecuencia las recomendaciones para utilizar las evidencias se pueden clasificar en A, B o C. Así los resultados de los estudios calificados con A son extremadamente recomendables, los resultados calificados con B son recomendables de manera favorable y los que tienen la categoría C no se recomiendan ni desaprueban.

Propuestas a los miembros de la Red Eval Perú

Las reformas de los sectores sociales que se están desarrollando en nuestro país son una excelente oportunidad para que los evaluadores brinden aportes no solo con las evaluaciones que realizan sino con revisiones sistemáticas. Nos consta que en el sector salud existe la decisión política de utilizar evidencias para la gestión de la salud pública tanto en el Ministerio de Salud como también en las Regiones.

Es ahora un momento crucial para generar evidencias porque se están diseñando los cambios y las intervenciones y se están formulando las políticas. La experiencia de México nos sirve para sustentar que estos cambios se pueden hacer mejor con base en evidencias.

Sin embargo, cuando intentamos buscar evidencias en nuestro país nos encontramos con serias limitaciones para encontrar evaluaciones de efectividad o eficiencia con niveles de evidencia A o B porque la mayoría de evaluaciones realizadas no tienen grupos control, o no tienen líneas de base y por lo general no se reporta cuánto de los cambios en los indicadores resultado o de impacto se atribuyen a los programas o proyectos. En consecuencia muchas evaluaciones contienen alto riesgo de sesgos que afectan la validez interna de las conclusiones.

Pienso que nuestra Red tiene un rol fundamental en promover la mejora de la calidad de las evaluaciones y promover los mecanismos para hacer llegar nuestras evidencias a los tomadores de decisiones.

Y como concluye Julio Frenk, en el artículo motivo de esta reflexión (Frenk, 2006b), el camino está trazado.

“El camino es claro: las evidencias sólidas deben ser el faro que ilumine el diseño, la implantación y la evaluación de los programas en los gobiernos nacionales, las agencias bilaterales de cooperación y las organizaciones multilaterales. Ésta es la ruta que nos llevará a un desarrollo más equitativo a través de una mejor formulación de las políticas de salud”.

Referencias

Frenk J. et al. (2006a ). Comprehensive reform to improve health system performance in Mexico. Lancet; 368:1524-34

Frenk J. (2006b). Bridging the divide: global lessons from evidence-based health policy in Mexico. Lancet; 368:954-61


Gakidou E. et. al. (2006). Assessing the effect of the 2001-06 Mexican health reform: an interim report card. Lancet; 368: 1920-35

González-Pier E et al. (2006). Priority setting for health interventions in Mexico’s System of Social Protection in Health. Lancet; 368: 1608-18

Guyatt G, Sackett D, Sinclair J, Hayward R, Cook D (1995). Users´Guides to the Medical Literature: IX. A method for grading health care recommendations. JAMA; 274:1800-1804

Harbour R, Miller J. A new system for grading recommendations in evidence based guidelines. British Medical Journal 2001; 323:334-336

Harris R et al. (2001). Current methods of the US Preventive Services Task Force: a review of the process. Am J Prev Med; 20(3S):21-35

Jovell A, Navarro-Rubio M. Evaluación de la evidencia científica (1995). Med Clin (Barc); 105:740-743

Knaul F et al. (2006). Evidence is good for your health system: policy reform to remedy catastrophic and impoverisning health spending in Mexico. Lancet; 368:1828-41
Lozano R. et al. (2006). Benchmarking of performance of Mexican status with effective coverage. Lancet; 368:1729-41

Nicki J, Waters E (2003). Guidelines for Systematic Reviews of Health Promotion and Public Health Interventions, http://www.vichealth.vic.gov.au/cochrane/activities/Guidelines%20for%20HPPH%20reviews.pdf. Acceso 8 Mayo 2007

Sepúlveda J et al. (2006). Improvement of child survival in México: the diagonal approach. Lancet; 368:2017-27

The Cochrane Colaboration (2003). Revisores Cochrane, Manual 4.1.6, Actualización Enero 2003, en español http://www.cochrane.es/Castellano/. Acceso 8 Mayo 2007

Velásquez A. "Factores económicos asociados a la nutrición e impacto de programas de reducción de la pobreza en la desnutrición de países en desarrollo. Una revisión sistemática" Cuadernos del PREVAL N° 1, 2005, 63 pp. Disponible en el siguiente enlace: http://www.preval.org/documentos/rs2006.zip, acceso 13 Junio, 2006


[1] Metanálisis es un estudio basado en la integración estructurada y sistemática de la información obtenida en diferentes estudios experimentales. Consiste en identificar y revisar los estudios controlados sobre un determinado problema, con el fin de dar una estimación cuantitativa sintética de la eficacia, eficiencia o efectividad de todos los estudios disponibles. Dado que incluye un número mayor de observaciones, un metaanálisis tiene un poder estadístico superior al de los estudios experimentales que incluye. El término metaanálisis fue empleado por primera vez por Eugene V. Glass en 1976. Inicialmente fue aplicado en las ciencias sociales y en psicología. A partir de la década de los 80, se comenzó a aplicar de forma creciente en Medicina y a partir de los 90 es muy frecuente los artículos que describen resultados de metaanálisis en publicaciones médicas
[2] Las revisiones sistemáticas tienen como objetivo integrar eficientemente toda la información válida y proporcionar una base para tomar decisiones de manera racional. Las revisiones sistemáticas establecen cuándo los efectos de las intervenciones son consistentes y cuándo pueden aplicarse los resultados de la investigación a los diferentes grupos de población, ámbitos y diferencias en las intervenciones. El uso de métodos explícitos y sistemáticos en las revisiones limita el sesgo y reduce los efectos encontrados por azar, proporcionando así resultados más fiables sobre los cuales sacar conclusiones y tomar decisiones


El artículo completo lo puede ver en el Boletín de la Red de Evaluadores del Perú - RedEval Perú: http://www.preval.org/documentos/bolet4.pdf