CONSEJO EJECUTIVO 131.ª reunión Punto 5 del orden del día provisional
EB131/3 3 de mayo de 2012
Reforma de la OMS Proyecto de política oficial de evaluación
1. El Consejo Ejecutivo, en su reunión extraordinaria de noviembre de 2011, pidió a la Directora General que preparara una política oficial de evaluación, con inclusión de un mecanismo para que los órganos deliberantes supervisen la evaluación basándose en la información proporcionada por el Comité Consultivo de Expertos Independientes en materia de Supervisión, y que informara sobre el particular al Consejo Ejecutivo en su 130.a reunión en enero de 2012.1 2. En la 130.a reunión del Consejo, la Secretaría presentó a este, como se le había pedido, un proyecto de política de evaluación de la OMS.2 Los Miembros del Consejo manifestaron un apoyo considerable a dicha política, como se describe en el documento EB130/5 Add.8, con la finalidad de fortalecer la cultura de la evaluación interna en la OMS. Se invitó a los Estados Miembros a formular observaciones pormenorizadas con respecto al proyecto de política, como parte de las consultas en curso acerca de la reforma de la OMS. 3. Así pues, la presente política revisada de evaluación se ha basado en las aportaciones de las deliberaciones de los Estados Miembros en la reunión del Consejo Ejecutivo en enero de 2012; en las observaciones formuladas por los Estados Miembros en el sitio web especial de consulta acerca de la reforma de la OMS; y en las deliberaciones del Comité Consultivo de Expertos Independientes en materia de Supervisión.3
ANTECEDENTES 4. En 2002, la OMS creó un marco de gestión de programas, centrado en la vigilancia, la evaluación y la presentación de informes. En esas directrices se presentaba la evaluación en el contexto de los principios de la gestión basada en los resultados y se distinguían cuatro tipos de evaluaciones del programa de la OMS: a) evaluaciones de la ejecución del presupuesto por programas (informe de evaluación de la ejecución del presupuesto al final del bienio);
1 2 3
Véase la decisión EBSS2(3), subpárrafo (3)(d). Véase el documento EB130/5 Add.8. Véase el documento EBPBAC16/3.
EB131/3
b) c) d)
evaluaciones programáticas; evaluaciones temáticas; evaluaciones por países.
5. En 2006 se establecieron directrices con el fin de describir la forma de aplicar la evaluación en la OMS y las responsabilidades al respecto y, en particular, de orientar el trabajo de la Oficina de Servicios de Supervisión Interna. 6. En los ocho últimos años, la Secretaría ha aumentado el número de evaluaciones programáticas y temáticas a nivel de toda la Organización, así como las evaluaciones en los países. Sin embargo, desde una perspectiva institucional más amplia, ha tenido menos éxito en lo que se refiere a fomentar una cultura de la evaluación, crear la capacidad de evaluación a todos los niveles de la Organización y promover métodos participativos para efectuar las evaluaciones. Esto se debe a las disposiciones institucionales relativas a la función de evaluación (por ejemplo, no existe un mecanismo directo de supervisión por parte de los órganos deliberantes) y a la falta de un mecanismo eficaz de asignación presupuestaria que financie la función de evaluación. La mayoría de las evaluaciones que se realizan en la OMS siguen siendo encargadas por distintos programas técnicos. 7. La política de evaluación se ha elaborado sobre la base de las mejores prácticas, la experiencia de la OMS y la labor del Grupo de Evaluación de las Naciones Unidas.1
FINALIDAD 8. La presente política tiene por objeto definir el marco general de la evaluación en la OMS, fomentar la cultura y el uso de la evaluación en toda la Organización, y facilitar la conformidad de la labor de evaluación en la OMS2 con las mejores prácticas y con las normas y criterios correspondientes del Grupo de Evaluación de las Naciones Unidas. 9. El marco de rendición de cuentas de la OMS incluye diversos tipos de valoraciones. La Organización considera que todas ellas son fundamentales para el desarrollo de programas y el aprendizaje institucional. La presente política se refiere solo a las valoraciones que se ajustan al término «evaluación», y excluye los demás tipos de valoraciones que lleva a cabo la OMS, como las actividades de vigilancia, evaluación del desempeño, estudios y auditorías.
DECLARACIÓN DE POLÍTICA 10. La evaluación es una función básica que se lleva a cabo a todos los niveles de la OMS. Garantiza la responsabilización y la supervisión respecto del desempeño y los resultados, y refuerza el aprendizaje institucional de manera que sirva de base para las políticas de las instancias decisorias y respalde el aprendizaje individual. La definición de normas y pautas para la función de evaluación fue realizada por el Grupo en respuesta a la resolución 59/250 (2004) de la Asamblea General de las Naciones Unidas. 2 Esta política sustituye a la orientación anterior sobre el tema y a las directrices de evaluación de la OMS (WHO/IOS/06.2, julio de 2006). 1
2
EB131/3
DEFINICIÓN DE EVALUACIÓN 11. «Una evaluación es una valoración, lo más sistemática e imparcial posible, de una actividad, proyecto, programa, estrategia, política, tópico, tema, sector, área operativa, desempeño institucional (...).»1 a) Se centra en los logros previstos y los alcanzados, y en ella se examinan la cadena de resultados, los procesos, los factores contextuales y la causalidad, a fin de comprender los logros conseguidos o la ausencia de ellos. b) Tiene por objeto determinar la pertinencia, la eficacia, la eficiencia y la sostenibilidad de las intervenciones y las aportaciones de la Organización. c) Ha de proporcionar información basada en datos probatorios, que sea creíble, fiable y útil, y que permita incorporar de forma oportuna las conclusiones, recomendaciones y enseñanzas extraídas en los procesos de adopción de decisiones de la Organización. d) Debe formar parte de cada etapa del ciclo de programación y no ser únicamente una actividad de fin de programa.
PRINCIPIOS Y NORMAS2 12. Esta política proporciona un marco para la función y los procesos de evaluación destinado a garantizar la aplicación sistemática de los principios fundamentales de la evaluación en la OMS. Los principios que se presentan a continuación están relacionados entre sí y constituyen la base del enfoque institucional sobre este tema.
Imparcialidad 13. La imparcialidad es la ausencia de sesgos en el proceso debido; requiere rigor metodológico y la consideración y presentación objetivas de los logros alcanzados y las dificultades encontradas. La imparcialidad contribuye a la credibilidad de la evaluación y reduce los sesgos en los procesos de reunión de datos y análisis y en la formulación de resultados, conclusiones y recomendaciones. 14. Las evaluaciones deberán realizarse de manera imparcial en todas las etapas del proceso de evaluación. Para cada evaluación se establecerá un grupo de gestión que se ocupará de supervisar el proceso.
Según la definición que figura en el documento del Grupo de Evaluación de las Naciones Unidas titulado «Normas de evaluación en el sistema de las Naciones Unidas» (documento UNEG/FN/Norms(2005)), http://www.uneval.org/papersandpubs/documentdetail.jsp?doc_id=21 (consultado el 14 de diciembre de 2011). Véase el documento del Grupo de Evaluación de las Naciones Unidas titulado «Normas de evaluación en el sistema de las Naciones Unidas» (documento UNEG/FN/Norms(2005)), http://www.uneval.org/papersandpubs/documentdetail.jsp?doc_id=21 (consultado el 14 de diciembre de 2011), y OCDE/Comité de Asistencia para el Desarrollo, Principles for evaluation of development assistance (Principios para la evaluación de la asistencia para el desarrollo). París, Organización de Cooperación y Desarrollo Económicos (OCDE), 1991, http://www.oecd.org/dataoecd/31/12/2755284.pdf (consultado el 14 de diciembre de 2011). 2
1
3
EB131/3
Independencia 15. La independencia significa no estar sujeto al control ni a influencias indebidas de terceros. Esta característica otorga legitimidad a la evaluación y reduce las posibilidades de conflictos de intereses, que podrían surgir si los planificadores de políticas y los directores fueran los únicos encargados de evaluar sus propias actividades. 16. Se debe garantizar la independencia en lo que respecta a la organización, las funciones y la conducta. A nivel de la organización, las personas encargadas de la función de evaluación no deben ser las mismas que las que se ocupan del diseño y la ejecución de los programas y las operaciones sometidos a evaluación. A nivel de las funciones, ha de haber mecanismos que garanticen la independencia de la planificación y financiación de las evaluaciones y la presentación de informes sobre las mismas. Y en cuanto a nivel de la conducta, es preciso que exista un código basado en la ética, cuyo propósito sea prevenir o gestionar debidamente los conflictos de intereses. 17. Las personas directamente encargadas de la política, el diseño o la gestión general del objeto del examen no podrán actuar como evaluadores. Los funcionarios que realicen evaluaciones deberán respetar los principios éticos y las normas de conducta de los miembros del personal indicados en la recopilación de políticas y prácticas de la OMS. Los contratistas respetarán los requisitos establecidos por la Organización para los acuerdos de contratación externa. Los evaluadores deben comportarse con el más alto grado de integridad profesional y personal durante todo el proceso de evaluación. Se espera que tengan presentes en las evaluaciones la perspectiva de género y el tema de la equidad, así como factores contextuales, como las creencias, maneras y costumbres de los entornos sociales y culturales evaluados. 18. La política de denuncia de prácticas corruptas y otras políticas pertinentes protegerán al personal que participa en las evaluaciones contra posibles represalias u otras consecuencias.
Utilidad 19. La utilidad está relacionada con el impacto de la evaluación en la toma de decisiones; para que la evaluación sea útil, las conclusiones deben ser pertinentes y provechosas y estar presentadas de manera clara y concisa; además, su aplicación ha de ser objeto de un seguimiento. La utilidad de una evaluación depende de su oportunidad y de su pertinencia para las necesidades del programa y los interesados, de la credibilidad del proceso y de los productos, y de la accesibilidad de los informes. 20. La utilidad se garantizará mediante la definición sistemática de las prioridades de la agenda de evaluación sobre la base de criterios establecidos y consultas con los interesados pertinentes, el seguimiento sistemático de las recomendaciones formuladas, el acceso público a los productos de las evaluaciones y la adhesión al marco de gestión basado en los resultados.
Calidad 21. La calidad guarda relación con el empleo adecuado y preciso de los criterios de evaluación, la presentación y el análisis imparciales de los datos probatorios y la coherencia entre los resultados, las conclusiones y las recomendaciones. 22. La calidad se puede garantizar mediante: a) la adhesión constante a la metodología de evaluación de la OMS, las directrices aplicables y las normas y criterios de evaluación del Grupo de Evaluación de las Naciones Unidas; b) el trabajo de supervisión del grupo de gestión de la evaluación, y c) el 4
EB131/3
examen interpares del informe de evaluación cuando se justifique. Se considerará también la posibilidad de utilizar otros mecanismos, como metaevaluaciones periódicas.
Transparencia 23. Para que exista transparencia, los interesados deben conocer los motivos de la evaluación, los criterios de selección y el uso que se hará de las conclusiones extraídas. La transparencia del proceso también es importante, al igual que la accesibilidad de los materiales y productos de la evaluación. 24. La transparencia se garantizará de la forma que se indica a continuación. Quien encargue la evaluación velará por que se establezca un proceso de consulta constante con los interesados pertinentes en todas las etapas del proceso de evaluación. El informe de evaluación contendrá información detallada sobre la metodología y los enfoques aplicados, las fuentes de información y los gastos efectuados. De conformidad con la política de divulgación de la OMS, los planes e informes de evaluación, las respuestas de la administración y los informes de seguimiento se harán públicos en el sitio web de la OMS relativo a la evaluación.
TIPOS DE EVALUACIONES 25. A continuación se describen los principales tipos de evaluaciones que encarga la Secretaría de la OMS: a) Las evaluaciones temáticas se centran en asuntos concretos, como un nuevo sistema de trabajo, una estrategia, un tema intersectorial o una función básica, o abordan una cuestión emergente de interés institucional. Aportan información sobre pertinencia, eficacia, sostenibilidad y aplicabilidad más amplia. Requieren analizar detalladamente un asunto y atañen a diversas estructuras organizacionales. Estas evaluaciones pueden abarcar desde la Organización en su conjunto hasta una sola oficina de la OMS. b) Las evaluaciones programáticas se centran en un programa concreto. Este tipo de evaluación permite conocer a fondo cómo y por qué se han conseguido resultados y productos concretos a lo largo de varios años, y aporta información sobre la pertinencia, eficacia, sostenibilidad y eficiencia de estos. Las evaluaciones programáticas examinan los logros en relación con la cadena de resultados de la OMS, y requieren un análisis sistemático del programa examinado. El alcance de estas evaluaciones puede ser nacional, interregional o mundial. c) Las evaluaciones de oficinas concretas son evaluaciones sistemáticas de la labor de la Organización en un país, una región o la Sede respecto de objetivos y compromisos de la OMS. 26. El Consejo Ejecutivo puede, a su discreción, solicitar una evaluación, interna o externa, de cualquier aspecto relacionado con la OMS.
EVALUACIONES EXTERNAS 27. Los órganos deliberantes pueden encargar evaluaciones a evaluadores externos independientes de la Secretaría. Otras partes interesadas, como los Estados Miembros, los donantes o los asociados, pueden encargar también evaluaciones externas de la labor de la OMS con objeto de valorar el desempeño y el grado de responsabilización de la Organización o de determinar la fiabilidad de esa labor.
5
EB131/3
28. La Secretaría cooperará plenamente en las evaluaciones externas divulgando la información oportuna y facilitando la evaluación. Los resultados de las evaluaciones externas se darán a conocer en el sitio web de la OMS relativo a la evaluación.
PLANIFICACIÓN Y DEFINICIÓN DE PRIORIDADES DE LAS EVALUACIONES 29. La OMS preparará un plan de trabajo de evaluación bienal a nivel de toda la Organización en el marco del ciclo de planificación y presupuestación. 30. El plan de trabajo se elaborará en consulta con el personal directivo superior en la Sede y las regiones, y con los jefes de las oficinas de la OMS en los países, zonas y territorios, sobre la base de los criterios establecidos. Dicho plan se actualizará cada año de acuerdo con lo asentado en el informe anual presentado al Comité de Programa, Presupuesto y Administración y al Consejo Ejecutivo. Los planes de trabajo se presentarán al Consejo Ejecutivo para su aprobación, por conducto del Comité de Programa, Presupuesto y Administración. 31. Al preparar los criterios1 para la selección de los temas de la evaluación se tendrán en cuenta las siguientes categorías: • Necesidad institucional pertinente: con respecto a compromisos mundiales, internacionales o regionales; a acuerdos concretos con interesados directos, asociados o donantes; a solicitudes de los órganos deliberantes. • Importancia institucional en relación con: las prioridades del programa general de trabajo y las funciones básicas; el nivel de inversión; los riesgos implícitos; problemas o inquietudes acerca del desempeño relativo al logro de los resultados previstos. • Utilidad institucional en relación con: un problema, un tema, un programa o una cuestión de política que tenga carácter transversal; el potencial para el aprendizaje de los miembros del personal o institucional (innovación); el grado de ventaja comparativa que tiene la OMS.
METODOLOGÍA DE EVALUACIÓN 32. A continuación se describen los principales componentes de un proceso de evaluación.2
Diseño 33. En el mandato de una evaluación se incluirá información detallada sobre los siguientes elementos: a) b) contexto de la evaluación; propósito y objetivos de la evaluación;
1 2
Los criterios de selección con pormenores se pueden consultar en el manual de la práctica de la evaluación de la OMS. Los criterios de selección se pueden consultar en el manual de la práctica de la evaluación de la OMS.
6
EB131/3
c) alcance y vinculación con el presupuesto por programas y el programa general de trabajo (describiendo lo que abarca y no abarca la evaluación); d) criterios de evaluación (entre otros, pertinencia, impacto, eficiencia, eficacia y sostenibilidad) y preguntas clave de la evaluación; e) usuarios (el responsable y los destinatarios) de los resultados de la evaluación;
f) la metodología (procedimiento para el acopio y el análisis de datos, y participación de los interesados); g) el equipo de evaluación (número de integrantes, preparación teórica y práctica y cualificaciones); h) un plan de trabajo detallado (en que se indique el calendario previsto, el sistema de organización y el presupuesto; i) j) resultados concretos (entre otros, informe, estrategia de distribución y seguimiento); el grupo de gestión de la evaluación (incluidos los requisitos relativos al personal técnico).
Grupo especial de gestión de la evaluación 34. Cuando el tamaño y la complejidad de la evaluación lo justifiquen, quien la encarga habrá de formar un grupo especial de evaluación que ayudará a realizar y controlar la calidad de esta. El grupo puede incluir expertos internos o miembros del personal de la OMS. Las funciones de ese grupo consistirán en examinar el mandato y el proyecto de informe, y formular observaciones al respecto. El grupo será informado de los progresos realizados y habrá de responder a las consultas del equipo de evaluación y presentar sugerencias.
Selección del equipo 35. Los siguientes elementos se tendrán en cuenta a la hora de seleccionar a los miembros del equipo de evaluación: a) b) c) conocimientos y experiencia técnicos y sectoriales; conocimientos y experiencia amplios sobre métodos de evaluación cuantitativa y cualitativa; experiencia en realización de exámenes y evaluaciones;
36. Al seleccionar a los miembros del equipo habrá que asegurarse de que no se planteen conflictos de intereses para ninguno de ellos. 37. El jefe del equipo de evaluación se encargará de la interacción entre los miembros del equipo, y tendrá la responsabilidad general de los productos de la evaluación.
7
EB131/3
Informe 38. Elaborar un informe escrito es requisito fundamental del proceso de evaluación. El informe final de la evaluación deberá estar estructurado de forma lógica, y presentar resultados, conclusiones, enseñanzas y recomendaciones basados en datos probatorios. 39. El informe debe: a) b) c) d) e) incluir solo información pertinente para el propósito general y los objetivos de la evaluación; describir el propósito de la evaluación e incluir el mandato; responder a las preguntas clave especificadas en el mandato; describir la metodología seguida para reunir y analizar la información; indicar las posibles limitaciones de la evaluación, y
f) incluir los datos probatorios en que se basan las conclusiones, las enseñanzas extraídas y las recomendaciones.
FINANCIACIÓN DE LA EVALUACIÓN1 40. El Director General velará por que se disponga de recursos suficientes para ejecutar el plan de trabajo a nivel de toda la Organización. 41. Los directores regionales, los subdirectores generales, los directores y los jefes de las oficinas de la OMS en los países deberán velar por que haya recursos suficientes para ejecutar los componentes que les correspondan del plan de evaluación a nivel de toda la Organización. Los planes de trabajo operacionales de los programas habrán de incluir un presupuesto adecuado para la evaluación, que se estudiará, según sea oportuno, con las partes interesadas durante la fase de planificación de cada proyecto, programa o iniciativa. 42. Para determinar la cuantía necesaria para financiar el trabajo de evaluación en la OMS se han tenido en cuenta estimaciones facilitadas por otras organizaciones. Según estas, en el presupuesto por programas se podría prever una cantidad para evaluación que representaría entre un 3% y un 5% de ese presupuesto.
RENDICIÓN DE CUENTAS Y SUPERVISIÓN 43. El marco de rendición de cuentas establece de quién dimana la autoridad y sobre quién se ejerce y con qué fin. También define a quién han de rendir cuentas los responsables y cuál es la responsabilidad de estos a la hora de ejercer esa autoridad. En esta sección se establecen las funciones y respon-
1
Está previsto estudiar el tema de las fuentes de financiación de las evaluaciones.
8
EB131/3
sabilidades1 de los principales agentes del proceso de evaluación, así como el mecanismo de vigilancia utilizado para aplicar la política de evaluación.
Funciones y responsabilidades 44. El Consejo Ejecutivo2 de la OMS: a) b) determinará la política de evaluación y sus modificaciones subsiguientes, según sea necesario; supervisará la función de evaluación en la Organización;
c) alentará la realización de evaluaciones como base para la planificación y la adopción de decisiones; d) hará aportaciones al plan de trabajo de evaluación bienal sobre los temas de interés concreto para los Estados Miembros; e) aprobará el plan de trabajo de evaluación bienal a nivel de toda la Organización;
f) examinará el informe anual sobre la ejecución del plan de trabajo de evaluación bienal a nivel de toda la Organización y tomará nota de él; g) revisará periódicamente la política de evaluación, según sea oportuno.
45. La Oficina de Servicios de Supervisión Interna es la garante de la función de evaluación; rinde cuentas directamente al Director General y todos los años somete a la consideración del Consejo Ejecutivo un informe sobre las cuestiones relativas a la evaluación en la OMS. La Oficina se encarga de las siguientes funciones relacionadas con la evaluación: a) dirigir la preparación de un plan de trabajo de evaluación bienal a nivel de toda la Organización; b) informar al personal directivo superior sobre cuestiones relacionadas con la evaluación que revisten importancia para toda la Organización; c) facilitar la información sobre las conclusiones y enseñanzas extraídas de las evaluaciones para el diseño de los programas en toda la OMS; d) coordinar la aplicación del marco para la evaluación en los tres niveles de la Organización;
e) mantener un sistema para el seguimiento de las respuestas de la administración a las evaluaciones; f) g) mantener un inventario en línea de las evaluaciones realizadas en toda la OMS; mantener una lista de expertos con experiencia en evaluación;
1 Los criterios de selección sobre las funciones y responsabilidades en materia de evaluación se pueden consultar en el manual de la práctica de la evaluación de la OMS. 2
El Consejo Ejecutivo de la OMS y su órgano subsidiario, el Comité de Programa, Presupuesto y Administración.
9
EB131/3
h) proporcionar material de orientación de calidad para la preparación, realización y seguimiento de las evaluaciones; i) velar por que los informes de evaluación se ajusten a los requisitos de la política de evaluación; j) reforzar los conocimientos sobre evaluación del personal de la OMS (por ejemplo, facilitando métodos normalizados o capacitación sobre evaluación); k) presentar al Consejo Ejecutivo, por conducto del Director General, un informe anual sobre las actividades de evaluación; l) prestar apoyo para la revisión y las actualizaciones periódicas de la política de evaluación, según proceda.
USO DE LAS CONCLUSIONES DE LAS EVALUACIONES Aplicación y seguimiento de las recomendaciones 46. Las recomendaciones consignadas en el informe de evaluación reflejan el valor añadido por el proceso de evaluación. Para cada evaluación se designará a un encargado, por ejemplo, a un funcionario responsable de un grupo orgánico, programa, oficina o proyecto, que se ocupará de utilizar las conclusiones de la evaluación y de establecer un plan de acción para llevar a la práctica las recomendaciones. 47. El responsable de la evaluación velará por que la administración transmita de forma oportuna una respuesta adecuada al subdirector general correspondiente en la Sede o al director regional en las regiones y los países. 48. La Oficina de Servicios de Supervisión Interna se encargará del seguimiento de la aplicación de las recomendaciones de las evaluaciones de manera sistemática, y coordinará su labor con los solicitantes de la evaluación. La Oficina elaborará periódicamente informes sobre los progresos realizados en la aplicación de las recomendaciones para el personal directivo superior y presentará informes anuales al Consejo Ejecutivo por conducto del Comité de Programa, Presupuesto y Administración.
Divulgación y difusión de los informes de evaluación 49. La OMS dará a conocer los informes de evaluación de conformidad con su política de divulgación de información. 50. Las enseñanzas extraídas de las evaluaciones se resumirán, darán a conocer y difundirán según proceda.
INTERVENCIÓN DEL CONSEJO EJECUTIVO 51. Se invita al Consejo a tomar nota del presente proyecto de política y considerar su aprobación. = = =
10