CONSEIL EXÉCUTIF Cent trente-quatrième session Point 11.1 de l’ordre du jour provisoire
EB134/38 3 janvier 2014
Évaluation Rapport actualisé et projet de plan de travail pour 2014-2015
1. Le Conseil exécutif, à sa cent trente et unième session, a approuvé la politique d’évaluation de l’OMS.1 En vertu de la politique d’évaluation, le Bureau des services de contrôle interne est tenu de soumettre chaque année au Conseil exécutif par l’intermédiaire du Comité du Programme, du Budget et de l’Administration un rapport sur l’état de la mise en œuvre des activités d’évaluation. Le présent document fait le point des progrès accomplis par le Secrétariat dans la mise en œuvre de la politique d’évaluation approuvée et contient un projet préliminaire de plan de travail proposé pour 2014-2015.
PROGRÈS ACCOMPLIS ET FACTEURS FAVORABLES 2. Pour favoriser une culture de l’évaluation et promouvoir activement l’évaluation au sein de l’Organisation, l’OMS a créé le Réseau mondial d’évaluation en avril 2013. Le réseau est composé de représentants des trois niveaux de l’Organisation et de représentants de fonctions mondiales connexes.2 Conformément à son mandat, le réseau intervient par l’intermédiaire de groupes spéciaux pour répondre aux besoins mis en évidence. 3. Conformément au plan de travail arrêté pour 2013, le réseau a : a) établi les critères pour inclure des éléments dans le plan de travail biennal pour l’évaluation dans l’ensemble de l’Organisation ; b) mis en place un système d’assurance de la qualité pour les produits de l’évaluation ; c) élaboré un cadre global pour l’établissement de rapports d’évaluation ; d) diffusé et utilisé les constatations des évaluations et les enseignements qu’il a été possible d’en tirer ; e) mis au point un registre intégré des évaluations ; f) renforcé les capacités d’évaluation dans l’ensemble de l’OMS ; g) défini une stratégie de communication pour l’évaluation ; et h) procédé à l’analyse d’ensemble liée à l’évaluation à l’OMS. En outre, le réseau a terminé la mise au point d’un manuel d’évaluation de l’OMS qui précise les rôles et les responsabilités en la matière et indique les principaux outils, procédures et méthodes pour aider le personnel à procéder aux évaluations conformément à la politique approuvée. 1 2
Décision EB131(1).
Le réseau compte 26 membres : un représentant des bureaux de pays par Région (six au total) ; un représentant pour chaque bureau régional (six) ; un représentant par groupe (six) et un représentant du Bureau du Directeur général (un) au Siège ; un représentant de chacun des départements traitant les questions transversales intéressant la politique d’évaluation (sept), à savoir Collaboration avec les pays ; Genre, équité et droits de l’homme ; Services de contrôle interne ; Gestion et partage du savoir ; Planification, coordination des ressources et suivi des résultats ; Communication ; et Technologies de l’information et télécommunications.
EB134/38
4. Enfin, le réseau est en train d’élaborer des recommandations sur des questions spécifiques liées à l’évaluation (comme le suivi du coût des évaluations, l’allocation des ressources nécessaires à la mise en œuvre de la politique d’évaluation, la définition de l’évaluation d’impact dans le contexte de l’OMS) et de constituer une base de données sur les experts de l’évaluation. On trouvera à l’annexe 1 des précisions sur les progrès accomplis en ce qui concerne les « prestations » du réseau et les mesures prévues en 2014. 5. Le réseau a l’intention d’organiser une réunion de coordination les 9 et 10 décembre 2013 pour : a) apprécier l’efficacité des dispositions actuelles visant à favoriser une culture de l’évaluation à l’OMS ; b) faire le point des réalisations obtenues en 2013 ; et c) en s’inspirant des diverses évaluations externes en cours et des parties prenantes, définir un plan de travail pour 2014 et déterminer les ressources nécessaires pour développer la fonction, la pratique et l’utilisation de l’évaluation dans l’ensemble de l’Organisation.
PLAN DE TRAVAIL BIENNAL POUR L’ÉVALUATION À L’OMS POUR 2014-2015 6. La politique d’évaluation préconise l’utilisation d’une approche systématique afin d’élaborer, pour l’ensemble de l’Organisation, un plan de travail biennal pour l’évaluation s’inscrivant dans le cadre de son cycle de planification et de budgétisation. À cet égard, la politique définit le rôle et les responsabilités du Conseil exécutif notamment pour la supervision de l’évaluation au sein de l’Organisation et, plus spécialement en ce qui concerne le plan de travail, les éléments concernant les points intéressant particulièrement les États Membres, et l’approbation du plan de travail biennal pour l’évaluation. Celui-ci doit être soumis au Conseil par l’intermédiaire du Comité du Programme, du Budget et de l’Administration. 7. L’approche adoptée pour élaborer le plan de travail pour l’évaluation prévoit : a) la prise en compte de certains critères (voir l’annexe 2) relatifs aux réalisations prévues telles qu’elles sont définies dans le budget programme 2014-2015 ; b) la délimitation des évaluations que l’OMS est formellement tenue de réaliser (engagement découlant de ses organes directeurs, de partenariats ou d’accords de collaboration) ; et c) les résultats d’un processus de consultation à l’intérieur du réseau et avec la direction dans l’ensemble de l’Organisation sur les priorités de l’évaluation. 8. Le processus de consultation en vue de l’élaboration du plan de travail pour l’évaluation comporte trois phases : a) Suivi des évaluations prévues au niveau régional et de pays avec la direction au niveau concerné. Ce suivi a abouti à l’établissement d’une liste d’évaluations programmatiques qui seront appuyées par l’OMS (techniquement et financièrement) ou qu’elle fera effectuer. Au niveau mondial, un processus analogue a été suivi pour définir les évaluations prévues en 2014-2015. La plupart de ces évaluations se rapportent à des engagements préexistants dans le cadre d’accords de collaboration ou d’évaluations sommatives de programmes. b) Échanges avec les administrateurs responsables des réalisations au niveau des catégories et des sous-catégories pour déterminer s’il est souhaitable et possible d’entreprendre des évaluations en 2014-2015. c) Consultation avec la direction au Siège de l’OMS et dans les Régions pour hiérarchiser et regrouper les évaluations proposées, et veiller à ce que les questions transversales soient abordées de manière satisfaisante. 2
EB134/38
9. Les processus de hiérarchisation et de consultation débouchent sur le plan de travail proposé pour 2014-2015 (annexe 3), comprenant les évaluations prioritaires que l’OMS appuiera au niveau institutionnel en faisant faire, en gérant ou en effectuant le travail d’évaluation ou alors en veillant à l’assurance de la qualité et à l’appui technique nécessaires aux unités responsables de ces évaluations. 10. L’approche, les critères et les outils nécessaires pour élaborer le plan de travail pour l’évaluation relèvent d’un groupe spécial du Réseau mondial d’évaluation qui a constaté la pertinence du modèle pour orienter le processus de hiérarchisation. Il faudra cependant du temps pour réunir et valider les séries de données sur lesquelles repose la compilation du plan de travail – principalement parce qu’une partie considérable des données aux niveaux de ventilation voulus par le modèle ne seront disponibles que petit à petit en fonction des progrès de la planification opérationnelle. Le modèle deviendra donc de plus en plus utile et continuera d’être affiné et adapté selon les besoins. La version définitive du plan de travail sera soumise au Conseil exécutif en mai 2014.
Enquête sur la capacité d’évaluation perçue et la définition des besoins 11. Afin de fixer une base pour son action, le réseau a effectué une enquête mondiale auprès du personnel en juillet 2013 pour déterminer l’efficacité de l’Organisation concernant l’institutionnalisation de la politique d’évaluation et la nécessité de renforcer la capacité d’évaluation à l’OMS. Malgré les limitations inhérentes (auto-évaluation et taux de participation de 8,2 % correspondant à 577 réponses reçues), l’enquête a défini trois grands domaines où une meilleure communication sur l’évaluation dans l’ensemble de l’OMS s’impose. Ces domaines seront utilisés pour les travaux futurs du réseau : a) transition effective de la politique d’évaluation vers une culture institutionnelle de l’évaluation, la direction s’engageant à appuyer l’évaluation et promouvoir le changement. Ce domaine comprend la nécessité de veiller à ce que les administrateurs de programme comprennent bien la valeur ajoutée qu’apportent les différents types d’évaluation à l’OMS et s’engagent systématiquement en faveur des évaluations ; b) saisie et intégration efficace du travail d’évaluation en cours au niveau des programmes et des pays qui n’est pas répertorié ou correctement apprécié au niveau institutionnel ; et c) mise en place d’un programme d’apprentissage approprié pour répondre à l’intérêt marqué que manifeste le personnel (92 % des réponses) pour un renforcement des capacités techniques dans un domaine considéré comme stratégique dans le contexte de la réforme de l’OMS.
Renforcement de la plate-forme du registre et du contrôle de la qualité des produits de l’évaluation 12. L’appréciation du registre des évaluations existant en juillet 2013 a révélé qu’il était loin d’être complet et présentait aussi des carences par rapport aux critères de qualité révisés. Par exemple, si 226 produits ont été signalés comme des évaluations par les unités techniques, un rapport en bonne et due forme n’a été établi que dans 31 % des cas et 24 % seulement étaient disponibles pour être consultés. Sur les 54 rapports électroniques disponibles, 28 (52 %) répondaient à la définition opérationnelle de l’évaluation, les autres étant classés comme examens de programmes (28 %), consultations techniques/rapports spéciaux (9 %), évaluations de la performance (5 %) recherches opérationnelles/recherches d’évaluation (4 %) et enquêtes mondiales (2 %). Sur la base de la nouvelle liste type de contrôle de la qualité pour les rapports d’évaluation, 75 % des rapports étaient classés 3
EB134/38
comme « bons ». Mais, 88 % des rapports ne contenaient aucune indication sur la façon dont l’évaluation tenait compte des préoccupations en matière d’égalité, de genre, d’équité et de droits de l’homme. 13. Les résultats de cette appréciation ont confirmé la validité des listes de contrôle utilisées pour le contrôle de la qualité des produits de l’évaluation et servi à finaliser le manuel de l’évaluation de l’OMS, ainsi qu’à éprouver l’approche d’assurance de la qualité liée à la nouvelle plate-forme mondiale du registre des évaluations. 14. La nouvelle plate-forme permet d’intégrer le contrôle de la qualité des évaluations dans les étapes de planification et de mise en œuvre des programmes et d’établissement de rapports. Elle établit aussi un lien avec le plan de travail biennal pour l’évaluation et le douzième programme général de travail 2014-2019 et fournit des informations sur toutes les évaluations de l’OMS, ce qui devrait déboucher sur les améliorations nécessaires en vue de la publication des rapports d’évaluation sur le site de l’OMS.
PROBLÈMES À SURMONTER ET POINTS À TRAITER 15. Pour inculquer une culture de l’évaluation dans l’ensemble de l’Organisation, il faudra affronter différents problèmes. Du point de vue de la demande, l’évaluation concerne avant tout des programmes qui ont une longue tradition d’évaluation, sont souvent financés de l’extérieur et dont l’évaluation est expressément prévue par l’accord de collaboration. Un des problèmes souvent évoqués qui constitue un obstacle pour le réseau tient à ce que les ressources consacrées à l’évaluation au niveau institutionnel restent insuffisantes. On constate une situation analogue concernant l’allocation de ressources financières et humaines à l’évaluation dans la plupart des Régions, ce qui menace également l’élan généré par l’adoption de la politique d’évaluation. 16. Beaucoup d’évaluations au niveau des pays se rapportent à des programmes nationaux et ne permettent pas nécessairement de déterminer si l’OMS est performante vis-à-vis de ces programmes. Elles n’en donnent pas moins des indications sur le rôle que joue l’OMS dans le renforcement des capacités nationales d’évaluation. 17. À mesure que la politique devient opérationnelle, il devient nécessaire de préciser davantage l’organisation, les rôles et les responsabilités concernant l’évaluation aux niveaux des pays, et aux niveaux régional et mondial, de même que les modalités de financement dans l’ensemble de l’OMS. Jusqu’en 2013, ces aspects n’ont pas été traités de façon systématique. Des principes directeurs devraient être en place pour une planification opérationnelle ascendante pour l’exercice 2016-2017 afin que l’évaluation fasse partie intégrante du cycle de mise en œuvre du plan de travail à ces trois niveaux. En outre, les systèmes d’exploitation comme le Système mondial de gestion doivent être adaptés pour permettre de réunir des informations pertinentes pour l’évaluation de manière systématique plutôt que par des mécanismes parallèles (en ce qui concerne les ressources prévues et utilisées, par exemple).
4
EB134/38
18. Dans l’ensemble de l’Organisation, il faut continuer à favoriser la culture de l’évaluation au niveau du personnel et de la direction. En reconnaissant le rôle important joué par une masse critique de membres du personnel attachés à la promouvoir, le réseau s’est efforcé de mettre au point une stratégie de communication pour l’évaluation. Compte tenu des initiatives actuelles et des mesures prévues en 2014, et à condition de disposer des ressources nécessaires, aussi bien pour le réseau et les groupes spéciaux que pour financer le plan de travail biennal à l’échelle de l’OMS, on peut s’attendre à ce que la situation continue de s’améliorer en 2014.
MESURES À PRENDRE PAR LE CONSEIL EXÉCUTIF 19. Le Conseil est invité à prendre note du rapport et à présenter des observations sur le projet de plan de travail biennal de l’OMS pour l’évaluation 2014-2015.
5
6 Prestations Plan de travail biennal pour l’évaluation à l’échelle de l’OMS Progrès réalisés jusqu’ici Contrôle de la qualité des produits de l’évaluation Système établi et analyse des rapports disponibles sur les produits de l’évaluation effectuée Assurance de la qualité de l’évaluation à l’OMS Certaines composantes (listes de contrôle pour la qualité, introduction prévue d’une fonction d’examen collégial, système d’actualisation du registre) sont désormais en place Cadre complet pour l’établissement de rapports Registre des évaluations Système mis au point et intégré aux autres systèmes institutionnels
EB134/38
ANNEXE 1 RÉSEAU MONDIAL D’ÉVALUATION – PRESTATIONS, PROGRÈS ET MESURES PRÉVUES EN 2014
Mesures prévues en 2014 Affiner le modèle de hiérarchisation et le processus de consultation pour la révision du plan de travail annuel pour l’évaluation à l’échelle de l’OMS pour 2015
Observations La planification opérationnelle intervient à un moment qui ne facilite pas l’établissement du plan de travail en temps voulu ; l’information sur les ressources dont on dispose pour l’évaluation est insuffisante ; le processus devra être pleinement intégré pour 2016-2017 Former le personnel dans les domaines où des améliorations s’imposent (référence au genre et aux droits de l’homme ainsi qu’aux comités de gestion de l’évaluation, exhaustivité des rapports établis et utilisation des évaluations) Mise en œuvre prévue dans le cadre du processus de réforme de l’OMS
Cadre défini et modèle de hiérarchisation en cours d’élaboration
Poursuivre l’analyse à mesure que les produits de l’évaluation deviennent disponibles
Terminer la mise en place du système d’assurance de la qualité en vue de son utilisation en 2015
Établissement de rapports sur une base non systématique
Mettre au point un cadre pour l’établissement de rapports sur les résultats de l’évaluation et sur la gestion et l’utilisation des savoirs Promouvoir l’utilisation du registre et l’améliorer selon les besoins
Mise en œuvre prévue en 2014 lorsque les autres processus auront été stabilisés
Accroître l’utilisation future du registre pour la planification des évaluations et l’appui à l’assurance de la qualité
Annexe 1
Prestations Programme d’apprentissage
Progrès réalisés jusqu’ici Définition des besoins, mise au point de l’outil de cyberapprentissage, programme en préparation
Mesures prévues en 2014 Assurer une phase pilote de mise en œuvre et d’appréciation avant la mise en œuvre complète Détermination des possibilités d’apprentissage dans les Régions
Observations Préparation en cours, mais des ressources supplémentaires sont nécessaires : Programme institutionnel qui doit être obligatoire pour certaines catégories du personnel Stratégie de distribution définie Communauté de pratique, webinars commencés Institutionnalisation en cours
Manuel d’évaluation de l’OMS Gestion des savoirs
Achevé Définition des éléments de la stratégie Commencé en décembre 2013
Mettre au point le manuel comme outil de cyberapprentissage Intégrer et mettre en œuvre la stratégie complète
Stratégie de communication pour l’évaluation
Stratégie élaborée Page Web sur l’évaluation en préparation Définition des éléments du cadre
Mise en œuvre et introduction complètes
Liens avec d’autres prestations pour renforcer la culture de l’évaluation dans l’ensemble de l’OMS Intégration de la politique, des fonctions et de la pratique de l’évaluation à l’OMS
Analyse du cadre de la fonction d’évaluation à l’OMS
Apprécier les progrès en se rapportant aux étapes franchies Inclure un examen collégial de la fonction d’évaluation
Base de données des experts de l’évaluation
Pas encore systématisés
Système et plate-forme à mettre en place
Discussions en cours dans le cadre du Groupe des Nations Unies pour l’évaluation
EB134/38
7
EB134/38
ANNEXE 2 LISTE DES CRITÈRES UTILISÉS POUR HIÉRARCHISER LES ÉVALUATIONS DEVANT FIGURER DANS LE PLAN DE TRAVAIL
Exigence de l’Organisation • Engagement extérieur formel en faveur de l’évaluation fondé sur des accords de collaboration (avec des partenaires, des partenariats, etc.) Importance pour l’Organisation • Priorités de leadership définies dans le Programme général de travail 2014-2019 • Engagements programmatiques mondiaux, régionaux ou internationaux reflétés dans les résolutions de l’Assemblée mondiale de la Santé et des Comités régionaux (sur les objectifs du Millénaire pour le développement des Nations Unies, l’éradication ou l’élimination des maladies, le Règlement sanitaire international (2005), etc.) • Niveau d’investissement reflété dans les budgets programmes 2014-2015 (montants prévus) et 2012-2013 (dépenses effectuées) • Niveau des risques perçus (complexité relative inhérente, risque pour la réputation, autres constatations de la surveillance et de l’évaluation) • Historique de l’exécution : progrès programmatiques définis dans le suivi systématique et l’appréciation de l’exécution (par exemple examens à mi-parcours et appréciation en fin d’exercice biennal) Utilité pour l’Organisation • Domaine avec possibilité d’acquisition de connaissances pour l’Organisation (innovation, initiative particulière) • Avantage comparé (lien avec les fonctions essentielles de l’OMS, production de biens publics mondiaux) • Questions de politique générale (enseignements tirés, réorientation/révision des politiques) • Autres facteurs (recommandations du Réseau mondial d’évaluation ou de la direction)
8
EB134/38
ANNEXE 3 PROJET DE PLAN DE TRAVAIL POUR L’ÉVALUATION À L’ÉCHELLE DE L’ORGANISATION 2014-2015
Domaines d’évaluation Projet et Fonds FAO/OMS visant à faciliter la participation au Codex (fonds fiduciaire du Codex) Plan d’application exhaustif concernant la nutrition chez la mère, le nourrisson et le jeune enfant Stratégie et plan d’action mondiaux pour la santé publique, l’innovation et la propriété intellectuelle Suivi de la réalisation des objectifs du Millénaire pour le développement liés à la santé Normalisation et interopérabilité en cybersanté Impact des publications à l’OMS Plan d’action à l’échelle du système des Nations Unies sur l’égalité des sexes et l’autonomisation des femmes Activité normative de l’OMS concernant les systèmes d’enregistrement et de statistiques d’état civil dans la Région de l’Asie du Sud-Est Activité normative de l’OMS en rapport avec le Règlement sanitaire international (2005)
Année 2014
Justification Exigence
Observations Fin du projet. Demandé par le groupe consultatif du fonds fiduciaire
2014
Exigence
Se rapporte à la résolution WHA65.6 de l’Assemblée de la Santé Exigé en vertu de l’accord de collaboration
2015
Exigence
Examiné par le Conseil exécutif à sa cent trentetroisième session en mai 2013. Rapport de situation en 2015, évaluation indépendante complète en 2017 Demandé par l’Assemblée de la Santé dans la résolution WHA63.15 Demandé par l’Assemblée de la Santé dans la résolution WHA66.24 Examiné par le Conseil exécutif à sa cent vingtneuvième session Demandé par l’Assemblée générale des Nations Unies dans la résolution A/RES/67/226
20152016 20152016 20142015 2015
Exigence
Exigence Exigence Exigence
2015
Exigence Importance
Engagement régional. Plusieurs pays évalueront leur programme national
2015
Exigence Importance
Engagement mondial, initiatives régionales/internationales telles que la stratégie de l’Asie et du Pacifique concernant les maladies émergentes, la surveillance et l’action intégrées concernant les maladies au niveau régional, et le Réseau mondial d’alerte et d’action en cas d’épidémies Envisagé dans la politique d’évaluation de l’OMS
Mise en œuvre de la politique d’évaluation de l’OMS
2015
Exigence
9
EB134/38
Annexe 3
Domaines d’évaluation Tuberculose multirésistante et ultrarésistante
Année 2015
Justification Exigence Importance
Observations Demandé par l’Assemblée de la Santé dans la résolution WHA62.15. Importance élevée. Plusieurs pays évaluent une partie ou l’intégralité du programme national Importance élevée. Plusieurs pays évaluent le programme national Importance élevée. Plusieurs pays évaluent le programme national Évaluation de la réforme de l’OMS, troisième étape En rapport avec plusieurs résolutions de l’Assemblée mondiale de la Santé ;1 consultations avec la direction Sous réserve de consultations avec la direction Sous réserve de consultations avec la direction Sous réserve de consultations avec la direction Sous réserve de consultations avec la direction
Activité normative de l’OMS concernant le paludisme Salubrité de l’environnement Leadership et gestion à l’OMS Fonction normative de l’OMS
2015 2015 2015 2014
Importance Importance Importance Utilité
Recrutement à l’OMS Présence de l’OMS dans les pays Mobilité et roulement dans la Région du Pacifique occidental Utilisation d’administrateurs recrutés sur le plan national au niveau des pays Partenariats et accords de collaboration Renforcement de la capacité nationale par l’OMS (formation)
2014 2014 2014 2015
Utilité Utilité Utilité Utilité
2015 2015
Utilité Utilité
Sous réserve de consultations avec la direction Sous réserve de consultations avec la direction
=
=
=
1 Par exemple, la résolution WHA62.14, Réduire les inégalités en matière de santé par une action sur les déterminants sociaux de la santé et la résolution WHA65.3, Renforcement des politiques de lutte contre les maladies non transmissibles pour promouvoir un vieillissement actif.
10