CONSEIL EXÉCUTIF Cent trentième et unième session Point 5 de l’ordre du jour provisoire
EB131/3 3 mai 2012
Réforme de l’OMS Projet de politique d’évaluation formelle
1. À sa session extraordinaire de novembre 2011, le Conseil exécutif a prié le Directeur général d’élaborer une politique d’évaluation formelle, incluant un mécanisme de surveillance de l’évaluation par les organes directeurs qui tienne compte des travaux du Comité consultatif indépendant d’experts de la Surveillance, et de faire rapport sur ce sujet au Conseil exécutif à sa cent trentième session en janvier 2012.1 2. Le Secrétariat a dûment présenté un projet de politique formelle de l’évaluation à l’OMS2 au Conseil à sa cent trentième session. Les membres du Conseil ont exprimé un appui considérable en faveur de la politique d’évaluation décrite dans le document EB130/5 Add.8 visant à renforcer la culture de l’évaluation interne à l’OMS. Les États Membres ont été invités à fournir des observations plus détaillées sur le projet de politique dans le cadre des consultations en cours sur la réforme de l’OMS. 3. La politique d’évaluation révisée, figurant ci-après, a donc tenu compte de l’issue des délibérations des États Membres pendant la session du Conseil exécutif de janvier 2012, des communications des États Membres lors des consultations spéciales sur la réforme de l’OMS qui ont eu lieu sur le site Web, et des délibérations du Comité consultatif indépendant d’experts de la Surveillance.3
CONTEXTE 4. L’OMS a élaboré, en 2002, un cadre d’administration des programmes axé sur le suivi, l’évaluation et l’établissement de rapports. Ces orientations envisageaient l’évaluation dans le cadre des principes de la gestion fondée sur les résultats et distinguaient quatre types d’évaluation dans le cadre de l’action de l’OMS : a) l’évaluation de l’exécution du budget programme (rapport sur l’appréciation de l’exécution en fin d’exercice) ;
1 2 3
Voir la décision EBSS2(3), alinéa 3.d). Voir le document EB130/5 Add.8. Voir le document EBPBAC16/3.
EB131/3
b) c) d)
l’évaluation programmatique ; l’évaluation thématique ; l’évaluation par pays.
5. En 2006, des lignes directrices relatives à l’évaluation ont été élaborées pour préciser le champ d’application et les responsabilités concernant l’évaluation à l’OMS et, en particulier, pour orienter les travaux du Bureau des services de contrôle interne. 6. Ces huit dernières années, le Secrétariat a demandé davantage d’évaluations programmatiques, thématiques et par pays pour l’ensemble de l’Organisation. Cependant, d’un point de vue institutionnel plus large, il a moins bien réussi à promouvoir une culture de l’évaluation, à développer les capacités d’évaluation à tous les niveaux de l’Organisation et à appliquer des approches participatives de l’évaluation. Ceci s’explique par les dispositions institutionnelles relatives à l’évaluation (notamment l’absence de mécanisme direct de contrôle par les organes directeurs) et l’absence d’allocation budgétaire effective pour financer l’évaluation. La plupart des évaluations au sein de l’OMS sont encore demandées par les programmes techniques. 7. La politique d’évaluation a été élaborée sur la base des meilleures pratiques, de l’expérience de l’OMS et des travaux du Groupe des Nations Unies pour l’évaluation.1
BUT 8. La présente politique vise à favoriser une culture de l’évaluation et l’évaluation proprement dite au sein de l’Organisation, à définir le cadre général de l’évaluation à l’OMS, et à faire en sorte que l’évaluation à l’OMS2 soit conforme aux meilleures pratiques et aux normes et règles d’évaluation du Groupe des Nations Unies pour l’évaluation. 9. Le cadre de responsabilisation de l’OMS prévoit plusieurs types d’évaluation, que l’Organisation considère tous comme cruciaux pour l’élaboration des programmes et l’apprentissage institutionnel. Cette politique ne couvre que les évaluations proprement dites et ne tient pas compte des autres formes d’évaluation menées à l’OMS (par exemple suivi, appréciation de l’exécution, enquêtes, et vérification des comptes).
DÉCLARATION DE PRINCIPE 10. L’évaluation, fonction essentielle de l’OMS, a lieu aux trois niveaux de l’Organisation. Elle est un gage de responsabilisation et de supervision des performances et des résultats, et renforce l’apprentissage institutionnel afin d’aider les décideurs à élaborer des politiques et de soutenir l’apprentissage individuel.
Le Groupe a entrepris de définir des normes et des règles d’évaluation pour faire suite à la résolution 59/250 (2004) de l’Assemblée générale des Nations Unies. Cette politique remplace les orientations précédentes et les lignes directrices de l’OMS pour l’évaluation (WHO/IOS/06.2, juillet 2006). 2
1
2
EB131/3
DÉFINITION DE L’ÉVALUATION 11. « L’évaluation a pour objet d’apprécier, de manière aussi systématique et impartiale que possible, une activité, un projet, un programme, une stratégie, une politique, un sujet, un thème, un secteur, un domaine opérationnel, une performance institutionnelle (...). »1 a) Elle est axée sur les résultats escomptés et sur les résultats obtenus, elle examine la chaîne des résultats, les processus, les facteurs contextuels et le lien de causalité, afin d’appréhender les réalisations ou l’absence de celles-ci. b) Elle vise à déterminer la pertinence, l’impact, l’efficacité, l’efficience et la durabilité des interventions et contributions de l’Organisation. c) Elle fournit, à partir d’éléments démontrables, des renseignements crédibles, fiables et utiles, et permet d’intégrer en temps utile les conclusions, recommandations et enseignements dans le processus décisionnel de l’Organisation. d) Elle fait partie intégrante de chaque étape du cycle de programmation ; il ne s’agit pas seulement d’une activité de fin de programme.
PRINCIPES ET NORMES2 12. La présente politique fournit un cadre applicable à la fonction et aux processus d’évaluation pour assurer l’application systématique des principes essentiels de l’évaluation à l’OMS. Les principes essentiels ci-dessous, liés les uns aux autres, constituent la base de l’approche de l’évaluation à l’OMS.
Impartialité 13. L’impartialité est l’absence de parti pris durant le processus, qui doit être mené avec une grande rigueur méthodologique, dans la prise en considération et la présentation des résultats et des défis. L’impartialité augmente la crédibilité de l’évaluation et réduit les partis pris dans la collecte des données, l’analyse, les constatations, les conclusions et les recommandations. 14. Toutes les évaluations doivent, à chaque stade, être menées avec impartialité. Un groupe de gestion de l’évaluation va être créé pour chaque évaluation afin d’assurer la supervision du processus.
Définition figurant dans le document du Groupe des Nations Unies pour l’évaluation intitulé Normes d’évaluation applicables dans le système des Nations Unies (document UNEG/FN/Norms(2005)), http://www.uneval.org/papersandpubs/documentdetail.jsp?doc_id=21 (consulté le 14 décembre 2011). Voir le document du Groupe des Nations Unies pour l’évaluation intitulé Normes d’évaluation applicables dans le système des Nations Unies (document UNEG/FN/Norms(2005)), http://www.uneval.org/papersandpubs/documentdetail.jsp?doc_id=21 (consulté le 14 décembre 2011), et OCDE/Comité de l’Aide au Développement. Principles for evaluation of development assistance. Paris, Organisation de Coopération et de Développement économiques, 1991, http://www.oecd.org/dataoecd/31/12/2755284.pdf (consulté le 14 décembre 2011). 2
1
3
EB131/3
Indépendance 15. L’indépendance est l’absence de contrôle ou d’influence inappropriée de tiers. Elle confère à l’évaluation sa légitimité et réduit les possibilités de conflits d’intérêts qui pourraient survenir si les décideurs et les responsables étaient les seuls chargés d’évaluer leurs propres activités. 16. L’indépendance doit être assurée aux niveaux de l’organisation, des fonctions et des comportements. Au niveau de l’organisation, on ne peut pas confier la fonction d’évaluation aux personnes chargées de la conception et de la mise en œuvre des programmes et des opérations évalués. Au niveau des fonctions, il doit y avoir des mécanismes pour garantir l’indépendance de la planification, du financement et de l’établissement de rapports concernant les évaluations. Au niveau des comportements, il doit y avoir un code de conduite fondé sur l’éthique destiné à prévenir ou à gérer correctement les conflits d’intérêts. 17. Les évaluateurs ne doivent pas être directement responsables de la politique, de la conception ou de la gestion globale relatives au sujet qu’ils examinent. Le personnel de l’OMS qui effectue les évaluations doit respecter des principes d’éthique et les règles de conduite énoncées dans le recueil des politiques et des pratiques de l’OMS. Les intervenants extérieurs doivent respecter les exigences de l’OMS en matière d’engagement contractuel. Les évaluateurs doivent être d’une intégrité professionnelle et personnelle irréprochable pendant toute l’évaluation. Ils doivent veiller à ce que les évaluations tiennent compte des sexospécificités et de l’équité et doivent être attentifs à certains facteurs contextuels, par exemple aux croyances, aux us et coutumes des environnements sociaux et culturels dans lesquels ils effectuent leur évaluation. 18. La politique relative à la dénonciation d’abus et les autres politiques pertinentes doivent protéger les membres du personnel qui participent aux évaluations des représailles ou autres répercussions.
Utilité 19. L’utilité se rapporte à l’impact de l’évaluation sur la prise de décisions. Pour que l’évaluation soit utile, ses constatations doivent être pertinentes et présentées de manière claire et concise, et la mise en œuvre doit faire l’objet d’un suivi. En outre, elle doit avoir lieu en temps voulu et répondre aux besoins du programme et des parties prenantes, les processus et les produits doivent être crédibles et les rapports doivent être accessibles. 20. Dans un souci d’utilité, les divers éléments du programme d’évaluation seront systématiquement hiérarchisés selon des critères préalablement établis, les parties concernées seront consultées, les recommandations feront l’objet d’un suivi systématique, les résultats de l’évaluation seront accessibles au public et l’alignement sur le cadre de gestion fondé sur les résultats sera assuré.
Qualité 21. La qualité se rapporte à l’application appropriée des critères d’évaluation, à la présentation et à l’analyse impartiales des données et à la cohérence entre les constatations, les conclusions et les recommandations. 22. La qualité sera garantie par : a) le respect constant de la méthodologie d’évaluation de l’OMS, des lignes directrices applicables et des normes et règles d’évaluation du Groupe des Nations Unies pour l’évaluation ; b) la supervision dont sera chargé le groupe de gestion de l’évaluation ; et 4
EB131/3
c) l’examen croisé du rapport d’évaluation, lorsqu’il se justifiera. D’autres mécanismes, tels que des méta-évaluations périodiques, seront également envisagés.
Transparence 23. Pour que l’évaluation soit transparente, les parties concernées doivent en connaître le motif et être informées des critères de sélection appliqués et de la suite qui sera donnée aux constatations. La transparence du processus est également importante, tout autant que la possibilité d’accéder aux documents et aux résultats relatifs à l’évaluation. 24. Pour assurer la transparence, le demandeur veillera à ce que les parties concernées soient toujours consultées, à tous les stades de l’évaluation. Le rapport d’évaluation présentera en détail les méthodologies et les approches appliquées, ainsi que les sources d’information utilisées et les dépenses engagées. Conformément à la politique de l’OMS relative à la divulgation de l’information, les plans, les rapports, les réponses de l’administration et les rapports de suivi concernant l’évaluation seront rendus publics sur le site Web de l’OMS consacré à l’évaluation.
TYPES D’ÉVALUATION 25. Le Secrétariat de l’OMS demande les principaux types d’évaluation suivants : a) Les évaluations thématiques, qui portent sur un sujet précis, par exemple une nouvelle méthode de travail, une stratégie, un thème transversal ou une fonction essentielle, ou sur une question nouvelle de nature institutionnelle. Les évaluations thématiques donnent des informations sur la pertinence, l’efficacité, la pérennité et l’applicabilité au sens large. Elles exigent d’analyser un sujet en profondeur et portent sur l’ensemble des structures institutionnelles. Ces évaluations peuvent concerner l’Organisation dans son ensemble, plusieurs bureaux ou un seul bureau de l’OMS. b) Les évaluations programmatiques, qui portent sur un programme en particulier. Ce type d’évaluation permet de comprendre en profondeur comment et pourquoi les résultats, dont elle étudie la pertinence, l’efficacité, la pérennité et l’efficience, ont été obtenus sur plusieurs années. Les évaluations programmatiques portent sur les réalisations relatives à la chaîne de résultats de l’OMS et exigent une analyse systématique du programme examiné. Les évaluations programmatiques peuvent être de portée nationale, interrégionale ou mondiale. c) Les évaluations par bureau sont axées sur des activités de l’Organisation dans un pays, une Région ou au Siège, par rapport à ses objectifs et à ses engagements. 26. Le Conseil exécutif peut, s’il le souhaite, demander aussi une évaluation de tout aspect de l’OMS.
ÉVALUATIONS EXTERNES 27. Les organes directeurs peuvent demander que des évaluations soient effectuées par des évaluateurs externes indépendants du Secrétariat. D’autres parties prenantes, telles que les États Membres, les donateurs ou les partenaires, peuvent aussi demander des évaluations externes des
5
EB131/3
activités de l’OMS afin d’évaluer la performance et la responsabilisation de l’Organisation ou de s’assurer de la fiabilité de ses activités. 28. Le Secrétariat coopérera pleinement aux évaluations externes en divulguant les informations appropriées et en facilitant leur exécution. Une fois disponibles, les résultats des évaluations externes seront publiés sur le site Web de l’OMS consacré à l’évaluation.
PLANIFICATION ET HIÉRARCHISATION DES ÉVALUATIONS 29. L’OMS élaborera, pour l’ensemble de l’Organisation, un plan de travail biennal pour l’évaluation s’inscrivant dans le cadre de son cycle de planification et de budgétisation. 30. Ce plan de travail sera établi en consultation avec la direction au Siège et dans les Régions ainsi qu’avec les chefs de bureaux de l’OMS dans les pays, zones et territoires, sur la base de critères définis. Le plan de travail biennal sera actualisé chaque année sur la base du rapport annuel du Comité du Programme, du Budget et de l’Administration du Conseil exécutif et sera soumis au Conseil exécutif pour approbation par l’intermédiaire du Comité. 31. Les catégories ci-après seront examinées lors de l’établissement des critères1 applicables au choix des sujets à évaluer : • Exigences de l’Organisation concernant : les engagements aux niveaux mondial, international ou régional ; des accords particuliers avec certaines parties prenantes, certains partenaires ou donateurs ; les demandes des organes directeurs. • L’importance pour l’Organisation compte tenu : des priorités du programme général de travail et des fonctions essentielles ; du niveau d’investissement ; des risques inhérents ; des questions de performance ou des préoccupations en rapport avec les résultats escomptés. • L’utilité pour l’Organisation par rapport à : un thème général, une question programmatique ou de politique ; le potentiel d’acquisition de connaissances pour le personnel ou l’institution (innovation) ; l’avantage comparé de l’OMS.
MÉTHODOLOGIE D’ÉVALUATION 32. Voici les principaux éléments du processus d’évaluation.2
Conception 33. Le mandat doit comporter des informations détaillées sur les éléments suivants : a) 1
le contexte de l’évaluation ;
On se reportera au manuel d’évaluation de l’OMS pour de plus amples indications sur les critères de sélection On se reportera au manuel d’évaluation de l’OMS pour des indications supplémentaires.
détaillés. 2
6
EB131/3
b)
le but et les objectifs de l’évaluation ;
c) la portée et le lien avec le budget programme et le programme général de travail (ce qui est couvert par l’évaluation et ce qui ne l’est pas) ; d) les critères d’évaluation (notamment la pertinence, l’impact, l’efficience, l’efficacité et la pérennité) et les principales questions posées par l’évaluation ; e) les destinataires (le responsable et les utilisateurs) des résultats de l’évaluation ;
f) la méthodologie (approche de collecte et d’analyse des données et participation des parties prenantes) ; g) l’équipe d’évaluation (effectifs, connaissances, compétences et qualifications) ;
h) le plan de travail détaillé (y compris le calendrier, les modalités d’organisation et le budget) ; i) les résultats de l’évaluation (y compris le rapport, la stratégie choisie pour sa distribution et le suivi) ; j) le groupe spécial de gestion de l’évaluation (y compris les exigences relatives au personnel technique).
Groupe spécial de gestion de l’évaluation 34. Quand l’ampleur et la complexité de l’évaluation l’exigeront, un groupe spécial de l’évaluation sera créé par le responsable de l’évaluation pour faciliter le déroulement et le contrôle de qualité de l’évaluation. Ce groupe pourra être composé d’experts extérieurs et/ou de membres du personnel de l’OMS. Il sera chargé d’examiner le mandat et le projet de rapport et de faire des observations. Le groupe devra être informé de l’avancement des travaux et devra être en mesure de répondre aux demandes de renseignements de l’équipe d’évaluation et de lui communiquer des suggestions pour examen.
Sélection des membres de l’équipe 35. Lors de la sélection des membres de l’équipe, on tiendra compte des éléments suivants : a) les compétences techniques et sectorielles ;
b) une compréhension et une expérience approfondies de la méthodologie d’évaluation quantitative et qualitative ; c) l’expérience des examens et des évaluations.
36. Le processus de sélection doit permettre de s’assurer qu’il n’y a pas de conflits d’intérêts pour aucun membre de l’équipe.
7
EB131/3
37. Le chef de l’équipe d’évaluation doit gérer les relations entre les membres et assumer la responsabilité des résultats obtenus.
Rapport 38. L’évaluation doit absolument donner lieu à un rapport écrit. Le rapport final doit être structuré de façon logique et présenter des constatations, des conclusions, des enseignements et des recommandations s’appuyant sur des bases factuelles. 39. Le rapport doit : a) ne comporter que des informations qui présentent un intérêt compte tenu du but et des objectifs de l’évaluation ; b) c) d) e) préciser l’objectif de l’évaluation et inclure le mandat ; répondre aux principales questions énoncées dans le mandat ; décrire la méthodologie appliquée pour collecter et analyser les informations ; indiquer les limites éventuelles de l’évaluation ; et
f) présenter les éléments factuels sur lesquels reposent les conclusions, les enseignements et les recommandations.
FINANCEMENT DE L’ÉVALUATION1 40. Le Directeur général veillera à ce qu’il y ait des ressources suffisantes pour mettre en œuvre le plan de travail pour l’évaluation à l’échelle de l’Organisation. 41. Les Directeurs régionaux, les Sous-Directeurs généraux, les Directeurs et les chefs de bureaux de pays de l’OMS doivent veiller à disposer de ressources suffisantes pour mettre en œuvre les éléments du plan d’évaluation de l’Organisation qui leur incombe. Le plan de travail opérationnel du programme doit prévoir un budget approprié pour l’évaluation, lequel doit être discuté, le cas échéant, avec les parties prenantes pendant la planification de chaque projet/programme/initiative. 42. En ce qui concerne le montant nécessaire pour financer l’évaluation de l’OMS, on a examiné des estimations fournies par d’autres organisations selon lesquelles 3 % à 5 % du budget programme devaient être consacrés à l’évaluation.
RESPONSABILISATION ET SUPERVISION 43. Le cadre de responsabilisation définit qui détient l’autorité, envers qui et pourquoi. Il précise également à qui les responsables doivent rendre des comptes et quelle est la portée de leur autorité. La 1
Les sources de financement des évaluations feront l’objet d’une autre étude.
8
EB131/3
présente section définit le rôle et les responsabilités1 des principaux acteurs de l’évaluation ainsi que le mécanisme de contrôle utilisé pour mettre en œuvre la politique d’évaluation.
Rôles et responsabilités 44. Le Conseil exécutif de l’OMS :2 a) b) c) déterminera la politique d’évaluation et ses modifications ultérieures, si nécessaire ; supervisera l’évaluation au sein de l’Organisation ; encouragera les évaluations dans le cadre de la planification et de la prise de décisions ;
d) participera à l’élaboration du plan de travail biennal à l’échelle de l’Organisation pour l’évaluation sur les points intéressant particulièrement les États Membres ; e) approuvera le plan de travail biennal pour l’évaluation à l’échelle de l’Organisation ;
f) examinera le rapport annuel sur la mise en œuvre du plan de travail biennal pour l’évaluation à l’échelle de l’Organisation, et en prendra note ; et g) révisera périodiquement la politique d’évaluation, selon les besoins.
45. Le Bureau des services de contrôle interne, garant de l’évaluation, est placé sous l’autorité directe du Directeur général. Il présente chaque année au Conseil exécutif, pour examen, un rapport sur les questions relatives à l’évaluation à l’OMS. En ce qui concerne l’évaluation, le Bureau est chargé des fonctions suivantes : a) il dirige l’élaboration d’un plan de travail biennal pour l’évaluation à l’échelle de l’Organisation ; b) il informe la direction sur les questions relatives à l’évaluation qui ont une importance pour l’ensemble de l’Organisation ; c) il facilite la prise en compte des constatations et des enseignements tirés de l’évaluation dans la planification des programmes ; d) e) f) il coordonne l’application du cadre d’évaluation aux trois niveaux de l’organisation ; il gère un système de suivi des réponses apportées par l’administration aux évaluations ; il gère une base de données en ligne des différentes évaluations effectuées à l’OMS ;
On se reportera au manuel d’évaluation de l’OMS pour de plus amples précisions sur les rôles et les responsabilités en la matière. Le Conseil exécutif de l’OMS et son organe subsidiaire, le Comité du Programme, du Budget et de l’Administration. 2
1
9
EB131/3
g)
il établit une liste d’experts ayant une expérience de l’évaluation ;
h) il fournit des orientations et des conseils pour la préparation, la conduite et le suivi des évaluations ; i) il revoit les rapports d’évaluation pour s’assurer qu’ils sont conformes à la politique ;
j) il renforce les capacités d’évaluation du personnel de l’OMS (par exemple en mettant à disposition des méthodologies standardisées ou en organisant une formation à l’évaluation) ; k) il soumet au Conseil exécutif, par le biais du Directeur général, un rapport annuel sur les activités d’évaluation ; et l) il soutient l’examen périodique et les mises à jour de la politique, selon les besoins.
UTILISATION DES RÉSULTATS DE L’ÉVALUATION Application et suivi des recommandations 46. Les recommandations qui figurent dans les rapports d’évaluation reflètent la valeur ajoutée par l’évaluation. Chaque évaluation doit être prise en charge par une personne désignée, par exemple le responsable d’un groupe, d’un programme, d’un bureau ou d’un projet, à qui il appartiendra d’utiliser les constatations issues de l’évaluation et d’élaborer un plan d’action et un calendrier pour la mise en œuvre des recommandations. 47. Le responsable de l’évaluation veillera à ce que l’administration apporte une réponse appropriée en temps voulu au Sous-Directeur général concerné au Siège, ou au Directeur régional dans les Régions et les pays. 48. Le Bureau des services de contrôle interne assurera le suivi systématique de la mise en œuvre des recommandations issues de l’évaluation, en coordination avec les responsables de l’évaluation. Le Bureau des services de contrôle interne publiera des rapports de situation périodiques sur l’état de la mise en œuvre des recommandations à l’intention de la direction, et présentera un rapport annuel au Conseil exécutif par l’intermédiaire du Comité du Programme, du Budget et de l’Administration.
Divulgation et diffusion des rapports d’évaluation 49. L’OMS doit mettre à disposition les rapports d’évaluation conformément à sa politique en matière de divulgation des informations. 50. Les enseignements tirés des évaluations seront résumés, rapportés et diffusés en fonction des besoins.
MESURES À PRENDRE PAR LE CONSEIL EXÉCUTIF 51. Le Conseil est invité à prendre note du présent projet de politique et à l’examiner en vue de son approbation. 10
=
=
=