CONSEIL EXÉCUTIF Cent trentième session Point 5 de l’ordre du jour provisoire
EB130/5 Add.8 22 décembre 2011
Réforme de l’OMS Politique d’évaluation de l’OMS
CONTEXTE 1. L’OMS a élaboré, en 2002, un cadre d’administration des programmes axé sur le suivi, l’évaluation et l’établissement de rapports. Ces orientations envisageaient l’évaluation dans le cadre des principes de la gestion fondée sur les résultats et distinguaient quatre types d’évaluation dans le cadre de l’action de l’OMS : a) l’évaluation de l’exécution du budget programme (rapport sur l’appréciation de l’exécution en fin d’exercice) ; b) c) d) l’évaluation programmatique ; l’évaluation thématique ; l’évaluation par pays.
2. En 2006, des lignes directrices relatives à l’évaluation ont été élaborées pour préciser le champ d’application et les responsabilités concernant l’évaluation à l’OMS et, en particulier, pour orienter les travaux du Bureau des services de contrôle interne. 3. Ces huit dernières années, le Secrétariat a demandé davantage d’évaluations programmatiques, thématiques et par pays pour l’ensemble de l’Organisation. Cependant, d’un point de vue institutionnel plus large, il a moins bien réussi à promouvoir une culture de l’évaluation, à développer les capacités d’évaluation à tous les niveaux de l’Organisation et à appliquer des approches participatives de l’évaluation. Ceci s’explique par les dispositions institutionnelles relatives à l’évaluation (notamment l’absence de mécanisme direct de contrôle par les organes directeurs) et l’absence d’allocation budgétaire effective pour financer l’évaluation. La plupart des évaluations au sein de l’OMS sont encore demandées par les programmes techniques.
EB130/5 Add.8
4. La politique d’évaluation a été élaborée sur la base des meilleures pratiques, de l’expérience de l’OMS et des travaux du Groupe des Nations Unies pour l’évaluation.1
BUT 5. La présente politique vise à favoriser une culture de l’évaluation et l’évaluation proprement dite au sein de l’Organisation, à proposer un cadre institutionnel d’évaluation consolidé aux trois niveaux de l’OMS et à faire en sorte que l’évaluation à l’OMS2 soit conforme aux meilleures pratiques et aux normes et règles d’évaluation du Groupe des Nations Unies pour l’évaluation. 6. Le cadre de responsabilisation de l’OMS prévoit plusieurs types d’évaluation, que l’Organisation considère tous comme cruciaux pour l’élaboration des programmes et l’apprentissage institutionnel. Cette politique ne couvre que les évaluations proprement dites et ne tient pas compte des autres formes d’évaluation menées à l’OMS (par exemple suivi, appréciation de l’exécution, enquêtes, examens des programmes et vérification des comptes).
DÉCLARATION DE PRINCIPE 7. L’évaluation, fonction essentielle de l’OMS, a lieu aux trois niveaux de l’Organisation. Elle est un gage de responsabilisation et de supervision des performances et des résultats, et renforce l’apprentissage institutionnel afin d’aider les décideurs à élaborer des politiques et de soutenir l’apprentissage individuel.
DÉFINITION DE L’ÉVALUATION 8. « L’évaluation a pour objet d’apprécier, de manière aussi systématique et impartiale que possible, une activité, un projet, un programme, une stratégie, une politique, un sujet, un thème, un secteur, un domaine opérationnel, une performance institutionnelle (...). »3 a) Elle est axée sur les résultats escomptés et sur les résultats obtenus, elle examine la chaîne des résultats, les processus, les facteurs contextuels et le lien de causalité, afin d’appréhender les réalisations ou l’absence de celles-ci. b) Elle vise à déterminer la pertinence, l’efficacité, l’efficience et la durabilité des interventions et contributions de l’Organisation.
Le Groupe a entrepris de définir des normes et des règles d’évaluation pour faire suite à la résolution A/RES/59/250 (2004) de l’Assemblée générale des Nations Unies. 2 Cette politique remplace les orientations précédentes et les lignes directrices de l’OMS pour l’évaluation (WHO/IOS/06.2, juillet 2006). 3 Définition figurant dans le document du Groupe des Nations Unies pour l’évaluation intitulé Normes d’évaluation applicables dans le système des Nations Unies (document UNEG/FN/Norms(2005)), http://www.uneval.org/papersandpubs/documentdetail.jsp?doc_id=21 (consulté le 22 décembre 2011).
1
2
EB130/5 Add.8
c) Elle fournit, à partir d’éléments démontrables, des renseignements crédibles, fiables et utiles et permet d’intégrer en temps utile les conclusions, recommandations et enseignements dans le processus décisionnel de l’Organisation. d) Elle fait partie intégrante de chaque étape du cycle de programmation ; il ne s’agit pas seulement d’une activité de fin de programme.
PRINCIPES ET NORMES1 9. La présente politique fournit un cadre pour assurer l’application systématique des principes essentiels à l’évaluation à l’OMS. Les principes essentiels ci-dessous, liés les uns aux autres, constituent la base de l’approche de l’évaluation à l’OMS.
Impartialité 10. L’impartialité est l’absence de parti pris durant le processus, qui doit être mené avec une grande rigueur méthodologique dans la prise en considération et la présentation des résultats et des défis. L’impartialité augmente la crédibilité de l’évaluation et réduit les partis pris dans la collecte des données, l’analyse, les constatations, les conclusions et les recommandations. 11. Toutes les évaluations doivent, à chaque stade, être menées avec impartialité. Un groupe de gestion de l’évaluation va être créé pour chaque évaluation afin d’assurer la supervision du processus.
Indépendance 12. L’indépendance est l’absence de contrôle ou d’influence inappropriée de tiers. Elle confère à l’évaluation sa légitimité et réduit les possibilités de conflits d’intérêts qui pourraient survenir si les décideurs et les responsables étaient les seuls chargés d’évaluer leurs propres activités. 13. L’indépendance doit être assurée aux niveaux de l’Organisation, des fonctions et des comportements. Au niveau de l’Organisation, on ne peut pas confier la fonction d’évaluation aux personnes chargées de la conception et de la mise en œuvre des programmes et des opérations évalués. Au niveau des fonctions, il doit y avoir des mécanismes pour garantir l’indépendance de la planification, du financement et de l’établissement de rapports concernant les évaluations. Au niveau des comportements, il doit y avoir un code de conduite fondé sur l’éthique destiné à prévenir ou à gérer correctement les conflits d’intérêts. 14. Les évaluateurs ne doivent pas être directement responsables de la politique, de la conception ou de la gestion globale relatives au sujet qu’ils examinent. Le personnel de l’OMS qui effectue les évaluations doit respecter des principes d’éthique et les règles de conduite énoncées dans le recueil des politiques et des pratiques de l’OMS. Les intervenants extérieurs doivent respecter les exigences de l’OMS en matière d’engagement contractuel. Les évaluateurs doivent être d’une intégrité
Voir le document du Groupe des Nations Unies pour l’évaluation intitulé Normes d’évaluation applicables dans le système des Nations Unies (document UNEG/FN/Norms(2005)), http://www.uneval.org/papersandpubs/documentdetail.jsp?doc_id=21 (consulté le 22 décembre 2011) et OCDE/Comité de l’Aide au Développement. Principles for Evaluation of Development Assistance. Paris, Organisation de Développement et Coopération économiques, 1991, http://www.oecd.org/dataoecd/31/12/2755284.pdf (consulté le 22 décembre 2011).
1
3
EB130/5 Add.8
professionnelle et personnelle irréprochable pendant toute l’évaluation. Ils doivent veiller à ce que les évaluations tiennent compte des sexospécificités et de l’équité et doivent être attentifs à certains facteurs contextuels, par exemple aux croyances, aux us et coutumes des environnements sociaux et culturels dans lesquels ils effectuent leur évaluation. 15. La politique relative à la dénonciation d’abus et les autres politiques pertinentes doivent protéger les membres du personnel qui participent aux évaluations des représailles ou autres répercussions.
Utilité 16. L’utilité se rapporte à l’impact de l’évaluation sur la prise de décisions. Pour que l’évaluation soit utile, ses constatations doivent être pertinentes et présentées de manière claire et concise, et la mise en œuvre doit faire l’objet d’un suivi. En outre, elle doit avoir lieu en temps voulu et répondre aux besoins du programme et des parties prenantes, les processus et les produits doivent être crédibles et les rapports doivent être accessibles. 17. Dans un souci d’utilité, les divers éléments du programme d’évaluation seront systématiquement hiérarchisés selon des critères préalablement établis, les parties concernées seront consultées, les recommandations feront l’objet d’un suivi systématique, les résultats de l’évaluation seront accessibles au public et l’alignement sur le cadre de gestion fondé sur les résultats sera assuré.
Qualité 18. La qualité se rapporte à l’application appropriée des critères d’évaluation, à la présentation et à l’analyse impartiales des données et à la cohérence entre les constatations, les conclusions et les recommandations. 19. La qualité sera garantie par : a) le respect constant de la méthodologie d’évaluation de l’OMS, des lignes directrices applicables et des normes et règles d’évaluation du Groupe des Nations Unies pour l’évaluation ; b) la supervision dont sera chargé le groupe de gestion de l’évaluation ; et c) l’examen croisé du rapport d’évaluation, lorsqu’il se justifiera. D’autres mécanismes, tels que des méta-évaluations périodiques, seront également envisagés.
Transparence 20. Pour que l’évaluation soit transparente, les parties concernées doivent en connaître le motif et être informées des critères de sélection appliqués et de la suite qui sera donnée aux constatations. La transparence du processus est également importante, tout autant que la possibilité d’accéder aux documents et aux résultats relatifs à l’évaluation. 21. Pour assurer la transparence, le demandeur veillera à ce que les parties concernées soient toujours consultées, à tous les stades de l’évaluation. Le rapport d’évaluation présentera en détail les méthodologies et les approches appliquées, ainsi que les sources d’information utilisées et les dépenses engagées. Conformément à la politique de l’OMS relative à la divulgation de l’information, les plans, les rapports, les réponses de l’administration et les rapports de suivi concernant l’évaluation seront rendus publics sur le site Web de l’OMS consacré à l’évaluation.
4
EB130/5 Add.8
TYPES D’ÉVALUATION 22. Le Secrétariat de l’OMS demande les principaux types d’évaluation suivants : a) Les évaluations thématiques, qui portent sur un sujet précis, par exemple une nouvelle méthode de travail, un thème transversal ou une fonction essentielle, ou sur une question nouvelle de nature institutionnelle. Les évaluations thématiques donnent des informations sur la pertinence, l’efficacité, la pérennité et l’applicabilité au sens large. Elles exigent d’analyser un sujet en profondeur et portent sur l’ensemble des structures institutionnelles. Ces évaluations peuvent concerner l’Organisation dans son ensemble, plusieurs bureaux ou un seul bureau de l’OMS. b) Les évaluations programmatiques, qui portent sur un programme en particulier. Ce type d’évaluation permet de comprendre en profondeur comment et pourquoi les résultats, dont elle étudie la pertinence, l’efficacité, la pérennité et l’efficience, ont été obtenus sur plusieurs années. Les évaluations programmatiques portent sur les réalisations relatives à la chaîne de résultats de l’OMS et exigent une analyse systématique du programme examiné. Les évaluations programmatiques peuvent être de portée nationale, interrégionale ou mondiale. c) Les évaluations par bureau sont des évaluations systématiques des activités de l’Organisation dans un pays, une Région ou au Siège, ou en collaboration avec l’un des trois, par rapport à ses objectifs et à ses engagements. 23. Le Conseil exécutif peut, s’il le souhaite, demander aussi une évaluation, interne ou externe, de tout aspect de l’OMS.
ÉVALUATIONS EXTERNES 24. Les organes directeurs peuvent demander que des évaluations soient effectuées par des évaluateurs externes indépendants du Secrétariat. D’autres parties prenantes, telles que les États Membres, les donateurs ou les partenaires, peuvent aussi demander des évaluations externes des activités de l’OMS afin d’évaluer la performance et la responsabilisation de l’Organisation ou de s’assurer de la fiabilité de ses activités. 25. L’OMS encourage la participation à des évaluations conjointes, auxquelles le Secrétariat coopérera pleinement en divulguant les informations appropriées et en facilitant ces évaluations. Une fois disponibles, les résultats de ces évaluations externes seront publiés sur le site Web de l’OMS consacré à l’évaluation.
PLANIFICATION ET HIÉRARCHISATION DES ÉVALUATIONS 26. Dans le cadre de son cycle de planification et de budgétisation, l’OMS va mettre au point, pour l’ensemble de l’Organisation, un plan de travail annuel pour l’évaluation. 27. Ce plan de travail sera établi en consultation avec la direction et avec le groupe de travail mondial sur l’évaluation, sur la base de critères définis, et sera soumis au Conseil exécutif pour approbation.
5
EB130/5 Add.8
MÉTHODOLOGIE D’ÉVALUATION 28. Voici les principaux éléments du processus d’évaluation.1
Conception 29. Le mandat doit comporter des informations détaillées sur les éléments suivants : a) b) c) le contexte de l’évaluation ; le but et les objectifs de l’évaluation ; la portée (ce qui est couvert par l’évaluation et ce qui ne l’est pas) ;
d) les critères d’évaluation (notamment la pertinence, l’efficience, l’efficacité et la pérennité) et les principales questions posées par l’évaluation ; e) les destinataires (le responsable et les utilisateurs) des résultats de l’évaluation ;
f) la méthodologie (approche de collecte et d’analyse des données et participation des parties prenantes) ; g) l’équipe d’évaluation (effectifs, connaissances, compétences et qualifications) ;
h) le plan de travail détaillé précisant le calendrier, les modalités d’organisation et le budget ; i) les résultats de l’évaluation (y compris le rapport, la stratégie choisie pour sa distribution et le suivi) ; j) le groupe de gestion de l’évaluation (y compris les exigences relatives au personnel technique).
Groupe de gestion de l’évaluation 30. Quand l’ampleur et la complexité de l’évaluation l’exigent, un groupe de référence sera créé pour faciliter le déroulement de l’évaluation. Ce groupe sera chargé d’examiner le mandat et le projet de rapport et de faire des observations. Le groupe devra être informé de l’avancement des travaux par le chef de l’équipe d’évaluation et devra être en mesure de répondre aux demandes de renseignements de l’équipe d’évaluation. Au fur et à mesure de la progression de l’évaluation, le groupe peut communiquer à l’équipe d’évaluation de nouvelles idées et suggestions pour examen.
Il est prévu de mettre au point un manuel d’évaluation de l’OMS afin de donner des orientations supplémentaires sur la méthodologie.
1
6
EB130/5 Add.8
Sélection des membres de l’équipe 31. Lors de la sélection des membres de l’équipe, il faut tenir compte des éléments suivants : a) les compétences techniques et sectorielles ;
b) la compréhension profonde et l’expérience de la méthodologie d’évaluation quantitative et qualitative ; c) d) l’expérience des examens et des évaluations ; les compétences avérées d’analyse et de rédaction.
32. Le chef de l’équipe d’évaluation doit gérer les relations entre les membres et assumer la responsabilité des résultats obtenus. 33. Les membres de l’équipe doivent être sélectionnés de manière à ce qu’il n’y ait de conflits d’intérêts pour aucun d’entre eux. 34. L’évaluation doit absolument déboucher sur un rapport écrit. Le rapport final doit être structuré de façon logique et présenter des constatations, des conclusions, des enseignements et des recommandations s’appuyant sur des bases factuelles. 35. Le rapport doit : a) ne comporter que des informations qui présentent un intérêt compte tenu du but et des objectifs de l’évaluation ; b) c) d) e) préciser l’objectif de l’évaluation et inclure le mandat ; répondre aux principales questions énoncées dans le mandat ; décrire la méthodologie appliquée pour collecter et analyser les informations ; indiquer les limites éventuelles de l’évaluation ; et
f) présenter les éléments factuels sur lesquels reposent les conclusions, les enseignements et les recommandations.
FINANCEMENT DE L’ÉVALUATION1 36. Le Directeur général veillera à ce qu’il y ait des ressources suffisantes pour mettre en œuvre le plan de travail annuel pour l’évaluation.
1
Les sources de financement des évaluations feront l’objet d’une autre étude.
7
EB130/5 Add.8
37. Les Directeurs régionaux, les Sous-Directeurs généraux, les Directeurs et les chefs de bureaux de pays de l’OMS doivent veiller à disposer de ressources suffisantes pour mettre en œuvre les éléments du plan d’évaluation de l’Organisation qui leur incombe. Le plan de travail opérationnel du programme doit prévoir un budget approprié pour l’évaluation, lequel doit être discuté, le cas échéant, avec les parties prenantes pendant la planification de chaque projet/programme/initiative. 38. En ce qui concerne le montant nécessaire pour financer l’évaluation de l’OMS, on a examiné des estimations fournies par d’autres organisations selon lesquelles 3 % à 5 % du budget programme devaient être consacrés à l’évaluation.
RESPONSABILISATION ET SUPERVISION 39. Le cadre de responsabilisation définit qui détient l’autorité, envers qui et pourquoi. Il précise également à qui les responsables doivent rendre des comptes et quelle est la portée de leur autorité. La présente section définit le rôle et les responsabilités des principaux acteurs de l’évaluation ainsi que le mécanisme de contrôle utilisé pour mettre en œuvre la politique d’évaluation.
Rôles et responsabilités 40. Le Conseil exécutif de l’OMS :1 a) b) c) déterminera la politique d’évaluation et ses modifications ultérieures, si nécessaire ; supervisera l’évaluation au sein de l’Organisation ; encouragera les évaluations dans le cadre de la planification et de la prise de décisions ;
d) participera à l’élaboration du plan de travail annuel pour l’évaluation sur les points intéressant particulièrement les États Membres ; e) approuvera le plan de travail annuel pour l’évaluation de l’ensemble de l’Organisation ;
f) examinera le rapport annuel sur la mise en œuvre du plan de travail annuel pour l’évaluation de l’ensemble de l’Organisation, et en prendra note ; g) révisera périodiquement la politique d’évaluation, selon les besoins.
41. Le groupe de travail mondial sur l’évaluation est composé de membres du personnel qui s’attachent à promouvoir une culture de l’évaluation dans leur domaine, à faciliter l’échange d’informations et la gestion des connaissances concernant l’évaluation de l’OMS : a) en participant à la préparation du plan de travail annuel pour l’évaluation de l’ensemble de l’Organisation ;
Le Conseil exécutif de l’OMS et son organe subsidiaire, le Comité du Programme, du Budget et de l’Administration.
1
8
EB130/5 Add.8
b) en archivant les rapports d’évaluation pertinents dans la base de données concernant l’évaluation ; c) en contrôlant les informations relatives à la suite donnée par la direction aux recommandations issues de l’évaluation ; d) en conseillant les programmes de l’OMS sur les questions relatives à l’évaluation, le cas échéant. 42. Le Bureau des services de contrôle interne, garant de l’évaluation, est placé sous l’autorité directe du Directeur général et il présente, chaque année, au Conseil exécutif un rapport sur les questions relatives à l’évaluation à l’OMS, pour examen. En ce qui concerne l’évaluation, le Bureau des services de contrôle interne est chargé des fonctions suivantes : a) il dirige l’élaboration d’un plan de travail annuel pour l’évaluation de l’ensemble de l’Organisation, par le biais d’évaluations internes ou externes ; b) il informe la direction sur les questions relatives à l’évaluation qui ont une importance pour l’ensemble de l’Organisation ; c) il facilite la prise en compte des constatations et des enseignements tirés de l’évaluation dans la conception des programmes à l’OMS ; d) e) f) g) il réunit le groupe de travail mondial sur l’évaluation ; il gère un système de suivi des réponses apportées par l’administration aux évaluations ; il gère une base de données en ligne des différentes évaluations effectuées à l’OMS ; il établit une liste d’experts ayant une expérience de l’évaluation ;
h) il fournit des orientations sur la qualité pour la préparation, le déroulement et le suivi des évaluations décentralisées ; i) il veille à ce que les rapports d’évaluation soient conformes à la politique ;
j) il renforce les capacités d’évaluation du personnel de l’OMS (par exemple en mettant à disposition des méthodologies standardisées ou en organisant une formation à l’évaluation) ; k) il soumet au Conseil exécutif, par le biais du Directeur général, un rapport annuel sur les activités d’évaluation ; l) il soutient l’examen périodique et les mises à jour de la politique, selon les besoins.
9
EB130/5 Add.8
UTILISATION DES CONSTATATIONS ISSUES DE L’ÉVALUATION Application et suivi des recommandations 43. Les recommandations qui figurent dans le rapport d’évaluation reflètent la valeur ajoutée par l’évaluation. Chaque évaluation doit être prise en charge par une personne désignée, par exemple le responsable d’un groupe, d’un programme, d’un bureau ou d’un projet, à qui il appartiendra d’utiliser les constatations issues de l’évaluation et d’élaborer un plan d’action pour appliquer les recommandations. 44. Le responsable de l’évaluation veillera à ce que l’administration apporte une réponse appropriée en temps voulu au Sous-Directeur général concerné, au Siège, ou au Directeur régional dans les Régions et les pays. 45. Le Bureau des services de contrôle interne assurera le suivi systématique de la mise en œuvre des recommandations issues de l’évaluation, en coordination avec le groupe de travail mondial sur l’évaluation. Le Bureau des services de contrôle interne publiera des rapports de situation périodiques sur l’état de l’application des recommandations à l’intention de la direction, et présentera un rapport annuel au Conseil exécutif.
Divulgation et diffusion des rapports d’évaluation 46. L’OMS doit mettre à disposition les rapports d’évaluation conformément à sa politique en matière de divulgation des informations. 47. Les enseignements tirés des évaluations seront résumés, rapportés et diffusés en fonction des besoins.
MESURES À PRENDRE PAR LE CONSEIL EXÉCUTIF 48. Le Conseil est invité à prendre note du présent projet de politique et à l’examiner en vue de son approbation.
=
=
=
10