Le projet est terminé, mais nous pouvons encore en tirer des leçons ! Orientations pratiques pour l’évaluation a posteriori des projets de santé sexuelle et reproductive des adolescents

Le projet est terminé, mais nous pouvons encore en tirer des leçons! Orientations pratiques pour l’évaluation a posteriori des projets de santé sexuelle et reproductive des adolescents Département Santé reproductive et recherche Organisation mondiale de la Santé 20 avenue Appia 1211 Genève Suisse Télécopie : +41 22 791 4171 Adresse électronique : reproductivehealth@who.int Site Web : https://www.who.int/reproductivehealth/fr/

Le projet est terminé, mais nous pouvons encore en tirer des leçons! Orientations pratiques pour l’évaluation a posteriori des projets de santé sexuelle et reproductive des adolescents Le projet est terminé, mais nous pouvons encore en tirer des leçons ! Orientations pratiques pour l’évaluation a posteriori des projets de santé sexuelle et reproductive des adolescents [The project has ended but we can still learn from it! Practical guidance for conducting post-project evaluations of adolescent sexual and reproductive health projects] ISBN 978-92-4-001430-5 (version électronique) ISBN 978-92-4-001431-2 (version imprimée) © Organisation mondiale de la Santé 2020 Certains droits réservés. La présente publication est disponible sous la licence Creative Commons Attribution – Pas d’utilisation commerciale – Partage dans les mêmes conditions 3.0 Organisations internationales (CC BY-NC-SA 3.0 IGO ; https:// creativecommons.org/licenses/by-nc-sa/3.0/igo/deed.fr). Aux termes de cette licence, vous pouvez copier, distribuer et adapter l’oeuvre à des fins non commerciales, pour autant que l’oeuvre soit citée de manière appropriée, comme il est indiqué ci dessous. Dans l’utilisation qui sera faite de l’oeuvre, quelle qu’elle soit, il ne devra pas être suggéré que l’OMS approuve une organisation, des produits ou des services particuliers. L’utilisation de l’emblème de l’OMS est interdite. Si vous adaptez cette oeuvre, vous êtes tenu de diffuser toute nouvelle oeuvre sous la même licence Creative Commons ou sous une licence équivalente. Si vous traduisez cette oeuvre, il vous est demandé d’ajouter la clause de non responsabilité suivante à la citation suggérée : « La présente traduction n’a pas été établie par l’Organisation mondiale de la Santé (OMS). L’OMS ne saurait être tenue pour responsable du contenu ou de l’exactitude de la présente traduction. L’édition originale anglaise est l’édition authentique qui fait foi ». Toute médiation relative à un différend survenu dans le cadre de la licence sera menée conformément au Règlement de médiation de l’Organisation mondiale de la propriété intellectuelle (http://www.wipo.int/amc/en/mediation/rules/). Citation suggérée. Le projet est terminé, mais nous pouvons encore en tirer des leçons ! Orientations pratiques pour l’évaluation a posteriori des projets de santé sexuelle et reproductive des adolescents [The project has ended but we can still learn from it! Practical guidance for conducting post-project evaluations of adolescent sexual and reproductive health projects]. Genève : Organisation mondiale de la Santé ; 2020. Licence : CC BY-NC-SA 3.0 IGO. Données de catalogage à la source. Les données de catalogage à la source sont disponibles à l’adresse https://apps.who.int/iris. Ventes, droits et licences. Pour acheter les publications de l’OMS, voir https://apps.who.int/bookorders. Pour soumettre une demande en vue d’un usage commercial ou une demande concernant les droits et licences, voir https://www.who.int/about/licensing. Matériel attribué à des tiers. Si vous souhaitez réutiliser du matériel figurant dans la présente oeuvre qui est attribué à un tiers, tel que des tableaux, figures ou images, il vous appartient de déterminer si une permission doit être obtenue pour un tel usage et d’obtenir cette permission du titulaire du droit d’auteur. L’utilisateur s’expose seul au risque de plaintes résultant d’une infraction au droit d’auteur dont est titulaire un tiers sur un élément de la présente oeuvre. Clause générale de non-responsabilité. Les appellations employées dans la présente publication et la présentation des données qui y figurent n’impliquent de la part de l’OMS aucune prise de position quant au statut juridique des pays, territoires, villes ou zones, ou de leurs autorités, ni quant au tracé de leurs frontières ou limites. Les traits discontinus formés d’une succession de points ou de tirets sur les cartes représentent des frontières approximatives dont le tracé peut ne pas avoir fait l’objet d’un accord définitif. La mention de firmes et de produits commerciaux ne signifie pas que ces firmes et ces produits commerciaux sont agréés ou recommandés par l’OMS, de préférence à d’autres de nature analogue. Sauf erreur ou omission, une majuscule initiale indique qu’il s’agit d’un nom déposé. L’Organisation mondiale de la Santé a pris toutes les précautions raisonnables pour vérifier les informations contenues dans la présente publication. Toutefois, le matériel publié est diffusé sans aucune garantie, expresse ou implicite. La responsabilité de l’interprétation et de l’utilisation dudit matériel incombe au lecteur. En aucun cas, l’OMS ne saurait être tenue responsable des préjudices subis du fait de son utilisation. Réalisation graphique et mise en page : L’IV Com Sàrl Table des matières Remerciements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iv Abréviations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . v 1. Présentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2. Comment ces orientations ont-elles été mises au point ? . . . . . . . . . . . . . . . . . . . . . . . . . . 2 3. À qui s’adressent ces orientations ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 4. Qu’est-ce qu’une évaluation postprojet ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 5. Pourquoi les évaluations postprojet sont-elles nécessaires ? . . . . . . . . . . . . . . . . . . . . . . . 6 6. Quels sont les motifs et avantages courants de procéder à une évaluation a posteriori d’un projet de santé sexuelle et reproductive des adolescents ? . . . . . . . . . . 7 7 À quoi s’attendre lors de la planification et de la réalisation d’une évaluation postprojet ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 8. Étapes de planification d’une évaluation postprojet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 9. Difficultés courantes et stratégies pour y remédier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 9a. Définir la finalité et la portée de l’évaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 9b. Mettre sur pied l’équipe d’évaluation postprojet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 9c. Remédier au manque de données disponibles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 9d. Élaborer des stratégies d’échantillonnage réalisable . . . . . . . . . . . . . . . . . . . . . . . . . 32 9e. Tenir compte du contexte externe dans le cadre de l’évaluation . . . . . . . . . . . . . . 35 9f. Évaluer la pérennité et les résultats émergents et imprévus . . . . . . . . . . . . . . . . . . . . 38 10. Évaluer les principes transversaux liés aux projets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 10a. Développement positif des jeunes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 10b. Égalité entre les genres et droits humains . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 10c. Réduction de la pauvreté . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 11. Comment les évaluateurs, les responsables de programmes et les bailleurs de fonds peuvent-ils appuyer les évaluations postprojet ? . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 Références . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 Annexe A : Rapport d’analyse – Examen d’évaluations a posteriori de projets de santé sexuelle et reproductive des adolescents . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 Annexe B : Liste de contrôle d’évaluabilité postprojet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 Annexe C : Sites Web et centres d’échange d’informations en matière d’évaluation . . . . 58 ORIENTATIONS PRATIQUES POUR L’ÉVALUATION A POSTERIORI DES PROJETS DE SANTÉ SEXUELLE ET REPRODUCTIVE DES ADOLESCENTS i i i Remerciements L’Organisation mondiale de la Santé (OMS) est reconnaissante pour le concours apporté par de nombreuses personnes et organisations à l’élaboration des présentes orientations. La coordination des présentes orientations a été assurée par Venkatraman Chandra-Mouli, du Département Santé reproductive et recherche, avec l’appui de Marina Plesons et le suivi de Lale Say. L’OMS exprime ses sincères remerciements à Susan Igras, qui s’est chargée de l’examen de la littérature existante et de la première ébauche des présentes orientations. L’OMS tient également à remercier les personnes suivantes, qui ont pris part à une consultation technique organisée au sujet des présentes orientations, ont examiné la première version et les versions suivantes des orientations et offert leurs commentaires : Susanne Carai, Sarah Castle, Bregje de Kok, Fariyal Fikree, Kylie Hutchinson, Emma Jackson, Rebecka Lundgren, Bella Mansanya, Kristien Michielsen, Ghazaleh Samandari, Shantanu Sharma, Manahil Siddiqi et Judith Westeneng. Enfin, l’OMS remercie Vivien Stone pour la révision du document, L’IV Com pour la réalisation graphique et Graham Ogilvie pour les illustrations. La présente œuvre a bénéficié du financement de la Fondation John D. et Catherine T. MacArthur. Les points de vue des bailleurs de fonds n’ont pas influencé le contenu des présentes orientations. LE PROJET EST TERMINÉ, MAIS NOUS POUVONS ENCORE EN TIRER DES LEÇONS !iv Abréviations ALNAP Réseau d’apprentissage actif pour la redevabilité et la performance dans l’action humanitaire CiDA Agence canadienne d’aide au développement CAD Comité d’aide au développement (OCDE) iPPF Fédération internationale pour la planification familiale JiCA Agence japonaise de coopération internationale OCDE Organisation de coopération et de développement économiques QUiP Protocole d’évaluation de l’impact qualitatif UNiCEF Fonds des Nations Unies pour l’enfance OMS Organisation mondiale de la Santé ORIENTATIONS PRATIQUES POUR L’ÉVALUATION A POSTERIORI DES PROJETS DE SANTÉ SEXUELLE ET REPRODUCTIVE DES ADOLESCENTS v

Présentation 1 Dans de nombreux pays, les initiatives visant à améliorer la santé sexuelle et reproductive des adolescents1 mettent en œuvre leurs projets sans élaborer de plans d’évaluation appropriés. Différentes raisons expliquent ce phénomène, parmi lesquelles on peut citer le manque de formation et la conscience limitée quant à la valeur de l’évaluation, ainsi que les ressources limitées en matière d’évaluation au sein des entités techniques et de mise en œuvre. Il en résulte qu’il n’existe pas toujours de données initiales et finales sur le projet, tout comme il se peut qu’il n’y ait pas de comparaison entre le secteur couvert par le projet et un autre secteur où il n’a pas été mis en œuvre, ou que les données de suivi de la mise en œuvre ne fournissent pas beaucoup d’informations sur la qualité et sur d’autres incidences et résultats plus difficiles à quantifier. Le manque d’évaluation qui s’ensuit limite la capacité à démontrer ce que le projet a permis d’accomplir, quelles approches ont fonctionné et quelles autres approches se sont avérées inefficaces, privant ainsi les parties prenantes d’enseignements cruciaux. Les responsables ou bailleurs de fonds souhaitant concevoir de futurs projets ou élargir les projets existants peuvent néanmoins commander ultérieurement une évaluation postprojet afin d’évaluer l’impact et les leçons tirées dans les mois ou années suivant la fin du projet. De nombreux projets portant sur la santé sexuelle et reproductive des adolescents rencontrent des problèmes d’ordre politique et programmatique, qu’ils s’attachent à résoudre. Ce faisant, ils tirent des enseignements précieux. Or, étant donné qu’une documentation minutieuse et une évaluation rigoureuse sont l’exception plutôt que la norme, les leçons tirées grâce à ces efforts ne sont pas extraites et mises sur la place publique. Les évaluations menées après la fin des projets peuvent dès lors compléter les études prospectives en vue de projets nouveaux ou de suivi. Toutefois, il n’existe pas d’orientations ni de littérature sur les évaluations postprojet, et les orientations techniques d’organismes de financement sur la réalisation d’évaluations a posteriori sont très rares. C’est dans le souci de combler cette lacune que l’Organisation mondiale de la Santé a élaboré les présentes orientations pratiques pour la réalisation d’évaluations a posteriori de projets de santé sexuelle et reproductive des adolescents. 1 L’OMS définit les adolescents comme les personnes âgées de 10 à 19 ans. ORIENTATIONS PRATIQUES POUR L’ÉVALUATION A POSTERIORI DES PROJETS DE SANTÉ SEXUELLE ET REPRODUCTIVE DES ADOLESCENTS 1 2 Il a été procédé à un examen de la littérature existante afin de comprendre les raisonnements, difficultés et solutions courants en matière d’évaluation postprojet. Cet examen a couvert les éléments suivants :  articles de littérature grise et soumis à un comité de lecture et rapports d’évaluation a posteriori de projets de santé sexuelle et reproductive des adolescents, identifiés au moyen d’une recherche menée dans sept centres d’échange d’informations d’évaluation de pays à revenu faible et intermédiaire entre 2010 et 2017 (annexe A) ; et  examen de directives d’évaluation postprojet publiées par des organismes internationaux, des pouvoirs publics et des organismes de développement. L’OMS a ensuite invité des spécialistes à participer à une consultation technique afin de passer en revue la première version des orientations et de fournir leurs commentaires, à la suite de quoi le document a été révisé et finalisé. Comment ces orientations ont-elles été mises au point ? LE PROJET EST TERMINÉ, MAIS NOUS POUVONS ENCORE EN TIRER DES LEÇONS !2 3 Si elles s’adressent avant tout aux évaluateurs, les présentes orientations peuvent également s’avérer utiles pour les gestionnaires de projets et les bailleurs de fonds. Elles ont pour finalité d’aider les évaluateurs à réfléchir aux décisions clés à prendre pour permettre une évaluation la plus rigoureuse possible compte tenu des ressources humaines et financières et de la documentation disponible sur le projet concerné. Les présentes orientations présentent des difficultés, conseils et enseignements tirés de la littérature sur les évaluations postprojet dont s’inspirer pour les évaluations futures. Elles contiennent par ailleurs des études de cas qui mettent en lumière certains des problèmes recensés ainsi que les mesures prises par les évaluateurs face à ces difficultés. Bien qu’elles portent essentiellement sur l’évaluation postprojet, les présentes orientations peuvent également servir aux évaluateurs chargés de l’évaluation finale d’un projet lorsque celle-ci n’a pas été planifiée d’emblée ou lorsque le centrage a été modifié en cours de projet. À qui s’adressent ces orientations ? ORIENTATIONS PRATIQUES POUR L’ÉVALUATION A POSTERIORI DES PROJETS DE SANTÉ SEXUELLE ET REPRODUCTIVE DES ADOLESCENTS 3 4 Il n’existe pas de définition commune de l’évaluation postprojet, et de nombreux termes sont couramment utilisés pour s’y référer (voir l’encadré 1). Nous utilisons une définition empruntée à l’Agence japonaise de coopération internationale (JICA), qui décrit ce type d’évaluation, ses objectifs et la manière d’y procéder : Les évaluations postprojet sont effectuées dans un délai donné après la fin d’un projet, la plupart n’étant pas planifiées au stade de l’exécution du projet. Étant donné que le personnel qui a participé au projet n’est plus nécessairement disponible et qu’il est impossible d’observer les activités du projet, l’évaluation postprojet repose sur les rapports existants, les documents de suivi et d’autres informations écrites, et suppose souvent de collecter des données supplémentaires. Ces évaluations peuvent examiner la mesure dans laquelle les projets ont mis en œuvre les activités prévues et les résultats escomptés ont été obtenus, toutefois, étant donné qu’elles ont lieu après la fin du projet, elles peuvent également se focaliser sur les effets à long terme et la pérennité. Les évaluations postprojet examinent de manière rétrospective les circonstances entourant un projet et d’autres éléments susceptibles d’avoir eu une incidence sur la mise en œuvre, l’impact et la pérennité des résultats. Cette définition met l’accent sur le moment auquel l’évaluation postprojet est réalisée et sur sa finalité afin de la démarquer des évaluations finales, qui sont menées lorsque les projets approchent de la fin – lorsque le personnel, les contreparties et les bénéficiaires du projet sont encore présents et que de nombreuses activités peuvent encore être observées afin d’en évaluer la qualité et la mesure dans laquelle les critères de mise en œuvre ont été respectés. La Figure 1 illustre la relation entre l’évaluation d’un projet, sa planification et sa mise en œuvre, et où et comment l’évaluation postprojet peut appuyer l’examen du projet et les leçons tirées. S’il est vrai que l’évaluation postprojet permet de répondre à de nombreuses questions courantes en matière d’évaluation, elle est en revanche particulièrement indiquée pour déterminer si les résultats du projet (tels que les améliorations au niveau de l’adaptation des services de santé sexuelle et reproductive aux adolescents ou le changement d’attitude à l’égard du genre) restent viables à terme, lorsque le soutien prend fin. Qu’est-ce qu’une évaluation postprojet ? LE PROJET EST TERMINÉ, MAIS NOUS POUVONS ENCORE EN TIRER DES LEÇONS !4 Différentes désignations de la notion d’évaluation postprojet • analyse après action • évaluation a posteriori • évaluation scientifique • évaluation après achèvement • évaluation post hoc • évaluation après mise en œuvre • examen après mise en œuvre • évaluation postprojet • évaluation rétrospective d’impact • évaluation d’impact sur la durabilité • évaluation des impacts durables et émergents Problème Conception du projet et plan Activités/ produits Résultats Effets/impact Résultats/impact postprojet Ressources/ intrants Pertinence et adéquation Le projet est-il justifié ? • Les objectifs du projet répondaient-ils au besoin ? • L’intervention du projet ciblait-elle les bons problèmes ? • Y a-t-il (encore) un besoin ? Efficacité Le projet a-t-il fonctionné ? • Le projet a-t-il atteint les objectifs/résultats visés ? • L’intervention reposait-elle sur des connaissances et recherches susceptibles d’accroître les chances de réussite ? Effets/impact • Le projet a-t-il valu la peine ? • Le projet est-il fondé ? Efficacité Le projet s’est-il avéré efficace ? • Quelle est la relation entre les intrants et les extrants du projet ? • Les ressources auraient-elles pu être mieux utilisées ? Processus entourant les interventions Le projet était-il bien géré ? • Les processus de planification et de prise de décision ont-ils garanti la réussite du projet ? • Les processus de gestion ont-ils garanti la réussite ? • Les processus de mise au point des activités ont-ils garanti leur réussite ? Facteurs contextuels et externes en dehors des limites du projet ayant pu influencer sa trajectoire Pérennité et effets imprévus et émergents • Les effets du projet sont-ils durables ? • Le projet s’est-il avéré aussi utile qu’espéré ? Figure 1. La logique d’un projet et sa relation avec les principaux thèmes d’évaluation Source : D’après Ryant et al., 2016. ORIENTATIONS PRATIQUES POUR L’ÉVALUATION A POSTERIORI DES PROJETS DE SANTÉ SEXUELLE ET REPRODUCTIVE DES ADOLESCENTS 5 5 Aujourd’hui encore, l’évaluation est variable et évolue en tant que responsabilité de l’État au sein des pouvoirs publics de nombreux pays (Banque mondiale, 2013), et l’évaluation des projets de développement social demeure un domaine de recherche émergent. Les évaluateurs travaillent souvent dans des contextes où les systèmes de données sont déficients et de multiples interventions compliquent l’évaluation des contributions du projet aux résultats. En cette époque d’exigences accrues de redevabilité des pouvoirs publics et des organisations, l’évaluation est de plus en plus vue comme un outil essentiel permettant de mesurer l’impact des interventions et des investissements (Morra-Imas et Rist, 2009).  Dans ce contexte, les évaluations varient largement d’un projet à l’autre. Un nombre relativement réduit de projets de recherche appliquée ont recours à des modèles d’évaluation sophistiqués axés sur l’impact. Bon nombre de projets ne bénéficient pas des ressources, de la formation ou de la volonté nécessaires, compte tenu de l’environnement politisé dans lequel ils sont réalisés, pour faire l’objet d’évaluations (Banque mondiale, 2013). Les évaluations postprojet sont encore plus rares, représentant moins d’un pour cent des évaluations de projets de développement (Zivetz et al., 2017).  Les projets menés à bien dans des zones touchées par un conflit ou une situation d’urgence sont souvent insuffisamment évalués en raison des difficultés particulières de mise en œuvre et de la courte durée de ces projets (Puri et al., 2015).  Les centres d’échange d’informations en matière d’évaluation contiennent moins d’évaluations de projets liés à la santé sexuelle et reproductive des adolescents par comparaison à d’autres secteurs. Sur les 900 évaluations disponibles dans un éventail de centres d’échange d’informations en matière d’évaluation (voir l’annexe C), seules 41 concernaient des projets de santé sexuelle et reproductive des adolescents et des jeunes, et à peine six de ces 41 évaluations étaient des évaluations postprojet. Par rapport aux projets de santé sexuelle et reproductive des adolescents dans les pays à revenu élevé, il y a très peu d’évaluations de projets dans les pays à revenu faible et intermédiaire liées à une théorie du changement et aux résultats, et les données factuelles sur les bonnes pratiques sont limitées (OMS, 2004 ; Chandra-Mouli et al., 2015). De ce fait, la plupart des projets liés à la santé sexuelle et reproductive des adolescents ne planifient pas d’évaluation au stade de la conception, ou ne l’envisagent qu’après coup. Ce n’est que lorsqu’un projet est de nature exploratoire ou semble donner de très bons résultats et que l’on souhaite l’élargir, que l’on envisage une évaluation, afin d’obtenir d’importantes données factuelles. Malheureusement, à ce stade, il n’y a bien souvent pas de budget pour l’évaluation dans le cadre du projet. Pourquoi les évaluations postprojet sont-elles nécessaires ? LE PROJET EST TERMINÉ, MAIS NOUS POUVONS ENCORE EN TIRER DES LEÇONS !6 Une évaluation efficace cherche à déterminer l’utilité ou la valeur d’un projet en fonction de cinq critères, à savoir la pertinence du projet, son efficacité, son efficience, son impact et sa pérennité (voir l’encadré 2) (JICA, 2004 ; OCDE, 2000). L’évaluation a posteriori est particulièrement indiquée pour mesurer l’impact et la pérennité et, éventuellement, la pertinence des projets (JICA, 2004). Elle peut également fournir des pistes sur l’efficacité et l’efficience des projets. Une évaluation rigoureuse, planifiée dès le lancement d’un projet, devrait être la norme. Lorsque cela n’est pas possible, ou même s’il a déjà été procédé à une évaluation en fin de projet, l’évaluation a posteriori offre des occasions d’apprentissage uniques, dont les suivantes :  étudier les effets prévus ou supplémentaires éventuellement survenus après la période de l’évaluation finale du projet ;  évaluer la durabilité de l’impact ou des effets d’un projet. Les conclusions d’une évaluation en fin de projet ne sont pas toujours des indicateurs fiables de la pérennité du projet. L’évaluation postprojet peut enrichir les enseignements sur la pérennité du projet en permettant :  d’identifier les éléments du projet qui ont perduré au-delà de la fin du projet et ceux qui n’ont pas duré ;  de mieux comprendre comment les approches et activités introduites dans le cadre du projet se sont propagées, diffusées ou reproduites selon des modalités anticipées et imprévues ;  de mieux comprendre les facteurs causaux ou associés liés aux points précédents (le pourquoi et le comment) ;  de recenser les résultats imprévus et émergents apparus après la fin du projet ; 6 Quels sont les motifs et avantages courants de procéder à une évaluation a posteriori d’un projet de santé sexuelle et reproductive des adolescents ? ORIENTATIONS PRATIQUES POUR L’ÉVALUATION A POSTERIORI DES PROJETS DE SANTÉ SEXUELLE ET REPRODUCTIVE DES ADOLESCENTS 7  de collecter, le cas échéant, des informations sur la pertinence du projet. Le personnel, les parties prenantes et les utilisateurs finaux/participants, s’ils sont encore disponibles, ont éventuellement eu le temps de réfléchir au projet depuis et il se peut qu’ils aient des points de vue supplémentaires sur sa pertinence. S’agissant de projets de santé sexuelle et reproductive des adolescents, l’évaluation a posteriori peut :  atteindre des adolescents plus âgés et des jeunes adultes susceptibles d’offrir des points de vue nouveaux ou différents sur l’impact du projet, la durabilité de cet impact et sa pertinence ;  permettre de mieux comprendre si les mécanismes de la théorie du changement étaient valables ou non. Ces informations peuvent à leur tour éclairer la mise au point d’approches et d’activités de projet prometteuses et contribuer à une plus grande clarté concernant les mécanismes de changement qui mènent à une meilleure santé et un plus grand bien-être des adolescents. Le Tableau 1 montre l’éventail de raisons justifiant la réalisation d’évaluations a posteriori de projets portant sur la santé sexuelle et reproductive des adolescents. Critères d’évaluation de l’aide au développement Pertinence : Il s’agit d’évaluer la mesure dans laquelle l’activité est adaptée aux priorités et politiques du groupe cible, du bénéficiaire et de l’organisme de financement. Efficacité : Ce critère vise à évaluer la mesure dans laquelle une activité atteint ses objectifs. Efficience : Ce critère cherche à évaluer les produits – qualitatifs et quantitatifs – au regard des intrants. Il s’agit d’un terme économique signifiant que l’activité fait appel aux ressources les moins coûteuses possible en vue d’obtenir les résultats visés. Impact : Ce critère vise à évaluer les changements positifs et négatifs découlant d’un projet, aussi bien intentionnés qu’involontaires. Cela concerne les principaux effets de l’activité, délibérés ou non, sur les indicateurs sociaux, économiques, environnementaux et autres à l’échelle locale. Pérennité : Il s’agit dans ce cas d’évaluer la mesure dans laquelle les effets positifs d’une activité sont susceptibles d’être maintenus lorsque le financement est retiré. Source : Adapté du Comité d’aide au développement de l’Organisation de coopération et de développement économiques (OCDE) 2000. LE PROJET EST TERMINÉ, MAIS NOUS POUVONS ENCORE EN TIRER DES LEÇONS !8 Redevabilité  Le projet a-t-il répondu aux attentes des adolescents et autres parties prenantes et des bailleurs de fonds ?  Quel impact le projet a-t-il eu sur le contexte plus large dans lequel il est intervenu ? Données factuelles sur l’effet  Le projet a-t-il produit les résultats visés ? Justification de financements futurs  La stratégie du projet est-elle suffisamment bien fondée pour justifier des investissements futurs dans des projets analogues ?  Dans l’affirmative, dans quels contextes et moyennant quels ajustements ? Enseignements organisationnels et de projet  Quelles données probantes y a-t-il pour inciter une organisation à mettre en œuvre un projet analogue à l’avenir ou à mettre à l’échelle un projet efficace ?  Dans l’affirmative, dans quels contextes et moyennant quels ajustements ? Pérennité  Les effets du projet sont-ils encore visibles à l’heure actuelle ?  Si de nouveaux services, projets ou structures ont été mis en place, sont-ils encore opérationnels ? Effets imprévus ou émergents  Quels effets imprévus ont été observés depuis la fin du projet ?  Des effets imprévus – négatifs ou positifs – ont-ils fait surface depuis que le projet a pris fin ? Tableau 1. Finalités courantes des évaluations a posteriori de projets liés à la santé sexuelle et reproductive des adolescents ORIENTATIONS PRATIQUES POUR L’ÉVALUATION A POSTERIORI DES PROJETS DE SANTÉ SEXUELLE ET REPRODUCTIVE DES ADOLESCENTS 9 7 Chaque contexte d’évaluation postprojet est différent, notamment en termes de ressources et de contraintes. Par conséquent, l’évaluateur doit déterminer la conception la plus appropriée pour l’évaluation tout en tenant compte de divers compromis méthodologiques indispensables. Voici quelques difficultés couramment rencontrées (également dans le cadre d’autres types d’évaluation) :  La documentation en matière de conception de projet est de qualité inégale. Il se peut par exemple qu’il n’y ait pas de théorie du changement ou de cadre logique clairement formulés ;  Il n’y a pas de descriptions qualitatives disponibles concernant la mise en œuvre. Il arrive par exemple que les rapports de projet soient axés sur l’explication des produits et des résultats plutôt que sur les processus ;  Les données quantitatives sur le projet sont incomplètes. Cela peut être dû au fait que les données de suivi n’aient jamais été collectées ou ne puissent pas être consultées, que certaines activités critiques ne soient pas incluses dans les systèmes de suivi, ou encore qu’aucune évaluation – si ce n’est éventuellement une évaluation initiale – n’ait été réalisée dans le cadre du projet. L’évaluateur devra probablement jouer divers rôles en plus de celui d’évaluateur traditionnel, par exemple une fonction de conseiller technique afin de recréer ou d’affiner les théories du changement antérieures qui éclaireront les questions d’évaluation, ou encore de journaliste d’investigation afin de dénicher des documents relatifs au projet ou d’anciens personnels et partenaires. L’évaluateur jouera probablement aussi un rôle de liaison entre l’organisme de financement et l’organisation qui a assuré la mise en œuvre du projet. Voir les sections 8 et 9 pour des orientations pratiques à l’intention des personnes qui planifient et réalisent une évaluation postprojet, fondées sur l’expérience et les leçons tirées de l’évaluation a posteriori de projets portant sur la santé sexuelle et reproductive des adolescents. À quoi s’attendre lors de la planification et de la réalisation d’une évaluation postprojet ? LE PROJET EST TERMINÉ, MAIS NOUS POUVONS ENCORE EN TIRER DES LEÇONS !10 ORIENTATIONS PRATIQUES POUR L’ÉVALUATION A POSTERIORI DES PROJETS DE SANTÉ SEXUELLE ET REPRODUCTIVE DES ADOLESCENTS 11 8 Les étapes présentées ci-après sont similaires à celles d’une évaluation réalisée alors qu’un projet est encore en cours ou vient de se terminer, avec toutefois une exception importante, à savoir l’importance critique de procéder à un examen de l’évaluabilité au début du processus afin de déterminer la mesure dans laquelle l’évaluation postprojet pourra être menée de façon fiable et crédible. PREMIÈRE ÉTAPE : Définition de la finalité, la portée et la conception initiale de l’évaluation postprojet Déterminez la finalité et la portée de l’évaluation, notamment les questions d’évaluation, avec les parties prenantes telles que les organismes de mise en œuvre, les ministères/départements concernés et les organismes de financement.  Qu’attendent les parties prenantes de l’évaluation ?  Quels enseignements cherchent-elles à en tirer et pourquoi ?  Quel usage est envisagé pour les conclusions de l’évaluation et comment seront-elles diffusées ? Songez à impliquer les parties prenantes au-delà de l’organisme de mise en œuvre et des partenaires immédiats, tels que les parties prenantes publiques et les futurs utilisateurs des conclusions de l’évaluation. Leurs apports dès cette première étape peuvent contribuer à la crédibilité de l’évaluation et à l’exploitation des conclusions dans le but d’améliorer les projets en cours ou futurs. Étapes de planification d’une évaluation postprojet LE PROJET EST TERMINÉ, MAIS NOUS POUVONS ENCORE EN TIRER DES LEÇONS !12 DEUXIÈME ÉTAPE : Examen de l’évaluabilité du projet a posteriori L’examen de l’évaluabilité peut fournir des informations cruciales depuis différentes perspectives quant à la mesure dans laquelle une évaluation postprojet peut être menée de manière fiable et produire des résultats crédibles. Il doit aborder les aspects suivants :  les considérations organisationnelles – pour s’assurer que les parties prenantes s’entendent sur la nécessité et l’utilité de procéder à l’évaluation pour éclairer les prises de décisions politiques et programmatiques ;  la disponibilité des informations – pour garantir une évaluation fondée sur des données factuelles ;  les considérations méthodologiques – pour pouvoir répondre aux questions d’évaluation ;  les considérations liées aux ressources – pour s’assurer que l’on dispose des ressources financières, humaines et matérielles nécessaires pour mener à bien l’évaluation ;  les considérations temporelles – pour collecter et analyser les données de manière logique et opportune ;  les considérations liées à l’acceptabilité – pour obtenir l’approbation des parties prenantes concernant le type et le niveau de données factuelles jugés acceptables. Une liste de contrôle (voir l’annexe B) peut être un outil utile pour cette activité critique que représente l’examen de l’évaluabilité. TROISIÈME ÉTAPE : Identification des lacunes en matière d’information et élaboration d’une méthodologie réalisable avec la plus grande rigueur possible Lorsque la ou les finalités de l’évaluation ont été déterminées avec les parties prenantes et que les résultats de l’examen de l’évaluabilité sont disponibles, vous pourrez faire des choix et apprécier les compromis éventuellement nécessaires au niveau de la conception de l’évaluation. La Figure 2 présente un arbre décisionnel de choix possibles de conception en fonction des principaux objectifs d’apprentissage et des possibilités en termes d’information/de données. Qui prendra part au processus d’évaluation ? En quoi consistera la participation des adolescents (auront-ils d’autres rôles que celui de répondant, par exemple en tant que membres ou conseillers de l’équipe d’évaluation) ? Des théories du changement et des cadres logiques sont-ils disponibles et, le cas échéant, sera-t-il nécessaire de les adapter aux fins de l’évaluation ? Dispose-t-on de données et de documentation sur le processus ? Quelles sont les possibilités d’échantillonnage et de collecte de données supplémentaires ? Quelle sera votre démarche d’analyse et d’interprétation des résultats ? Ces difficultés courantes sont abordées en détail à la section 8. ORIENTATIONS PRATIQUES POUR L’ÉVALUATION A POSTERIORI DES PROJETS DE SANTÉ SEXUELLE ET REPRODUCTIVE DES ADOLESCENTS 13 Figure 2. Arbre décisionnel des choix possibles de conception de l’évaluation Impact/Efficacité Processus/ Mise en œuvre Post-test uniquement sans groupe témoin Modèle pré/ post-test quasi- expérimental avec assignation de groupe non aléatoire Post-test uniquement avec assignation de groupe non aléatoire Modèle à série temporelle (Si de multiples points de données sont disponibles) Modèle pré/post- test sans groupe témoin (Si deux points de données seulement sont disponibles) Utiliser des méthodes qualitatives pour approfondir la compréhension de l’impact et évaluer les effets imprévus Analyse indépendante des données de processus Reconstruire le processus par : des combinaisons de méthodes, notamment des entretiens, des discussions en groupes de réflexion et des études de cas, avec des membres clés du personnel du projet, des partenaires, des bénéficiaires et la communauté. L’efficacité peut être examinée si les données de coût peuvent être reliées aux activités Créer et analyser des données de processus au moyen des données administratives/ sur les résultats Dans la mesure du possible, faire participer les jeunes à la conception de l’évaluation, à la collecte des données et à l’interprétation des conclusions. Pérennité Analyse indépendante des données de pérennité Utiliser une combinaison de méthodes pour collecter des données sur : • Appui politique • Facteurs environnementaux/ contextuels • Stabilité du financement • Partenariats • Capacités organisationnelles • Adaptation du projet • Faiblesses du projet • Forces du projet • Communication • Plan stratégique • Pérennité de l’impact Que souhaitez-vous apprendre sur l’intervention ? Compléter par des données supplémentaires, si possible Le projet a-t-il collecté des données sur la pérennité ? Le projet a-t-il collecté des données sur le processus ? Avez-vous accès aux données administratives/sur les résultats ? Y a-t-il des données adéquates sur un groupe qui n’a pas bénéficié de l’intervention, afin de créer rétrospectivement un groupe témoin ? Pouvez-vous collecter des données à la fois du groupe témoin et du groupe d’intervention ? Dispose-t-on de données adéquates sur le groupe d’intervention pour créer rétrospectivement des points de données ? Compléter par des données supplémentaires, si possible Oui Non LE PROJET EST TERMINÉ, MAIS NOUS POUVONS ENCORE EN TIRER DES LEÇONS !14 QUATRIÈME ÉTAPE : Confirmation de la méthodologie d’évaluation avec les parties prenantes pour obtenir leur adhésion aux fins d’utilisations ultérieures Le moment est venu de partager le plan de l’évaluation postprojet – la finalité de l’évaluation, les questions d’évaluation et les sources de données, les méthodes d’analyse des données existantes et de collecte et analyse de données supplémentaires, l’approche de diffusion – en vue d’obtenir les commentaires des parties prenantes au projet et de parvenir à un consensus entre elles. Il convient en particulier de partager le plan avec les entités les plus susceptibles d’utiliser les résultats de l’évaluation, qu’il s’agisse de l’organisme qui a mis en œuvre le projet, des pouvoirs publics ou des bailleurs de fonds. Mise en garde : à ce stade, il peut s’avérer nécessaire d’expliquer à l’organisme ou au bailleur de fonds qui a commandé l’évaluation qu’il est impossible de répondre à certaines des questions initiales de l’évaluation à l’aide des informations ou ressources disponibles. CINQUIÈME ÉTAPE : Approbation éthique de l’évaluation Il est crucial d’assurer la protection des adolescents lors de toute évaluation d’un projet de santé sexuelle et reproductive des adolescents (OMS, 2018). L’évaluateur doit obtenir l’approbation d’un comité d’examen institutionnel ou une exemption de l’examen éthique officiel si l’évaluation est considérée comme une évaluation de routine du projet, et, au besoin, réviser la proposition. SIXIÈME ÉTAPE : L’évaluation peut commencer ! Vous disposez désormais d’un plan clair, du consensus des parties prenantes et de l’approbation éthique requise, la collecte des données peut donc commencer. ORIENTATIONS PRATIQUES POUR L’ÉVALUATION A POSTERIORI DES PROJETS DE SANTÉ SEXUELLE ET REPRODUCTIVE DES ADOLESCENTS 15 9 Cette section présente des difficultés couramment évoquées qui sont propres aux évaluations postprojet ou critiques dans le cadre de ces évaluations, provenant des différentes sources mentionnées dans les références bibliographiques, et propose des solutions en vue de les atténuer ou d’y remédier. Les études de cas tirées d’évaluations réelles servent à mettre en lumière certaines de ces difficultés. La section ne couvre pas les difficultés communes à tous les types d’évaluation, comme celles liées aux contraintes financières, temporelles et de ressources humaines ou celles liées à la gestion du contexte politique. Bien que les parties prenantes puissent être désireuses d’en savoir plus sur le rapport coût/efficacité, cet aspect n’est pas non plus abordé dans les présentes orientations. La collecte de données rétrospectives fiables sur les coûts liés aux activités de projet constitue un défi significatif qui exige du personnel du projet qu’il se rappelle le temps et les efforts consacrés à des activités données et du personnel financier du projet de relier les données financières aux données sur les activités. Difficultés courantes et stratégies pour y remédier LE PROJET EST TERMINÉ, MAIS NOUS POUVONS ENCORE EN TIRER DES LEÇONS !16 9a. Définir la finalité et la portée de l’évaluation Définir la finalité et la portée de l’évaluation, ainsi que ses principales limites, est essentiel pour concevoir une bonne évaluation. Des indicateurs de résultat mesurables, des théories du changement et une définition claire des groupes bénéficiaires fournissent les intentions et les voies par lesquelles on s’attend à voir les changements induits par le projet. Lorsque l’évaluation postprojet vise à mesurer l’impact, les principales préoccupations de l’évaluateur portent sur l’évaluation des associations possibles ou, le cas échéant, des causalités, sur la possibilité de trouver un groupe témoin et sur l’existence ou non d’évaluations initiale et finale. Lorsque l’évaluation a pour but de mesurer la pérennité ou d’analyser le processus de mise en œuvre du projet, les principales préoccupations portent respectivement sur la définition rétrospective des résultats escomptés en termes de pérennité et la tentative de recréer les processus s’ils ne sont pas bien décrits dans la documentation existante. Difficulté : Aucun indicateur mesurable quantitativement ou aucune cible de résultat au regard desquels évaluer le changement n’a été défini avant ni pendant le projet. Stratégie : Mettez au point des indicateurs de résultat à partir de la documentation sur les objectifs du projet, en plus des données secondaires issues des enquêtes nationales ou de projets similaires, si elles sont disponibles. Présentez les nouveaux indicateurs de résultats aux parties prenantes et obtenez un consensus concernant leur utilisation dans le cadre de l’évaluation. S’il y a des indicateurs de base, mais pas de cibles de résultat définies, consultez les parties prenantes afin de déterminer si les changements observés dans ces indicateurs depuis les valeurs de départ représentent des résultats raisonnables pour le projet. Si les indicateurs ne sont pas pertinents (s’ils sont trop ambitieux pour établir un lien de causalité ou s’ils ne sont pas logiques dans le contexte du projet), recherchez un consensus avec les parties prenantes concernant des cibles de résultats redéfinies. Difficulté : il n’existe pas de théorie du changement écrite permettant de comprendre les liens d’association ou de causalité. Si cette documentation existe, elle est peut-être obsolète compte tenu des changements survenus pendant la mise en œuvre du projet. Stratégie : Travaillez avec le personnel de projet et les autres parties prenantes à l’élaboration d’une théorie du changement et/ou d’un cadre logique. La théorie du changement explique les voies menant au changement, tandis que le cadre logique fournit une structure ordonnée permettant de surveiller la mise en œuvre du projet. S’il existe déjà des théories du changement et des cadres logiques, examinez-les et révisez-les selon les besoins (par ex. s’il y a eu des changements dans les stratégies de mise en œuvre ou les hypothèses sous-tendant la mise en œuvre). À noter, toutefois, que créer une théorie du changement rétrospectivement peut présenter une limitation supplémentaire au niveau de l’interprétation des conclusions. Ressource : Pour des suggestions sur la manière d’élaborer rétrospectivement une théorie du changement ou un cadre logique avec les parties prenantes à un projet, voir https://actionevaluation.org/theory-of-actiontheory-of-change-tools-resources/. ORIENTATIONS PRATIQUES POUR L’ÉVALUATION A POSTERIORI DES PROJETS DE SANTÉ SEXUELLE ET REPRODUCTIVE DES ADOLESCENTS 17 LE PROJET EST TERMINÉ, MAIS NOUS POUVONS ENCORE EN TIRER DES LEÇONS !18 Difficulté : Les concepts sous-tendant les théories du changement, tels que « atteindre les adolescents vulnérables », n’étaient pas bien définis sur le plan opérationnel, ce qui rendait difficiles les décisions ultérieures concernant l’échantillonnage et la mesure de la couverture du projet aux fins de l’évaluation. Stratégie : Travaillez avec le personnel du projet pour formuler des définitions précises de ces concepts, en fonction de son expérience et de ses connaissances. Si le personnel initial du projet n’est pas disponible, identifiez des définitions potentielles dans la littérature et interrogez les parties prenantes pour parvenir à un consensus sur une définition opérationnelle à utiliser aux fins de l’évaluation. À noter, toutefois, qu’établir une définition rétrospectivement peut présenter une limitation supplémentaire au niveau de l’interprétation des conclusions. Difficulté : Les parties prenantes souhaitent évaluer l’impact en termes quantitatifs, mais les options de conception sont limitées. il existe des modèles d’évaluation sous-utilisés mais adéquats pour ce type d’évaluation postprojet, mais ils ne sont pas toujours bien compris par les évaluateurs. Stratégie : Soyez prêts à expliquer aux autres évaluateurs, références à l’appui, les options de modèle et la logique justifiant la proposition du modèle sélectionné. Étant donné que les modèles comparatifs incluant uniquement des appréciations post-test avec des groupes témoins réels ou élaborés à partir de statistiques ne sont pas toujours bien compris, l’évaluateur devra aider les parties prenantes à mieux les comprendre afin de les convaincre de les utiliser. À noter, toutefois, que nombre de ces options de modèle exigent que l’équipe bénéficie d’un appui statistique. Ressources :  Pour un aperçu pratique des différentes options de modèle d’évaluation, y compris d’évaluation postprojet, voir le Guide de l’évaluation de l’action humanitaire d’ALNAP (Chapitre 11 – Les conceptions de l’évaluation permettant de répondre aux questions d’évaluation) (https://www. alnap.org/system/files/content/resource/files/main/fr-alnap-eha-guide-2016.pdf).  Pour une discussion (assortie d’exemples utiles) d’études à l’impact adéquat, plausible ou probable, voir l’article de référence de Habicht et al. publié en 1999 dans l’International Journal of Epidemiology sous le titre « Evaluation designs for adequacy, plausibility and probability of public health programme performance and impact » (https://www.measureevaluation.org/ resources/training/capacity-building-resources/m-e-of-hiv-aids-programs-in-india-english/ session-5-gis-and-research-evaluation/research-evaluation/Int.%20J.%20 Epidemiol.-1999- Habicht-10-8.pdf).  Pour une perspective utile permettant de comprendre la nécessité et l’utilité des compromis au niveau de la conception dans certains contextes d’évaluation, voir l’article de Laga et al. intitulé « Evaluating HIV prevention effectiveness: the perfect as the enemy of the good » paru en 2012 dans la revue AIDS (https://www.ncbi.nlm.nih.gov/pubmed/22313952). ORIENTATIONS PRATIQUES POUR L’ÉVALUATION A POSTERIORI DES PROJETS DE SANTÉ SEXUELLE ET REPRODUCTIVE DES ADOLESCENTS 19 Encadré 5Établir une définition opération elle des termes « migration » et « traite » : évaluation postprojet au Mali Au Mali, des organismes internationaux et les pouvoirs publics ont demandé une évaluation postprojet afin d’expliquer les raisons de l’échec d’une stratégie transfrontalière visant à réduire le trafic d’adolescents vulnérables entre le Mali et les plantations de cacao de Côte d’Ivoire. Le projet reposait sur la définition juridique figurant à l’article 3 du Protocole des Nations Unies visant à prévenir, réprimer et punir la traite des êtres humains, selon laquelle l’expression « traite des personnes » désigne : « le recrutement, le transport, le transfert, l’hébergement ou l’accueil de personnes, par la menace de recours ou le recours à la force ou à d’autres formes de contrainte, par enlèvement, fraude, tromperie (...) pour obtenir le consentement d’une personne ayant autorité sur une autre aux fins d’exploitation. L’exploitation comprend (...) le travail ou les services forcés, l’esclavage ou les pratiques analogues à l’esclavage, la servitude (...) ». La difficulté résidait dans l’application des termes « migration » et « traite » dans les contextes où des membres de la famille et les jeunes eux-mêmes sont régulièrement placés par des intermédiaires dans des situations de travail en tant que travailleurs agricoles. Alors que le programme de lutte contre la traite avait pour objectif de renvoyer les adolescents chez eux, la plupart d’entre eux ne voulaient pas être « libérés » en raison de l’énorme pression des pairs les incitant à voir la migration comme un rite de passage. Aussitôt rentrés dans leur village rural pauvre, la plupart des adolescents repartaient en Côte d’Ivoire en quête de travail. L’équipe d’évaluation a eu recours à des techniques d’analyse positive – centrées sur sur les forces des jeunes dans des réalités complexes plutôt que sur leurs faiblesses – pour donner forme aux notions de migration et de traite, tout en s’appuyant sur la définition juridique. Elle a ensuite utilisé ces termes opérationnels pour concevoir des interventions culturellement appropriées visant à permettre la migration des jeunes de manière sûre. www.ogilviedesign.co.uk Ils voulaient nous renvoyer chez nous, mais nous n’étions pas d'accord. Nous voulions rester ici www.ogilviedesign.co.uk Le projet a été mis en œuvre tout à fait autrement dans notre pays Source : Busza J, et al., 2004. LE PROJET EST TERMINÉ, MAIS NOUS POUVONS ENCORE EN TIRER DES LEÇONS !20 9b. Mettre sur pied l’équipe d’évaluation postprojet Les équipes d’évaluation sont composées de façon optimale pour englober la diversité de compétences nécessaires pour entreprendre l’évaluation avec des connaissances suffisantes du contenu et du contexte du projet en question. Dans le cadre d’une évaluation finale de projet typique, l’équipe d’évaluation peut consulter régulièrement le personnel et les partenaires du projet au sujet de l’historique du projet, de son contexte et de tous problèmes liés à la mise en œuvre. En revanche, dans le cas des évaluations a posteriori, ces personnes ne sont souvent pas facilement accessibles et les connaissances du contenu et du contexte du projet doivent être déterminées rétroactivement. Difficulté : Un évaluateur externe qui ne connaît pas bien l’historique du projet, sa mise en œuvre et son contexte plus large, est recruté comme chef d’équipe, et il a un accès officiel limité aux anciens membres du personnel du projet, voire n’y a pas accès du tout. Stratégie : Essayez de compléter l’objectivité extérieure du chef d’équipe par des membres d’équipe en mesure de fournir les connaissances nécessaires du contenu et du contexte du projet et les compétences techniques complémentaires requises. Dans l’idéal, ces membres d’équipe sont d’anciens membres du personnel du projet ou des personnes qui connaissent bien l’organisation et le projet. S’il n’est pas possible de faire appel à ces personnes, invitez des personnes qui ont évalué des projets analogues ou qui travaillent dans une région géographique similaire susceptibles de bien comprendre le contexte. Une autre stratégie consiste à inviter d’anciens membres du personnel à conseiller l’équipe d’évaluation. Difficulté : S’ils peuvent fournir des informations contextuelles détaillées, les membres d’équipe responsables du projet peuvent également être biaisés dans leur mémoire à long terme et leur interprétation des événements et des résultats. Si d’anciens membres du personnel du projet ou partenaires se joignent à l’équipe d’évaluation, il convient de garder à l’esprit qu’ils peuvent être biaisés. Stratégie : Il est important que le chef d’équipe soit conscient qu’il est normal que les personnes qui ont participé au projet soient biaisées et établisse un sens de la redevabilité mutuelle afin de garantir que l’évaluation repose le plus possible sur des bases factuelles. Le chef d’équipe et les autres membres de l’équipe ont tous un rôle important à jouer afin que les faits soient vérifiés et que les analyses et les conclusions soient étayées par les données probantes disponibles – pas de simples avis. Lors de la collecte des données, il est important d’organiser l’équipe de façon à éviter que des personnes soient chargées d’interroger leurs amis. De même, l’équipe doit discuter du consentement en connaissance de cause et des stratégies de maintien de l’anonymat et de la confidentialité lors d’entretiens avec des anciens collègues et amis. L’équipe doit également être au courant d’éventuelles situations où des membres de l’équipe qui travaillaient sur le projet peuvent être vulnérables à certains risques et préjudices potentiels lorsqu’ils doivent interroger d’anciens collègues, par exemple un ancien supérieur avec lequel les rapports étaient tendus. Dans ce type de cas, il est particulièrement important d’établir plusieurs pistes d’investigation pour la collecte des données afin de permettre le recoupement des faits plus subjectifs. À cet égard, il peut s’avérer utile d’identifier des sources d’information plus objectives. ORIENTATIONS PRATIQUES POUR L’ÉVALUATION A POSTERIORI DES PROJETS DE SANTÉ SEXUELLE ET REPRODUCTIVE DES ADOLESCENTS 21 LE PROJET EST TERMINÉ, MAIS NOUS POUVONS ENCORE EN TIRER DES LEÇONS !22 Difficulté : Les adolescents associés au projet ne sont envisagés dans le cadre de l’évaluation qu’en tant que répondants. Bien que la participation des jeunes à l’évaluation de leur projet soit reconnue comme une bonne pratique, en ce que cela permet de tenir compte des perspectives des adolescents et contribue à l’épanouissement de la jeunesse, cela se fait rarement. Stratégie : Il est réducteur de ne prendre en considération les adolescents qu’en tant que répondants. S’ils sont disponibles, il convient de faire appel aux anciens participants au projet pour collaborer avec les évaluateurs externes dans le plus grand nombre possible de phases de l’évaluation postprojet. Au minimum, si les ressources financières et temporelles sont limitées, une réunion bien conçue avec les anciens participants au projet pour obtenir leur point de vue sur les plans d’évaluation peut éclairer des ajustements importants lors des phases ultérieures de l’évaluation. L’organisation postérieure d’une réunion d’analyse avec ces adolescents pour valider les résultats de l’évaluation serait également enrichissante pour les conclusions de l’évaluation. Dans l’idéal et si les ressources le permettent, il convient d’associer les adolescents à la conception et à la mise en œuvre de l’évaluation, ainsi qu’à la diffusion de ses résultats. Ils sont en effet bien placés pour mettre au point les outils de collecte des données, et leur participation à cette collecte peut produire des données plus proches de la vérité dans la mesure où les jeunes informateurs peuvent être plus enclins à parler de questions liées à la santé sexuelle et reproductive avec d’autres jeunes auxquels ils peuvent s’identifier qu’avec des enquêteurs adultes. Notez toutefois que les adolescents qui peuvent participer ne sont pas nécessairement représentatifs de la population cible. Des efforts minutieux de facilitation sont nécessaires pour atténuer la résistance potentielle des adultes face aux jeunes qui les évaluent eux et leur travail. Il peut s’avérer nécessaire pour un évaluateur de plaider auprès de l’organisme bailleur de fonds en faveur d’une participation significative des adolescents pour obtenir un soutien supplémentaire en vue de leur inclusion. Ressources :  Pour des orientations et des manuels du facilitateur sur la création de conditions propices à une participation fructueuse des jeunes et former et aider les jeunes à collecter les données qualitatives aux fins de recherche et de suivi-évaluation, voir la boîte à outils Explore mise au point par Rutgers et la Fédération internationale pour la planification familiale (IPPF) pour faire participer les jeunes aux programmes de santé sexuelle et reproductive en tant que chercheurs (https://www.rutgers.international/our-products/tools/explore).  Pour une approche pratique de formation et d’engagement des jeunes en matière d’évaluation, voir l’ouvrage intitulé « Youth participatory evaluation: strategies for engaging young people » (Kim Sabo Flores, 2007), qui s’appuie sur les théories de jeu, d’évaluation et de développement des jeunes (https://www.wiley.com/en-us/Youth+Participatory+ Evaluation%3A+Strategies+for+Engaging+Young+People-p-9780787983925). ORIENTATIONS PRATIQUES POUR L’ÉVALUATION A POSTERIORI DES PROJETS DE SANTÉ SEXUELLE ET REPRODUCTIVE DES ADOLESCENTS 23 Encadré 7Mettre en pratique des partenariats adolescents-adultes : évaluation réalisée en Éthiopie, au Kenya, en Indonésie et au Pakistan En 2015, une évaluation visant à examiner comment les organisations locales faisaient participer les jeunes à leurs programmes de santé sexuelle et reproductive des adolescents a été réalisée en Éthiopie, au Kenya, en Indonésie et au Pakistan. Dans chaque pays, l’équipe d’évaluation comprenait un évaluateur adulte et de trois à huit coévaluateurs adolescents ou jeunes adultes. Les coévaluateursecevaient une formation sur les principaux concepts du programme, la déontologie de recherche et les techniques d’entretien et de discussion en groupes de réflexion basée sur la boîte à outils Explore de Rutgers et de l’IPPF. Pour commencer, les jeunes évaluateurs établissaient leur propre définition de la notion de participation significative des jeunes, qui formerait la base de leur étude. Ensuite, ils examinaient, traduisaient, testaient et adaptaient les outils au cours de sessions de préparation. Ils organisaient des entretiens et des discussions en groupe de réflexion pour rassembler des informations auprès de directeurs d’organisations, du personnel de projet, de prestataires de services, de jeunes participant aux programmes et de parties prenantes externes. Les jeunes évaluateurs observaient également les activités des interventions telles que la prestation de services aux centres de jeunesse et aux cliniques, l’éducation par les pairs et la mobilisation communautaire. Les jeunes apprenaient vite. Tous les soirs, le chercheur adulte organisait des réunions avec l’équipe pour faire le point sur les résultats de la journée et analyser les données. Cela aidait les jeunes évaluateurs à prendre conscience des lacunes de leurs données afin de s’en occuper le lendemain. L’équipe d’évaluation s’est par ailleurs attachée à faire le point sur les principales conclusions de l’évaluation avec chaque organisation pour valider ces conclusions et formuler ensemble des recommandations. www.ogilviedesign.co.uk Voyez comme elle encourage même es plus jeunes à s’exprimer www.ogilviedesign.co.uk Nous essayons de prendre contact avec des étudiants qui ont participé au projet Pro-Star Salle des professeurs Source : Van Reeuwijk M & Singh A, 2018. LE PROJET EST TERMINÉ, MAIS NOUS POUVONS ENCORE EN TIRER DES LEÇONS !24 Difficulté : Le cas échéant, le chef de l’équipe d’évaluation doit veiller à ce que soit obtenue l’approbation des parents/gardiens et à la protection des adolescents durant leur participation aux activités d’évaluation lorsque les anciennes structures et mécanismes de protection du projet n’existent plus. Stratégie : Pour garantir que des démarches éthiques et acceptables sont adoptées pour protéger les participants, obtenez les conseils de comités de recherche dans la région. Pour obtenir le consentement des parents/gardiens, fournissez-leur un résumé écrit de l’évaluation, décrivez dans quels contextes et pendant combien de temps les adolescents y participeront et demandez l’accord verbal ou écrit du parent/gardien. S’il est très difficile de trouver les parents/ gardiens, il peut être utile de faire appel aux directeurs d’école ou à d’autres dirigeants pour les identifier. L’équipe doit en outre convenir de normes de sécurité des enfants, par exemple pour s’assurer du déplacement en toute sécurité des mineurs entre leur domicile et le lieu d’évaluation, ou faire en sorte qu’ils soient accompagnés par des adultes s’ils doivent collecter des données ou partager des conclusions dans des contextes où leur sécurité pourrait être compromise. Si le projet a été mis en œuvre par une organisation axée sur les enfants, appuyez-vous sur ses directives de protection des enfants pour éclairer les activités de protection de l’évaluation. Ressources :  Pour des recommandations sur les manières de protéger et appuyer les jeunes évaluateurs participant à l’évaluation de projets de santé sexuelle et reproductive des adolescents, voir la boîte à outils Explore de Rutgers (Deuxième partie : Créer des conditions propices pour la participation fructueuse des jeunes dans la recherche) (https://www.rutgers.international/sites/ rutgersorg/files/pdf/Explore-instructions_web.pdf).  Pour des orientations sur les aspects éthiques à prendre en considération pour planifier et examiner des recherches sur la santé sexuelle et reproductive des adolescents, voir les orientations de l’OMS à ce sujet (https://apps.who.int/iris/bitstream/handle/10665/280148/9789242508413-fre. pdf?ua=1).  Pour les aspects éthiques d’évaluations participatives qui placent les évaluateurs dans le contexte de la dynamique de pouvoir communautaire, au-delà des protections des sujets humains, voir l’article de Banks et al. paru en 2013 dans la revue Contemporary Social Science sous le titre « Everyday ethics in community-based participatory research » (https://www. tandfonline.com/doi/pdf/10.1080/21582041.2013.769618). ORIENTATIONS PRATIQUES POUR L’ÉVALUATION A POSTERIORI DES PROJETS DE SANTÉ SEXUELLE ET REPRODUCTIVE DES ADOLESCENTS 25 9c. Remédier au manque de données disponibles La disponibilité ou le manque de données, est l’un des problèmes les plus courants auxquels sont confrontés les évaluateurs dans le cadre des évaluations postprojet, étant donné qu’il est crucial de s’appuyer sur la documentation existante pour les travaux d’évaluation. Les difficultés telles que celles évoquées ci-dessous reposent sur l’identification d’informateurs clés ayant participé à un projet, l’accès aux données de résultats quantitatives utilisables et à la documentation sur le projet, la gestion des problèmes liés aux souvenirs et l’interrogation d’adolescents dont l’âge et le niveau de cognition lié à la maturité ne reflètent plus la population qui a participé au projet. Les sous-sections suivantes contiennent des suggestions en matière d’échantillonnage et de méthodes viables d’évaluation de l’impact qualitatif. Difficulté : Les membres clés du personnel du projet ne sont plus disponibles, ayant migré ou été affectés à de nouveaux projets après la fin du projet à évaluer Révision TRA. Stratégie : Essayez d’obtenir leur numéro de téléphone par des collègues et d’autres contacts communautaires, et réalisez les entretiens avec les anciens membres du personnel par téléphone. Demandez aux employeurs actuels si les anciens membre du personnel du projet peuvent participer à une réunion d’une demi-journée ou d’une journée, au cours de laquelle les données postprojet pourraient être collectées. Si ce n’est pas possible, essayez d’interroger les anciens membres du personnel dans des contextes moins formels, comme des cafétérias. Si cela n’est pas possible non plus, interrogez des membres du personnel et d’autres personnes au sein de l’organisation hôte et de ses partenaires de mise en œuvre qui connaissent le projet en question. Difficulté : Les adolescents bénéficiaires clés ainsi que les listes des bénéficiaires ne sont pas disponibles. Stratégie : Les jeunes sont souvent une population particulièrement mobile, et il se peut que l’évaluateur doive faire preuve de créativité pour retrouver les jeunes qui ont participé au projet. Identifiez les structures existantes telles que des écoles ou des clubs de jeunesse où il serait possible de trouver d’anciens bénéficiaires du projet. Demandez aux directeurs d’école ou à d’autres responsables de contacter les bénéficiaires en votre nom. Si les structures sont encore actives, procédez à un échantillonnage au sein de groupes qui ont bénéficié du projet et fonctionnent encore, et comparez ces groupes à des groupes ou personnes qui n’ont jamais pris part au projet. S’il n’est pas possible de contacter les anciens bénéficiaires, songez à collecter des informations auprès de personnes qui les connaissent. Difficulté : il n’y a pas de données quantitatives initiales, à mi-parcours ou finales, et le recours aux souvenirs est la meilleure option pour évaluer les changements. Stratégie : Appuyez-vous sur les souvenirs des participants pour évaluer l’impact dans des domaines comme les connaissances personnelles, les attitudes et les changements de comportement. Vous pouvez notamment utiliser des échelles de Likert avec des énoncés qui demandent aux participants d’évaluer le degré de changement entre deux moments. Incluez des énoncés similaires mais différents (par exemple deux énoncés différents sur la même attitude) pour évaluer la variabilité des réponses et vérifier les biais de rappel. Pour aider à faire une distinction entre le contexte et les facteurs plus directement affectés par le projet, ayez recours aux calendriers d’événements internes et externes durant les entretiens avec les informateurs clés afin de rappeler le contexte plus large aux membres de l’équipe. De même, il peut s’avérer utile d’interroger les hauts responsables, dans la mesure où les personnes occupant des positions élevées tiennent souvent compte du contexte plus large dans leur travail. Recoupez les données liées aux souvenirs avec les autres données disponibles. LE PROJET EST TERMINÉ, MAIS NOUS POUVONS ENCORE EN TIRER DES LEÇONS !26 Source : Brown, P.R. et K. Hardee, 2017. ORIENTATIONS PRATIQUES POUR L’ÉVALUATION A POSTERIORI DES PROJETS DE SANTÉ SEXUELLE ET REPRODUCTIVE DES ADOLESCENTS 27 LE PROJET EST TERMINÉ, MAIS NOUS POUVONS ENCORE EN TIRER DES LEÇONS !28 Difficulté : L’évaluateur veut aligner la collecte de données postprojet sur les données provenant d’évaluations antérieures, mais les instruments et les données d’enquête ne sont pas comparables d’une évaluation à l’autre (initiale, à mi-parcours, finale et postprojet). Stratégie : Appuyez-vous sur les instruments d’enquête existants et apportez-y de petites modifications pour pouvoir faire des comparaisons entre les résultats clés au fil du temps. Bien que les questions puissent différer légèrement (par ex. un instrument au début du projet peut être utilisé pour évaluer un aspect spécifique de la communication parent-enfant, puis remplacé lors d’une étude ultérieure pour examiner un autre aspect de cette communication), on peut procéder à une interprétation nuancée des conclusions entre différents moments. Si l’objectif du projet a évolué de telle manière qu’il n’est pas possible d’adapter les questions d’instruments d’enquête passés, cartographiez les principaux domaines thématiques actuels du projet et préparez de nouvelles questions pour évaluer ces domaines. La collecte de nouvelles données au moyen des méthodes d’enquête ouvre la possibilité d’utiliser des méthodes statistiques pour répondre à de nombreuses questions d’évaluation (analyse de facteurs pour déterminer les associations d’exposition à l’intervention et les résultats, régression logistique multiple pour déterminer la probabilité de changement ou d’influence du fait de l’exposition au projet). En fin de compte, cependant, il peut s’avérer impossible d’entreprendre une étude quantitative permettant d’obtenir les résultats escomptés. Dans ce cas, recherchez une démarche différente d’un niveau de rigueur permettant d’établir des liens de causalité plausibles. Ressources : À l’avenir, les mandats récents des organismes de financement, une fois largement institutionnalisés, mettront les ensembles de données en libre accès. Les évaluateurs pourront donc s’en servir pour des analyses supplémentaires afin de répondre aux questions posées dans le cadre d’une évaluation postprojet. Entre-temps, pour des données en libre accès sur les adolescents vivant dans les pays à revenu faible et intermédiaire, voir le pôle de données sur les adolescents de GIRL Center (https://www.popcouncil.org/girlcenter/research/hub). Difficulté : Le projet est fortement axé sur les résultats relatifs aux adolescents et néglige de collecter des informations sur d’autres types de résultats, comme l’amélioration des compétences parentales ou des compétences pédagogiques des enseignants. Stratégie : Il peut être utile d’examiner les rapports de formation et de supervision. Étant donné qu’ils sont élaborés à un niveau plus bas du système de communication de l’information, ces rapports peuvent contenir des informations sur les adultes, leur participation et leurs réactions dans le cadre du projet. À défaut, ces lacunes peuvent être corrigées en échantillonnant des adultes lors d’une nouvelle collecte de données. ORIENTATIONS PRATIQUES POUR L’ÉVALUATION A POSTERIORI DES PROJETS DE SANTÉ SEXUELLE ET REPRODUCTIVE DES ADOLESCENTS 29 Source : USAID, 2015. LE PROJET EST TERMINÉ, MAIS NOUS POUVONS ENCORE EN TIRER DES LEÇONS !30 Difficulté : Les mouvements des bénéficiaires après la fin du projet, le vieillissement des adolescents et d’autres facteurs de confusion associés au passage du temps font qu’il est difficile d’obtenir des informations porteuses de sens pouvant être généralisées au travers d’une étude apprendre population. Stratégie : Envisagez le recours à un échantillonnage différent adapté à l’objectif d’évaluation. Pensez par exemple à l’échantillonnage en boule de neige si l’évaluation a pour objectif d’accéder à des personnes du même groupe social, à l’échantillonnage hétérogène si elle vise à évaluer les différences dans les sous-groupes, ou encore à l’échantillonnage raisonné s’il s’agit d’étudier certains groupes de manière intentionnelle. Ressource : Pour une vue d’ensemble des différentes stratégies d’échantillonnage, voir l’aperçu de Changing Minds sur le choix d’une méthode d’échantillonnage (http://changingminds.org/ explanations/research/sampling/choosing_sampling.htm). Difficulté : L’effet de maturation (vieillissement d’adolescents ayant participé à un projet lorsqu’ils étaient plus jeunes) introduit des biais de comparabilité dans les instruments et données d’évaluation postprojet, notamment en ce qui concerne leur intérêt pour l’expérimentation sexuelle et leur conscience de l’environnement social plus large. Stratégie : Idéalement, créez un groupe témoin non exposé. Si ce n’est pas possible, concevez une collecte de données postprojet pour pouvoir comparer les adolescents plus âgés à d’autres plus jeunes. Créez par exemple deux cohortes d’âge : une reproduisant le groupe initial de participants non exposés tels qu’ils étaient lorsqu’ils ont rejoint le projet, et l’autre représentant des adolescents plus âgés qui ont participé au projet. Une autre solution serait d’inclure des questions de rappel destinées aux participants adolescents plus âgés à propos des changements qu’ils ont observés entre des moments situés avant et après le projet. Difficulté : Les données figurant dans les rapports annuels ou d’autres rapports externes du processus ou des réalisations du projet ne semblent pas réalistes, ne sont pas suffisamment ventilées ou ne sont pas alignées sur les produits et résultats identifiés dans le cadre logique. Stratégie : Si les données semblent peu réalistes, essayez de vérifier les informations à partir des données de suivi du projet. Si elles ne sont pas disponibles, interrogez la haute direction de l’organisation pour comprendre le contenu des rapports et confirmer sa fiabilité. Mettons, par exemple, que des informations contextuelles essentielles sur la mise en œuvre, comme le recrutement d’un grand nombre de personnes, ne sont pas incluses dans le rapport, alors que ces informations sont nécessaires pour comprendre les conclusions. Si les données sur les produits et résultats ne sont pas disponibles dans les rapports ou ne sont pas suffisamment ventilées pour les besoins de l’évaluation, essayez de procéder à reculons en examinant les données de suivi ou d’autres rapports internes. Si les ensembles de données de suivi sont disponibles et que les données sont ventilées par sexe et par âge, envisagez d’effectuer des analyses supplémentaires. Si vous ne disposez pas de données ventilées, procédez à une nouvelle collecte de données postprojet pour obtenir des résultats potentiellement différents en fonction de l’âge ou du sexe des adolescents. ORIENTATIONS PRATIQUES POUR L’ÉVALUATION A POSTERIORI DES PROJETS DE SANTÉ SEXUELLE ET REPRODUCTIVE DES ADOLESCENTS 31 9d. Élaborer des stratégies d’échantillonnage réalisables L’échantillonnage pose des difficultés particulières aux évaluateurs postprojet, allant du choix du lieu à la création d’un groupe témoin et à la sélection des répondants. En l’absence des structures de contact du projet, il peut être difficile d’identifier les adolescents bénéficiaires. Bien sûr, les possibilités d’échantillonnage dépendent également du temps et du budget disponibles, notamment en ce qui concerne l’inclusion ou non d’un groupe témoin. S’agissant d’adolescents vulnérables, il convient en outre, lors des décisions d’échantillonnage, d’évaluer les bénéfices et les risques que suppose la prise de contact avec eux. Lorsqu’il y a des contraintes, il est important de prendre acte des biais potentiels dans l’analyse. Difficulté : Les sites sont sélectionnés en consultation avec des fonctionnaires publics ou du personnel des partenaires de mise en œuvre, ce qui peut introduire des biais. Une autre solution consiste à sélectionner les sites en fonction de facteurs de la vie réelle, comme les problèmes de sécurité ou l’accessibilité des communautés. Stratégie : Soyez conscients des biais liés à la sélection des sites et plaidez en faveur de la transparence lors des prises de décisions et d’un choix de sites le moins biaisé possible. Essayez d’évaluer de manière indépendante les caractéristiques de l’échantillon sélectionné, notamment les similitudes entre le groupe de l’intervention et le groupe témoin en termes d’adolescents, de services et d’autres éléments infrastructurels pertinents, tels que les écoles. Les données secondaires peuvent s’avérer utiles pour évaluer la comparabilité. Difficulté : il n’y a pas de groupe témoin ou de région géographique de contrôle pour déterminer l’influence des facteurs externes de confusion. Stratégie : Si le financement et le calendrier le permettent, créez un groupe ou une région témoin dans le cadre de la nouvelle collecte de données. Vous pouvez également utiliser les données secondaires à des fins de comparaison, comme les résultats d’enquêtes nationales ou les statistiques relatives aux services, si elles sont de qualité raisonnable. Évaluez les similitudes entre le groupe de l’intervention et le groupe témoin en termes d’adolescents, de services et d’autres éléments infrastructurels pertinents, tels que les écoles. Bien qu’il soit préférable d’inclure un groupe témoin, cela peut être déconseillé dans certaines circonstances pour des motifs éthiques ou logistiques. Difficulté : L’évaluation postprojet doit échantillonner des adolescents vulnérables et leurs parents/gardiens ou des répondants difficilement accessibles, tels que des migrants ou réfugiés sans papiers. Stratégie : Premièrement, il est essentiel de réaliser d’emblée une analyse des risques éthiques et des avantages selon les principes « Ne pas nuire » pour l’évaluation de projets axés sur des adolescents vulnérables, tels que les adolescents vivant avec le VIH ou impliqués dans le commerce du sexe. Outre la nécessité de garantir la protection des enfants/adolescents, il est important de former les enquêteurs aux concepts de protection et d’établir des procédures pour la collecte des données. LE PROJET EST TERMINÉ, MAIS NOUS POUVONS ENCORE EN TIRER DES LEÇONS !32 ORIENTATIONS PRATIQUES POUR L’ÉVALUATION A POSTERIORI DES PROJETS DE SANTÉ SEXUELLE ET REPRODUCTIVE DES ADOLESCENTS 33 Accordez une attention particulière à des questions telles que le choix des sites d’évaluation, l’échantillonnage et les entretiens avec les adolescents vulnérables. Pour identifier et localiser les adolescents vulnérables, faites appel à l’ancien personnel du projet ou à des personnes travaillant sur des projets de proximité en cours visant le groupe vulnérable en question ou à un groupe consultatif externe, par exemple un comité de recherche, afin de déterminer une méthode appropriée et éthique pour identifier les répondants et les inviter à participer à l’évaluation. Il peut être possible de créer un cadre d’échantillonnage par des techniques de cartographie de réseau ou d’échantillonnage en boule de neige. Assurez-vous que les critères éthiques de confidentialité sont respectés. L’utilisation des réseaux sociaux et de WhatsApp peut permettre un contact discret, mais cela peut générer des biais au sein de l’échantillon étant donné que les adolescents n’ont pas tous accès à ces technologies. Veillez à ce que les objectifs de l’évaluation incluent des postes budgétaires pour ce type de vérifications afin de garantir que ces questions soient traitées de manière appropriée. Ressource : Pour des orientations sur les aspects éthiques à prendre en considération pour planifier et examiner des recherches sur la santé sexuelle et reproductive des adolescents, voir les orientations de l’OMS à ce sujet (https://apps.who.int/iris/bitstream/handle/10665/280148/9789242508413-fre. pdf?ua=1). Difficulté : Les structures du projet qui facilitaient les aspects logistiques de localisation des adolescents vulnérables (et leurs parents/gardiens pour obtenir leur consentement en connaissance de cause) ne sont plus disponibles. Stratégie : Prenez contact avec les partenaires de mise en œuvre du projet pour mettre en commun les informations sur l’évaluation postprojet et organiser des réunions avec les anciens bénéficiaires. Demandez aux dirigeants ou aux interlocuteurs clés d’anciens partenaires de mise en œuvre, comme les directeurs d’écoles, d’informer les parents/gardiens de l’organisation d’une visite d’évaluation et demandez-leur de consentir à ce que leur enfant y participe. (Remarque : Iis’agit d’une approche d’option de refus, c’est-à-dire que le consentement parental est présumé, à moins que les parents/gardiens indiquent qu’ils ne veulent pas que leur enfant participe à l’évaluation. Bien que cela soit loin d’être idéal et introduise des considérations éthiques importantes, dans certains cas, cela peut constituer la seule approche viable pour garantir que les parents/gardiens sont à la fois informés et consentants.) Organisez des réunions pour interroger les parties prenantes – y compris les adolescents – selon des modalités discrètes ne risquant pas de les rendre plus visibles ou de les exposer à la discrimination. Invitez les parents/tuteurs aux entretiens avec les adolescents afin d’obtenir leur consentement, et pour augmenter les taux de participation à la fois des adolescents et des parents/gardiens. Ressources :  Pour des approches pratiques de mobilisation des jeunes, notamment des adolescents vulnérables, en tant que répondants, voir le document de travail intitulé « The ethics of social research with children and families in young lives: practical experiences » (http://www.younglives. org.uk/sites/www. younglives.org.uk/files/YL-WP53-Morrow-EthicsOfResearchWithChildren.pdf).  Pour des orientations sur les aspects éthiques à prendre en considération pour planifier et examiner des recherches sur la santé sexuelle et reproductive des adolescents, voir les orientations de l’OMS à ce sujet (https://apps.who.int/iris/bitstream/handle/10665/280148/9789242508413-fre. pdf?ua=1). LE PROJET EST TERMINÉ, MAIS NOUS POUVONS ENCORE EN TIRER DES LEÇONS !34 9e. Tenir compte du contexte externe dans le cadre de l’évaluation La trajectoire d’un projet est influencée par des facteurs externes. Il est donc important de tenir compte d’autres projets, politiques et développements du macroenvironnement susceptibles d’avoir influencé la trajectoire d’un projet. À ce titre, une évaluation postprojet doit souvent combler des lacunes au niveau des informations contextuelles pour améliorer les données probantes sur l’efficacité et la pérennité. Difficulté : La documentation du projet ne contient pas d’informations ou de facteurs contextuels permettant d’expliquer la nature et la trajectoire du changement. il y a peu de références aux analyses de situation ou aux risques anticipés. Les indicateurs du projet ne sont pas liés à ces facteurs contextuels, ni pendant la durée du projet ni après la fin de celui-ci. Stratégie : Recherchez un éventail de sources d’information. Consultez des informateurs clés pour obtenir des informations sur les facteurs contextuels, comme de nouveaux développements politiques ou de nouvelles forces politiques ayant pu influencer le projet, mais prenez garde aux biais potentiels. Si possible, examinez les informations pertinentes disponibles dans les médias, telles que des articles de presse, d’autres formes de nouvelles et des fils d’actualité sur Twitter. Il se peut que la documentation existante (rapports de synthèse, analyses de politiques) contienne des informations contextuelles. Essayez de recréer les calendriers d’événements internes et externes avec le concours du personnel de projet ou de partenaires de mise en œuvre et de parties prenantes disponibles afin de documenter les facteurs susceptibles d’avoir influencé la mise en œuvre. Envisagez de faire appel à des ethnographes pour vous rendre sur place et utiliser des méthodes ethnographiques pour étudier et documenter les facteurs contextuels. Il peut également être utile de recourir à des cadres d’évaluation moins traditionnels. Par exemple, si le temps et les ressources disponibles le permettent, une démarche d’évaluation réaliste, fondée sur l’acquisition d’une compréhension explicite du lien entre le contexte et les résultats, peut contribuer à éclairer la collecte d’informations pour traiter ces questions contextuelles de manière non biaisée. Ressources :  Pour une explication sur la manière de créer un calendrier d’événements, voir l’aperçu des calendriers et matrices chronologiques de Better Evaluation (http://www.betterevaluation.org/ en/evaluation-options/timelines).  Pour des informations sur l’approche d’évaluation réaliste, voir l’aperçu de cette approche de Better Evaluation (https://www.betterevaluation.org/en/approach/realist_evaluation). Difficulté : D’autres projets de développement ont démarré pendant la mise en œuvre du projet ou entre la fin du projet et son évaluation a posteriori, ce qui complique l’attribution plausible des conclusions ou influence les conclusions de l’évaluation a posteriori. Stratégie : S’ils sont disponibles, appuyez-vous sur les rapports d’évaluation et les études d’évaluation des autres projets pour valider les informations anecdotiques. Si vous avez accès aux rapports d’évaluation des autres projets, essayez de recenser les activités se chevauchant. Essayez de déterminer, par une discussion sur le calendrier d’événements, dans quelle mesure les projets ORIENTATIONS PRATIQUES POUR L’ÉVALUATION A POSTERIORI DES PROJETS DE SANTÉ SEXUELLE ET REPRODUCTIVE DES ADOLESCENTS 35 LE PROJET EST TERMINÉ, MAIS NOUS POUVONS ENCORE EN TIRER DES LEÇONS !36 des différentes organisations ont favorisé ou nui aux effets des autres projets entre la fin du projet concerné et son évaluation a posteriori. Interrogez d’anciens membres du personnel et partenaires pour découvrir si les projets et partenariats antérieurs constituaient d’importants fondements pour le projet que vous évaluez et ajoutez les réponses à la documentation contextuelle. Des méthodes telles que l’analyse des contributions et le protocole d’évaluation de l’impact qualitatif (QUIP) offrent une démarche systématique permettant d’évaluer les liens de causalité et d’en déduire des attributions plausibles dans le cadre d’évaluations réelles dans des contextes complexes. Soyez prêt à reconnaître qu’il n’est pas possible d’établir d’attribution plausible. Ressources :  our des renseignements sur l’analyse des contributions – une technique qualitative qui aide les responsables, les chercheurs et les décideurs à parvenir à un consensus sur la contribution de leur projet à des résultats donnés grâce à une meilleure compréhension des raisons pour lesquelles ces résultats ont été obtenus (ou non) et du rôle joué par le projet et les autres facteurs – voir l’aperçu de cette technique sur le site de Better Evaluation (www.betterevaluation.org/en/ plan/approach/contribution_analysis).  Pour des renseignements sur le protocole d’évaluation de l’impact qualitatif (QUIP) – une technique qualitative d’évaluation de projets mis en œuvre dans un contexte complexe qui aide à expliquer comment les changements peuvent être attribués à différents événements ou parties prenantes – voir les directives en vue d’une utilisation sur le terrain de l’outil QUIP du projet Assessing Rural Transformations (https://researchportal.bath.ac.uk/files/93328561/ QUIP_Guidelines_Oct_14.pdf).- ORIENTATIONS PRATIQUES POUR L’ÉVALUATION A POSTERIORI DES PROJETS DE SANTÉ SEXUELLE ET REPRODUCTIVE DES ADOLESCENTS 37 9f. Évaluer la pérennité et les résultats émergents et imprévus La pérennité figure presque toujours parmi les effets recherchés et est souvent l’un des critères des organismes de financement, et les évaluations postprojet sont un moyen idéal pour la mesurer. L’évaluation postprojet offre par ailleurs la possibilité de déterminer si d’autres résultats se sont produits après la fin du projet (Zivetz et al., 2017). Ces résultats peuvent être classés comme des « résultats imprévus » (découlant d’hypothèses formulées dans la théorie du changement) ou des « résultats émergents » (fruits des efforts et des ressources des participants et des partenaires après la fin du projet). Difficulté : Les résultats liés à la pérennité ne sont pas bien définis dans les documents de projet, mais figurent parmi les objectifs d’une évaluation postprojet. Stratégie : Adressez-vous au personnel disponible pour vérifier si le projet à évaluer comportait des stratégies de sortie – des efforts prévus dans le cadre du projet en vue de clôturer celui-ci ou de transférer la mise en œuvre à une autre entité – et, le cas échéant, déterminer quels indicateurs ou valeurs de référence déclencheraient la fin, l’abandon progressif ou la réduction du soutien au projet. Travaillez avec le personnel disponible du projet et des autres parties prenantes pour établir une définition opérationnelle de la pérennité à utiliser lors de la planification et de la réalisation de l’évaluation. Une approche possible consiste à élaborer une hiérarchie de pérennité (des différenciations entre les intrants, résultats ou impacts durables du projet) permettant de définir les objectifs initiaux du projet en matière de pérennité. Cela simplifiera la détermination des méthodes possibles pour évaluer la pérennité (par exemple l’observation afin de déterminer si des activités et du matériel du projet continuent d’être utilisés dans le contexte postprojet). Ressources :  Pour un exemple de hiérarchie de pérennité pouvant orienter les discussions entre les évaluateurs et le personnel concernant la formulation d’une définition opérationnelle de la pérennité pour un projet en cours d’évaluation, voir le document intitulé « Building the evidence base for post-project evaluation de Valuing Voices » (http://valuingvoices.com/wp-content/ uploads/2013/11/The-case-for-post-project-evaluation-Valuing-Voices-Final-2017.pdf) (voir également l’encadré 13).  Pour un aperçu pratique des aspects liés à l’évaluation de la pérennité des projets de santé (y compris les définitions et les types de pérennité, les caractéristiques et les mesures des variables dépendantes, les définitions des variables indépendantes ou des facteurs qui influencent la pérennité et des suggestions de modèles de recherche et de collecte de données), voir l’article intitulé « An agenda for research on the sustainability of public health programs » (https://www. ncbi.nlm.nih.gov/pmc/articles/PMC3222409). Difficulté : Les informations anecdotiques indiquent l’existence de résultats imprévus ou émergents, qui doivent faire partie du cadre d’évaluation pour documenter les leçons tirées aux fins de futurs projets. Stratégie : Plusieurs techniques d’évaluation participatives (énumérées ci-après) ont été mises au point pour faire face à ce type de problèmes concernant l’impact plus large d’un projet et la causalité plausible avec une certaine rigueur. Les outils de collecte de données et d’évaluation doivent être conçus de manière à rechercher explicitement les résultats négatifs imprévus. Si les répondants partagent facilement les résultats positifs, ils peuvent en revanche omettre les résultats négatifs à moins d’être interrogés délibérément et avec sensibilité sur ce sujet et qu’ils aient confiance dans le maintien de la confidentialité de leurs réponses. LE PROJET EST TERMINÉ, MAIS NOUS POUVONS ENCORE EN TIRER DES LEÇONS !38 Encadré 13 www.ogilviedesign.co.uk Grâce à ce cadre, nous pouvons évaluer la pérennité des intrants, des résultats et de l’impact... Un groupe témoin risquerait d’exposer les filles www.ogilviedesign.co.uk Je suis d'accord, Il vaut mieux ne pas avoir de groupe témoin Halte au harcèlement des travailleurs d u sexe Être travailleur du sexe est un métier Définir la pérennité d’un projet illustratif de santé sexuelle et reproductive des adolescents au moyen d’un cadre hiérarchique de résultats Dans cet exemple, les évaluateurs et les parties prenantes ont élaboré une hiérarchie de pérennité aux fins de l’évaluation d’une intervention concernant des clubs postscolaires pour très jeunes adolescents. Les parties prenantes au projet ont d’abord défini la pérennité des produits, résultats et impacts (axe Y). Elles ont également établi les différents types d’impact (axe X) (à savoir, si les réalisations escomptées du projet se sont avérées durables ou si des incidences plus larges en termes de pérennité se sont dégagées qui ne pouvaient être décelées qu’à plus long terme, c’est-à-dire après la fin du projet). Zivetz et al. font par ailleurs remarquer qu’il y a deux éléments de pérennité plus larges à évaluer, d’une part les résultats émergents – qui examinent comment les participants ont eu recours à leurs propres moyens pour poursuivre les initiatives du projet et peuvent engendrer des enseignements sur la promotion de la pérennité – et d’autre part les résultats imprévus – qui sont liés à la théorie du changement du projet et peuvent révéler la mesure dans laquelle les hypothèses ou les objectifs s’écartent des prévisions et pourquoi. Impacts durables Impacts émergents S/O La santé sexuelle et reproductive des adolescents et l’égalité entre les genres se sont améliorées au sein des structures scolaires Les enseignants sont plus à l’aise en matière d’éducation sexuelle Les connaissances financières des adolescents se sont améliorées Pérennité des impacts Les comités parents-enseignants- étudiants sont maintenus, avec l’appui des pouvoirs publics nationaux Les clubs postscolaires sont maintenus, et adolescents et enseignants y participent activement Les adolescents mènent des petites activités rémunérées pour financer le maintien des clubs Pérennité des résultats Des comités parents-enseignants- étudiants sont en place et formés Des clubs postscolaires sont en place et opérationnels Les adolescents et les enseignants sont formés en tant qu’animateurs Pérennité des produits Source : D’après Zivetz et al., 2017. ORIENTATIONS PRATIQUES POUR L’ÉVALUATION A POSTERIORI DES PROJETS DE SANTÉ SEXUELLE ET REPRODUCTIVE DES ADOLESCENTS 39 Source : Samandari, G et al., 2016. LE PROJET EST TERMINÉ, MAIS NOUS POUVONS ENCORE EN TIRER DES LEÇONS !40 Ressources :  La récolte des incidences est un procédé participatif de collecte de preuves de ce qui a changé pour déterminer, de manière rétrograde, si et comment une intervention a contribué à ces changements. Cette méthode s’est révélée être particulièrement utile dans des situations complexes. Pour de plus amples renseignements, voir l’aperçu de ce procédé sur le site Web Better Evaluation (http://www.betterevaluation.org/en/plan/approach/outcome_harvesting).  La technique du changement le plus significatif est un procédé participatif qui fait appel aux parties prenantes pour la collecte et l’analyse des données en vue d’identifier les changements les plus significatifs qu’elles ont observés en lien avec le projet. Les parties prenantes au projet décident des types de changement (incidences) qu’elles observent, et l’analyse de plusieurs histoires peut confirmer les résultats escomptés et révéler les résultats imprévus et émergents. Pour plus d’informations, voir l’aperçu de cette technique publié sur le site Monitoring and Evaluation News (http://mande.co.uk/special-issues/most- significant-change-msc/).  La cartographie des effets d’entraînement (ripple effect mapping en anglais) est une démarche participative semblable à la cartographie conceptuelle de groupe, engageant systématiquement les participants dans un processus visuel destiné à identifier les résultats, les impacts et les conséquences imprévues, et à déterminer les prochaines étapes. Pour plus d’informations, voir l’article paru en 2015 dans le Journal of Extension sous le titre « Using ripple effect mapping to evaluate program impact: choosing or combining the methods that work best for you » (https://joe.org/joe/2015april/tt1.php). ORIENTATIONS PRATIQUES POUR L’ÉVALUATION A POSTERIORI DES PROJETS DE SANTÉ SEXUELLE ET REPRODUCTIVE DES ADOLESCENTS 41 10 Il est ressorti de l’examen de la littérature réalisé aux fins des présentes orientations que plusieurs principes transversaux liés aux vulnérabilités et à la résilience propres aux adolescents, notamment les principes de développement positif des jeunes, d’égalité entre les genres, de droits humains et de réduction de la pauvreté, sont souvent ignorés ou ne sont pas abordés explicitement dans les rapports de projet et d’évaluation (Denno et al., 2015). Ces facteurs transversaux influencent la trajectoire des projets en ce qui a trait aux résultats relatifs à la santé des adolescents et en ce qui concerne les conditions du développement durable pour les jeunes et leurs communautés. Lorsque ces questions transversales sont appliquées aux projets de développement des adolescents, elles modifient la manière dont les projets sont conçus, mis en œuvre, suivis et évalués (UNICEF, 2012, p. 13). L’évaluation postprojet peut contribuer à mettre en évidence l’importance de ces principes et concepts en analysant les lacunes conceptuelles et en promouvant l’inclusion de ces questions dans les nouveaux projets. Par exemple, si un projet global d’éducation sexuelle cible uniquement les adolescents plus âgés, ou exclusivement les filles, l’examen des principes créerait des opportunités de répondre également aux besoins des adolescents plus jeunes et des garçons. 10a. Développement positif des jeunes Conseil : Évaluez dans quelle mesure un projet contribue à la promotion du développement positif des jeunes. Le développement positif des jeunes fournit une perspective globale au regard de laquelle évaluer les projets. Il invite les jeunes et leur famille, leur communauté et les pouvoirs publics à appuyer l’autonomisation des jeunes afin qu’ils puissent s’épanouir pleinement (voir la boîte à outils d’évaluation du développement positif des jeunes de Youth Power, ci-après). Les démarches de développement positif des jeunes visent à renforcer leurs compétences, leurs atouts et leurs aptitudes, à promouvoir des relations saines, à favoriser un environnement propice et à transformer les systèmes afin de les rendre plus adaptés aux jeunes et à assurer la redevabilité envers les jeunes. Dans le cadre d’une évaluation postprojet, il convient notamment de prendre en compte les aspects suivants liés au développement positif des jeunes :  Atouts : La conception du projet visait-elle à doter les adolescents des ressources dont ils ont besoin et à les aider à acquérir les compétences et les aptitudes nécessaires pour obtenir les résultats escomptés en termes de santé sexuelle et reproductive ? Évaluer les principes transversaux liés aux projets LE PROJET EST TERMINÉ, MAIS NOUS POUVONS ENCORE EN TIRER DES LEÇONS !42  Capacité d’agir : La conception du projet cherchait-elle à aider les adolescents à exploiter leurs atouts pour fixer leurs propres objectifs et prendre leurs propres décisions concernant leur vie de manière à obtenir les résultats visés ?  Contribution : Le projet assurait-il la participation significative des adolescents comme source de changement pour leur propre développement positif et celui de leur communauté ?  Environnement propice : Le projet a-t-il créé un environnement plus propice pour les adolescents, qui développe et appuie leurs atouts, leur capacité d’agir, leur contribution et leur accès aux services et aux opportunités ? Renforce-t-il leur capacité à éviter les risques et à assurer leur propre sécurité ?1 Ressource : Pour des informations sur l’évaluation du développement positif des jeunes, voir la boîte à outils de Youth Power (2017) (http://www.youthpower.org/resources/positive-youth-development- measurement-toolkit). 1 Le terme « environnement » englobe des facteurs sociaux (relations avec les pairs et les adultes), normatifs (attitudes, normes et croyances), structurels (lois, services de projet et systèmes) et physiques (espaces propices). Figure 3. Cadre de développement positif des jeunes illustrant les intersections menant à une adolescence saine Source : D’après Youth Power, 2017. Environnement propice • Attachement • Opportunités d’engagement prosocial • Soutien • Normes prosociales • Valeur et reconnaissance • Services adaptés aux jeunes • Services sensibles au genre • Lois et politiques tenant compte des jeunes • Lois et politiques sensibles au genre • Sécurité physique • Sécurité psychologique • Identité positive • Efficacité personnelle • Établissement d’objectifs/capacité à anticiper • Persévérance et diligence • Croyances positives sur l’avenir Capacité d’agir • Mobilisation des jeunes Contribution Jeunes sains, productifs et engagés Atouts • Révision TRA Formation • Éducation formelle • Compétences interpersonnelles (aptitudes sociales et contrôle de soi) • Facultés • Conscience des émotions • Réussite scolaire ORIENTATIONS PRATIQUES POUR L’ÉVALUATION A POSTERIORI DES PROJETS DE SANTÉ SEXUELLE ET REPRODUCTIVE DES ADOLESCENTS 43 10b. Promotion de l’égalité entre les genres et des droits humains Conseil : Évaluez dans quelle mesure le projet contribue à la promotion de l’égalité entre les genres et au respect des droits humains. Les normes, les rôles et les relations liés au genre ont une incidence sur la santé des personnes, leur bien-être et les opportunités dont elles bénéficient. À ce titre, les projets doivent comprendre et reconnaître l’influence du genre et l’impact de l’inégalité entre les genres sur la vie des adolescents. Les projets peuvent être différenciés selon la mesure dans laquelle ils tiennent compte des questions de genre. Les projets inégalitaires en termes de genre perpétuent l’inégalité entre les genres en renforçant les normes, les rôles et les relations inégaux. Les projets neutres à l’égard du genre ignorent les normes de genre, les rôles sexospécifiques et les relations entre les genres. Les projets sensibles au genre tiennent compte de ces normes, rôles et relations, mais ne s’attaquent pas aux inégalités générées par les normes, rôles et relations inégaux. Enfin, les projets à effet transformateur en matière de genre sont des projets qui tiennent compte des normes, rôles et relations liés au genre et s’attaquent aux causes des inégalités liées au genre en matière de santé (OMS, 2011). De même, les projets doivent adopter des démarches de santé fondées sur les droits humains, qui attirent l’attention sur les inégalités, les pratiques discriminatoires (aussi bien perçues que réelles) et les rapports de force déséquilibrés, qui sont souvent à l’origine des résultats sanitaires inégaux, et fournissent des stratégies et des solutions visant à les corriger (OMS, 2019). Les questions centrales liées à l’égalité de genre et aux droits humains à prendre en compte dans le cadre d’une évaluation postprojet sont les suivantes :  Conception : La conception du projet était-elle différenciée selon le genre ? Une analyse de la situation a-t-elle été réalisée pour comprendre les différences dues aux inégalités entre les genres ? D’autres différences essentielles ont-elles été recensées (classe, handicap, appartenance ethnique, race, pauvreté et orientation sexuelle) et a-t-on procédé à une évaluation de l’incidence que le projet aurait sur les circonstances respectives des adolescents, leur statut, leurs opportunités et leurs ressources en matière de santé et de bien-être ?  Participation des adolescents durant le projet : Quels rôles les adolescents ont-ils joué dans la conception du projet ? Dans quelle mesure et à quel niveau d’égalité les adolescents ont-ils été impliqués dans la mise en œuvre d’éléments fondamentaux du projet ? Ont-ils, par exemple, eu des rôles dirigeants dans la mise en œuvre des activités ? Dans quelle mesure et à quel niveau d’égalité les adolescents ont-ils été impliqués dans l’examen des progrès vers les résultats visés du projet ?  Suivi : Les systèmes d’établissement de rapports ventilent-ils les données par âge et sexe des adolescents ? Rendent-ils compte des activités de groupes autres que les adolescents (parents, enseignants et autres) en faveur d’un environnement propice ? LE PROJET EST TERMINÉ, MAIS NOUS POUVONS ENCORE EN TIRER DES LEÇONS !44 10c. Réduction de la pauvreté Conseil : Évaluez la mesure dans laquelle le projet contribue à la réduction de la pauvreté, telle qu’exposée dans la Stratégie mondiale pour la santé de la femme, de l’enfant et de l’adolescent et dans les objectifs de développement durable. La Stratégie mondiale pour la santé de la femme, de l’enfant et de l’adolescent envisage que d’ici 2030, nous vivrons dans un monde dans lequel chaque femme, chaque enfant et chaque adolescent dans quelque situation que ce soit jouissent de leur droit à la santé et au bien-être physiques et mentaux, ont des perspectives sociales et économiques, et peuvent participer pleinement à l’édification de sociétés prospères et pérennes. Questions centrales à inclure dans une évaluation postprojet (tiré de la Stratégie mondiale pour la santé de la femme, de l’enfant et de l’adolescent 2016-2030) :  Le projet s’inscrivait-il dans un contexte structurel axé sur la pauvreté, par exemple une stratégie nationale de réduction de la pauvreté ou de réalisation des objectifs de développement durable ?  Le projet épousait-il un ou plusieurs principes directeurs des objectifs de développement durable, traduisant une compréhension de la complexité de l’action nécessaire pour atteindre ces objectifs – aligné sur les normes humanitaires et d’efficacité du développement, fondé sur les droits humains, sensible au genre, reposant sur le partenariat, éclairé par les personnes et redevable ?  Le projet a-t-il contribué à la réduction de la pauvreté au niveau national ou infranational ? Autrement dit, a-t-il contribué à mettre fin aux décès évitables, à garantir la bonne santé et le bien-être ou à généraliser l’environnement propice pour les jeunes ? ORIENTATIONS PRATIQUES POUR L’ÉVALUATION A POSTERIORI DES PROJETS DE SANTÉ SEXUELLE ET REPRODUCTIVE DES ADOLESCENTS 45 11 En conclusion, il est important de répéter que l’évaluation postprojet n’est pas la forme idéale d’évaluer un projet, hormis, peut-être, pour évaluer la pérennité du projet terminé ou ses effets imprévus et émergents. Lorsqu’une évaluation a posteriori est la seule possibilité, il est nécessaire de veiller à ce qu’elle soit réalisée avec la plus grande rigueur possible et à ce que les résultats et les enseignements soient diffusés. Dans cet esprit, il faut encourager une réflexion plus systématique sur l’utilité et l’application de l’évaluation postprojet aux fins suivantes :  savoir ce qui fonctionne et pourquoi cela fonctionne ;  garantir la redevabilité envers les parties prenantes, notamment les adolescents ;  évaluer la pérennité ; et  documenter les effets imprévus et émergents. 1. Renforcer les capacités de suivi et d’évaluation du personnel au sein du projet et des organismes de financement afin d’élargir les bases de réflexion et d’action en matière d’évaluation S’il est plus conscient de l’importance de l’évaluation lors de la conception du projet, de sa mise en œuvre et de l’évaluation des progrès et de l’impact, et possède de meilleures compétences pour réaliser ces évaluations, le personnel de projet et des organismes de financement améliorera ses compétences de pensée évaluative et sera à même de déceler de nouvelles occasions d’exploiter les données collectées de manière systématique tout au long du projet – pas seulement après la fin de celui-ci. Comment les évaluateurs, les responsables de programmes et les bailleurs de fonds peuvent-ils appuyer les évaluations postprojet ? LE PROJET EST TERMINÉ, MAIS NOUS POUVONS ENCORE EN TIRER DES LEÇONS !46 De plus, les évaluateurs doivent systématiquement déterminer les rôles appropriés et réalistes des adolescents dans le cadre des évaluations et les budgets à prévoir pour les ressources et l’espace nécessaires à une participation porteuse de sens des jeunes. Les évaluateurs et les directeurs de projet peuvent militer en faveur du développement positif des jeunes, notamment par leur engagement en matière d’évaluation. 2. Élargir la base de données probantes en matière de projets de santé sexuelle et reproductive des adolescents Pour faire avancer les choses, il est nécessaire d’inclure des activités d’évaluation dans les propositions de projets de santé sexuelle et reproductive des adolescents et de prévoir des budgets à cet effet. Lorsqu’une évaluation postprojet s’avère être la meilleure option, il est important de connaître et prendre en compte les limites ainsi que les occasions que présente une telle évaluation. Pour faciliter les évaluations postprojet, nous encourageons les responsables à conserver non seulement les rapports, mais également les données après la fin des projets. Par ailleurs, il n’est pas facile de trouver des évaluations postprojet dans le domaine public. Des efforts collaboratifs sont nécessaires pour généraliser et améliorer le partage et l’exploitation des conclusions des évaluations a posteriori. Il convient de prévoir des postes budgétaires pour se donner le temps de rédiger des rapports présentant les conclusions des évaluations postprojet et de les publier dans des revues à comité de lecture et des bulletins d’information populaires. Les organisations, y compris les organismes de financement et les centres d’échange d’informations (voir l’annexe C), devraient systématiquement publier les rapports d’évaluation, notamment d’évaluations a posteriori. Compte tenu du potentiel des évaluations postprojet d’améliorer l’apprentissage et d’influer sur la conception et la mise en œuvre de futurs projets, les présentes orientations se veulent source d’idées et d’inspiration pour les évaluateurs et les bailleurs de fonds dans le cadre de l’évaluation a posteriori de futurs projets. ORIENTATIONS PRATIQUES POUR L’ÉVALUATION A POSTERIORI DES PROJETS DE SANTÉ SEXUELLE ET REPRODUCTIVE DES ADOLESCENTS 47 Références Cette liste comprend les documents sur lesquels repose le corps des présentes orientations. Elle n’inclut en revanche pas les ressources citées sous les différentes stratégies proposées à la section 8 du corps des orientations ni les articles retenus pour l’examen de la littérature, qui figurent à l’annexe A. Ouvrages Bamburger M., J. Rugh, M. Mabry, Realworld evaluation: working under budget, time, data, and political constraints (deuxième édition), Thousand Oaks (Californie) : Sage Publishers, 2012. Documents/directives d’évaluation d’organismes bilatéraux de financement Agence autrichienne de développement, Directives d’évaluation de projets et de programmes (version finale traduite en anglais), Vienne, Agence autrichienne de développement (unité d’évaluation), 2009. Agence japonaise de coopération internationale, Directives d’évaluation 2004, Tokyo, Agence japonaise de coopération internationale, 2004 (https://www.jica.go.jp/english/our_work/evaluation/tech_and_grant/guides/pdf/guideline03-02.pdf, consulté le 6 mai 2019). Articles Barua, A. et V. Chandra-Mouli, « The Tarunya Project’s efforts to improve the quality of adolescent reproductive and sexual health services in Jharkhand state, India: a post-hoc evaluation », International Journal of Adolescent Medicine and Health, 2016 ;29(6) (doi : https://www.degruyter.com/view/journals/ijamh/29/6/article-20160024.xml, consulté le 6 mai 2019). Busza, J., S. Castle et A. Diarra, « Trafficking and health », BMJ, 2004 ; 328(7452): 1369-1371. Chandra-Mouli, V., M. Plesons, A. Barua, P. Sreenath et S. Mehra, « How can collective action between government sectors to prevent child marriage be operationalized? Evidence from a post-hoc evaluation of an intervention in Jamui, Bihar and Sawai Madhopur, Rajasthan in India », Reproductive Health, 2018 ;15:118. Chandra-Mouli, V., J. Svanemyr, A. Amin, H. Fogstad, L. Say, F. Girard et al., « Twenty years after International Conference on Population and Development: where are we with adolescent sexual and reproductive health and rights? », Journal of Adolescent Health, 2015 ;56(1):S1– S6. Denno, D. M., A. J. Hoopes et V. Chandra-Mouli, « Effective strategies to provide adolescent sexual and reproductive health services and to increase demand and community support », Journal of Adolescent Health, 2015 ;56(1):S22–S41. Ivanova, O., K. Cordova-Pozo, Z. E. Segura, B. Vega, V. Chandra-Mouli, M. J. Hindin et al., « Lessons learnt from the CERCA project, a multicomponent intervention to promote adolescent sexual and reproductive health in three Latin America countries: a qualitative post-hoc evaluation », Evaluation and Program Planning, 2016 ;58:98–105 (https://www.sciencedirect.com/science/article/pii/ S0149718915300719?via%3Dihub, consulté le 6 mai 2019). Ryan, R., L. Wortley et É. Ní Shé, « Evaluations of post-disaster recovery: a review of practice material », Evidence Base, 2016 ;1(4):1–33 (https://www.anzsog.edu.au/resource-library/research/evaluations-of-post-disaster-recovery-a-review-of-practice-material, consulté le 6 mai 2019). Samandari, G., A. Delamou, P. Traore et al., « Integrating intimate partner violence screening and counseling in a family planning clinic: Evaluation of a pilot project in Conakry, Guinea », African Journal of Reproductive Health, 2016 ; 20(2):86-93. Van Reeuwijk, M. et A. Singh, « Meaningful Youth Participation as a way to achieving success - Results from operational research on meaningful youth participation in a large-scale youth SRHR program in Africa and Asia », Canadian Journal of Children’s Rights, 2018 ; 5(1). Documents techniques Bamburger, M., Conducting quality impact evaluations under budget, time and data constraints, Groupe indépendant de conseil de la Banque mondiale, Washington DC, Banque mondiale, 2006. LE PROJET EST TERMINÉ, MAIS NOUS POUVONS ENCORE EN TIRER DES LEÇONS !48 Brown, P. R. et K. Hardee, Transitions to Adulthood in Jamaica: Retrospective Study of Youth.now Participation, rapport d’étude, Kingston (Jamaïque) et Morristown (New Jersey), PEY & Associates and What Works Association, 2017. Farzaneh, N., An evaluation of teenage pregnancy pilot projects in Sierra Leone, New York, UNICEF, 2013 (https://www.unicef.org/ evaldatabase/files/SierraLeone_2013-001_Evaluation_of_Teenage_Pregnancy_Pilot_Projects_in_Sierra_Leone.pdf, consulté le 6 mai 2019). Mhando, N.E., R. Shukia et K. Mkumbo, United Republic of Tanzania/UNICEF evaluation of TUSEME Programme in Tanzania, New York, UNICEF, 2015 (https://www.unicef.org/evaldatabase/files/TUSEME_REPORT_-_Final_(Tanzania_2015-008).pdf, consulté le 6 mai 2019). Morra-Imas, L. G. et R. C. Rist, The road to results: designing and conducting effective development evaluations, Washington DC, Banque internationale de reconstruction et de développement/Banque mondiale, 2009 (https://openknowledge.worldbank.org/bitstream/ handle/10986/2699/52678.pdf, consulté le 6 mai 2019). CAD-OCDE, Glossaire des principaux termes relatifs à l’évaluation et la gestion axée sur les résultats, Paris, CAD-OCDE, 2010. Puri, J., A. Aladysheva, V. Iversen, Y. Ghorpade et T. Brück, What methods may be used in impact evaluations of humanitarian assistance?, Bonn, Institut d’études du travail (IZA), 2015. Social Cops Academy, The ultimate guide to effective data collection [Using data intelligence for better decision] [site Web], 2017 (https://www.udemy.com/user/socialcops/, consulté le 6 mai 2019). UNICEF, Application of a human rights based approach and gender mainstreaming strategy for work with adolescents in Latin America and the Caribbean, Panama City, Panama, Bureau régional de l’UNICEF pour l’Amérique latine et les Caraïbes, 2012. USAID, Evaluation: Performance evaluation of the strengthening pediatric HIV and AIDS services in Tanzania program, Washington DC, USAID, 2015. OMS, Key Issues in the implementation of programmes for adolescent sexual and reproductive health, Genève, Organisation mondiale de la Santé, 2004 (https://apps.who.int/iris/bitstream/handle/10665/69695/WHO_FCH_CAH_04.3_eng. pdf;jsessionid=3C4E0CBAD79AED0C8573FC3CBB6D782D?sequence=1, consulté le 6 mai 2019). OMS, Gender mainstreaming for health managers: a practical approach – Facilitators’guide, Participant’s notes, Genève, Organisation mondiale de la Santé, 2011 (https://www.who.int/gender-equity-rights/knowledge/health_managers_guide/en/, consulté le 6 mai 2019). OMS, Orientations sur les aspects éthiques à prendre en considération pour planifier et examiner des recherches sur la santé sexuelle et reproductive des adolescents, Genève, Organisation mondiale de la Santé, 2018 (http://apps.who.int/iris/bitstream/hand le/10665/273792/9789241508414-eng.pdf?ua=1, consulté le 6 mai 2019). Zivetz, L., J. Cekan et K. Robbins, Building the evidence base for post project evaluation: case study review and evaluability checklists [a report to the Faster Forward Fund] [site Web], Valuing voices, 2017 (http://valuingvoices.com/building-the-evidence-base-for-post- project-evaluation-a-report-to-the-faster-forward-fund/, consulté le 6 mai 2019). Articles en ligne/blogs Mindtools, Post implementation reviews: making sure that what you delivered actually works, 2019 (https://www.mindtools.com/pages/ article/newPPM_74.htm, consulté le 6 mai 2019). OCDE, DAC Criteria for evaluating development assistance, 2000 (http://www.oecd.org/dac/evaluation/49756382.pdf, consulté le 6 mai 2019). OMS, Gender, equity and human rights, 2019 (https://www.who.int/gender-equity-rights/understanding/human-rights-definition/ en/, consulté le 6 mai 2019). Banque mondiale, Monitoring and evaluation for better development results, reportage, 2013 (http://www.worldbank.org/en/news/ feature/2013/02/14/monitoring-and-evaluation-for-better-development-results, consulté le 6 mai 2019). Youth Power, Positive Youth Development (PYD) Framework, 2017 (https://www.youthpower.org/positive-youth-development-pyd- framework, consulté le 15 juillet 2019). ORIENTATIONS PRATIQUES POUR L’ÉVALUATION A POSTERIORI DES PROJETS DE SANTÉ SEXUELLE ET REPRODUCTIVE DES ADOLESCENTS 49 Annexe A : Rapport d’analyse – Examen d’évaluations a posteriori de projets de santé sexuelle et reproductive des adolescents Pour comprendre la logique, les difficultés et les solutions en matière d’évaluation a posteriori de projets de santé sexuelle et reproductive des adolescents, il a été procédé à un examen d’articles soumis à comité de lecture et de littérature grise ainsi que de rapports d’évaluation a posteriori de projets portant sur les adolescents et la santé sexuelle et reproductive des adolescents et des jeunes. 1. Méthodologie d’identification des rapports d’évaluation retenus aux fins de cet examen Des recherches ont été menées dans sept bases de données d’évaluation selon trois niveaux de critères. Les critères d’inclusion du premier niveau (évaluations de projets achevés entre 2010 et 2016 dans des pays à revenu faible et intermédiaire) ont permis d’identifier 99 rapports d’évaluation. Sur ces 99 rapports, 41 ont été retenus après application des critères du deuxième niveau (projets et programmes de santé sexuelle et reproductive des adolescents). Enfin, l’examen de ces rapports selon les critères du troisième niveau (évaluations postprojet) a permis d’identifier six rapports pertinents. L’OMS a pour sa part fourni sept rapports et articles soumis à comité de lecture supplémentaires, portant à treize le nombre total d’évaluations postprojet figurant dans la liste à la fin de la présente annexe. Bases de données d’évaluation consultées et résultats  USAID Development Experience Clearinghouse (centre d’échange d’informations sur l’expérience en matière de développement d’USAID) (17 évaluations de projets de santé sexuelle et reproductive des adolescents et des jeunes, dont 2 a posteriori)  Base de données d’évaluation de l’UNICEF (24 évaluations identifiées, dont 4 qui répondent aux critères d’inclusion)  Réseau d’apprentissage actif pour la redevabilité et la performance dans l’action humanitaire (ALNAP) (aucune évaluation identifiée)  Agence canadienne de développement international (aucune évaluation identifiée)  Service EuropeAid de la Commission européenne (aucune évaluation identifiée)  Groupe indépendant d’évaluation de la Banque mondiale (aucune évaluation identifiée)  Poverty Action Lab (aucune évaluation identifiée) Critères d’inclusion lors des recherches dans les bases de données  Critères du premier niveau : évaluations de programmes de pays à revenu faible et intermédiaire publiées de 2011 à 2017 (99 rapports)  Critères du second niveau : Projets et programmes de santé sexuelle et reproductive des adolescents et des jeunes (41 rapports)  Critères du troisième niveau : évaluations réalisées a posteriori (6 rapports) Remarque : Les critères de recherche variaient selon les fonctions de recherche des bases de données, mais comprenaient les suivants : adolescents/jeunes/santé sexuelle et reproductive des adolescents/ santé sexuelle des adolescents/évaluation de l’impact/examens de la mise en œuvre. LE PROJET EST TERMINÉ, MAIS NOUS POUVONS ENCORE EN TIRER DES LEÇONS !50 Remarques sur le processus 1. Si les organismes de financement et les centres d’échange d’informations encouragent la publication des évaluations dans toutes les bases de données, cela n’est pas obligatoire. De ce fait, l’univers des rapports d’évaluation est autodéterminé. Seul l’UNICEF applique un critère supplémentaire concernant la publication des évaluations, qui doivent respecter un niveau défini de rigueur. 2. La recherche a produit un nombre réduit de rapports et a mis en lumière plusieurs problèmes de consultation des bases de données.  Les différents termes de recherche inclus dans les sept sites Web d’évaluation rendaient la recherche imprécise. Une partie seulement des sites proposaient « santé des jeunes et des adolescents » comme terme de recherche, et aucun ne proposait « évaluation postprojet ».  Dix-sept articles portant sur la santé des jeunes et des adolescents ont été identifiés sur le centre d’échange d’informations sur l’expérience en matière de développement d’USAID, mais seuls deux de ces articles concernaient des évaluations postprojet. En outre, la plupart des rapports exclus étaient axés sur des problèmes autres que la santé sexuelle et reproductive des adolescents et des jeunes.  Au total, 24 articles de 2011 à 2017 ont été identifiés dans la base de données d’évaluation de l’UNICEF sur la base des mots-clés « jeunes » et « adolescents ». Toutefois, seuls quatre de ces 24 articles avaient trait à la santé sexuelle et reproductive, et trois des quatre articles concernaient des évaluations postprojet.  Aucun article répondant aux critères d’inclusion n’a pu être identifié dans la base de données d’évaluation du réseau d’apprentissage actif pour la redevabilité et la performance dans l’action humanitaire (ALNAP).  Aucun article répondant aux critères d’inclusion n’a été identifié dans les autres bases de données et sites Web, notamment ceux de l’Agence canadienne de développement international, de la Commission européenne, du groupe indépendant d’évaluation de la Banque mondiale et de Poverty Action Lab. 2. Principales conclusions Pourquoi l’évaluation postprojet a-t-elle été réalisée ? La justification de la réalisation des évaluations postprojet variait d’un rapport à l’autre. Il s’agissait notamment de mesurer l’efficacité, d’extraire les enseignements, de déterminer les améliorations possibles de l’intervention dans le cadre de futurs projets et d’évaluer la pérennité du projet de santé sexuelle et reproductive des adolescents et des jeunes. Qui a commandé l’évaluation et qui l’a réalisée ? Les commanditaires des évaluations étaient l’organisme de financement/technique et, dans certains cas, les principales entités de mise en œuvre. Ces commanditaires faisaient généralement appel à des évaluateurs externes ou à des sociétés de recherche/d’évaluation pour mener à bien l’évaluation. En quoi consistait la participation des parties prenantes au projet, notamment des jeunes ? La participation des parties prenantes, notamment des jeunes, variait d’un rapport à l’autre. Dans le cas de huit évaluations, les parties prenantes intervenaient uniquement en tant que répondants. Deux évaluations ont fait participer des parties prenantes adultes au sein de l’équipe d’évaluation. Trois évaluations ont fait participer les adolescents au processus d’évaluation, principalement dans le cadre de réunions consultatives et, dans un cas, en tant que coévaluateurs impliqués tout au long du processus d’évaluation. ORIENTATIONS PRATIQUES POUR L’ÉVALUATION A POSTERIORI DES PROJETS DE SANTÉ SEXUELLE ET REPRODUCTIVE DES ADOLESCENTS 51 Quelles étaient les approches d’évaluation ? Toutes les évaluations avaient adopté une approche qualitative pour la collecte des données primaires, mais quelques-unes avaient recours à une combinaison de méthodes. Seules deux évaluations avaient recours à des mesures pré-intervention/ post-intervention. Plusieurs optaient pour des approches atypiques, comme l’évaluation fondée sur la théorie et la cartographie des incidences. Les rapports contenaient-ils des commentaires des évaluateurs sur les obstacles et les limitations des évaluations postprojet ? Dans les treize rapports, les évaluateurs évoquaient des limitations analogues. Les thèmes récurrents comprenaient les contraintes de temps, la petite taille des échantillons et le manque de données primaires ou secondaires à comparer avec les données de référence ou au regard desquelles vérifier les résultats. Dans la plupart des cas, les évaluateurs n’avaient pas participé dès le départ au processus de conception de l’évaluation, et n’avaient été identifiés et recrutés qu’après la fin du projet. Dans de nombreux rapports, la disponibilité limitée des informations et les contraintes de temps augmentaient la pression sur les évaluateurs, qui devaient trouver un équilibre entre les processus d’exécution de l’évaluation et la garantie de la qualité du processus de collecte des données. Les rapports contenaient-ils des commentaires des évaluateurs sur l’utilité des évaluations postprojet ? Seuls quelques évaluateurs abordaient explicitement et expliquaient l’utilité des évaluations postprojet. En revanche, aucun d’entre eux ne faisait valoir la nécessité de ce type d’évaluation. LE PROJET EST TERMINÉ, MAIS NOUS POUVONS ENCORE EN TIRER DES LEÇONS !52 Évaluations postprojet incluses dans cette analyse Barua, A. et V. Chandra-Mouli, « The Tarunya Project’s efforts to improve the quality of adolescent reproductive and sexual health services in Jharkhand state, India: a post-hoc evaluation », International Journal of Adolescent Medicine and Health, 2016 ;29(6) (doi: https://doi.org/10.1515/ijamh-2016-0024, consulté le 6 mai 2019). Bernstein, R., J. Harkins, M. Mwanza et S. Nandi, Performance evaluation of the Strengthening Pediatric HIV and AIDS Services in Tanzania Program, USAID, 2015 (http://pdf.usaid.gov/pdf_docs/PA00KJFF.pdf, consulté le 7 mai 2019). Chandra-Mouli, V., A. Barua et S. Igras, Strengthening collective response of the government to end child marriage through a district level convergence approach in Jamui, Bihar, and Sawai Madhopur, Rajasthan, India, Genève, OMS, 2016. Collins, T., Y. Yusuf, H. Tesfahun et S. Dejene, A rights-based approach to adolescent and youth development, Ethiopia. End of programme evaluation 2013, Londres, HLSP, 2013 (https://www.unicef.org/evaldatabase/files/Ethiopia_2013-023_ Evaluation_of_Adolescent_Programme-Final_Report_RNE.pdf, consulté le 7 mai 2019). Farzaneh, N., An evaluation of teenage pregnancy pilot projects in Sierra Leone, UNICEF, 2013 (https://www.unicef.org/ evaldatabase/files/SierraLeone_2013-001_Evaluation_of_Teenage_Pregnancy_Pilot_Projects_in_Sierra_Leone. pdf, consulté le 6 mai 2019). Gotsadze, T., B. Sharipova et S. Ashurov, Youth friendly health services program in Tajikistan 2006–2013: program evaluation report, UNICEF, 2014 (https://www.unicef.org/evaldatabase/files/Tajikistan_Youth_Friendly_Health_ Services_program_in_Tajikistan.pdf, consulté le 7 mai 2019). Ivanova, O., K. Cordova-Pozo, Z. E. Segura, B. Vega, V. Chandra-Mouli, M. J. Hindin et al., « Lessons learnt from the CERCA project, a multicomponent intervention to promote adolescent sexual and reproductive health in three Latin America countries: a qualitative post-hoc evaluation », Evaluation and Program Planning, 2016 ;58:98–105 (https://doi. org/10.1016/j.evalprogplan.2016.06.007, consulté le 6 mai 2019). Mhando, N.E., R. Shukia et K. Mkumbo, United Republic of Tanzania/UNICEF evaluation of TUSEME Programme in Tanzania, UNICEF, 2015 (https://www.unicef.org/evaldatabase/files/TUSEME_REPORT_-_Final_(Tanzania_2015-008). pdf, consulté le 6 mai 2019). Rijsdijk, L., A. Bos, R. Ruiter, J. Leerlooijer, B. de Haas et H. Schaalma, « The world starts with me: a multilevel evaluation of a comprehensive sex education programme targeting adolescents in Uganda », BMC Public Health, 2011 ;(11):334. Swartz, S., C. Deutsch, M. Makoae, B. Michel, J. Harding, G. Garzouzie et al., « Measuring change in vulnerable adolescents: findings from a peer education evaluation in South Africa », Journal of Social Aspects of HIV/AIDS, 2012 ;9(4):242–254. True Panacea LLC, K. Endres, P. Rao, ARC TWC evaluation: Guyana and Tanzania comparative report, USAID, 2010 (https:// pdf.usaid.gov/pdf_docs/PDACR615.pdf, consulté le 6 mai 2019). Belle, S. van, B. Marchal, D. Dubourg et G. Kegels, « How to develop a theory-driven evaluation design? Lessons learned from an adolescent sexual and reproductive health programme in West Africa », BMC Public Health, 2010 ;(10):741. Geugten, J. van der, B. van Meijel, M. H. den Uhl et N. de Vries N, « Evaluation of a sexual and reproductive health education programme: students’knowledge, attitude and behaviour in Bolgatanga Municipality, Northern Ghana », African Journal of Reproductive Health, 2015 ;19(3):126–36. ORIENTATIONS PRATIQUES POUR L’ÉVALUATION A POSTERIORI DES PROJETS DE SANTÉ SEXUELLE ET REPRODUCTIVE DES ADOLESCENTS 53 Annexe B : Liste de contrôle d’évaluabilité postprojet L’examen de l’évaluabilité cherche à déterminer « la mesure selon laquelle une activité ou un programme est évalué de façon fiable et crédible » (CAD-OCDE, 2010, p. 21). Un tel examen aide à déterminer si une évaluation vaut la peine d’être entreprise en fonction des avantages et des coûts anticipés et comment la concevoir en vue d’une utilité maximale. Cette liste de contrôle a pour objectif d’identifier les lacunes dans les données disponibles et les autres déficiences au niveau des ressources nécessaires pour mener une évaluation postprojet. La connaissance de ces limitations peut mettre en lumière les aspects de l’évaluation nécessitant des mesures d’atténuation pour que l’évaluation postprojet puisse progresser. À noter qu’il n’y a pas de seuil minimal de critères requis pour procéder à une évaluation postprojet. La décision de lancer ou non une évaluation postprojet dépend du contexte du projet concerné. Considérations d’ordre organisationnel L’évaluation postprojet a une finalité claire comprise par l’ensemble des parties prenantes. Exemples de finalités courantes : enseignements organisationnels et liés au projet : preuves de l’efficacité globale ; preuves d’incidences imprévues ou émergentes1 ; preuves en faveur de l’amélioration de la qualité du projet à l’avenir ou de la mise à l’échelle des efforts fructueux ; preuves de la pérennité des résultats/incidences ; promotion de la redevabilité envers les bénéficiaires, les partenaires, les bailleurs de fonds et les autres parties prenantes ; justification de financements futurs. L’utilité perçue des résultats justifie l’investissement dans une évaluation postprojet. Il existe des indices clairs de l’utilité des résultats de l’évaluation a posteriori du projet pour éclairer les prises de décisions politiques ou programmatiques ou de l’utilité de l’évaluation à d’autres égards. Il y a un plan explicite pour la diffusion des conclusions, notamment aux participants au projet et aux partenaires, et une procédure d’apprentissage organisationnel. La direction apporte un soutien ferme à l’évaluation postprojet et, d’une manière générale, à la prise de décisions fondée sur des données probantes. Il y a un consensus clair entre le bailleur de fonds, l’entité chargée de la mise en œuvre, le personnel du projet, les autres partenaires et les évaluateurs quant aux rôles et responsabilités. 1 Zivetz, Cekan et Robbins (2017) font une distinction entre les résultats imprévus (découlant d’hypothèses figurant dans la théorie du changement) et les résultats émergents (liés aux efforts et aux ressources des participants et des partenaires après la fin du projet). LE PROJET EST TERMINÉ, MAIS NOUS POUVONS ENCORE EN TIRER DES LEÇONS !54 Disponibilité de l’information Des documents de base sur le projet sont disponibles, dont les suivants : proposition initiale de projet ; analyse de la situation/du contexte ; évaluation des besoins/analyse des lacunes ; description du projet (y compris des principaux facteurs contextuels) ; conception ou plan de projet ; théorie du changement ou modèle/cadre logique ; plans de suivi ; cadre d’évaluation ou de résultats ; plans de travail/de mise en œuvre ; rapports de situation ou examens de processus ; rapports finaux ou de clôture ; documentation sur la stratégie de sortie ; rapports d’évaluation formative/de processus/de mise en œuvre ; les auteurs sont-ils joignables si des informations ou éclaircissements supplémentaires sont nécessaires ? Il y a un énoncé clair du problème que l’intervention était censée éliminer. Il y a des objectifs de projet originaux et actualisés. Il y a une théorie de projet ou une théorie du changement explicite et cohérente, ou il est possible de la reconstruire à partir de la documentation de projet disponible. Les intrants, les activités, les produits, les résultats et les incidences sont identifiés et les liens de causalité sont indiqués clairement. Les parties prenantes clés s’entendent sur les résultats et incidences visés. Il est possible d’identifier les aspects de la théorie du changement sur lesquels il convient de focaliser l’évaluation postprojet. Il est possible de déterminer les produits, résultats et indicateurs clés mesurables à partir de la théorie du changement. Les dates approximatives de début et de fin du projet sont connues. Des personnes qui connaissent le projet sont disponibles et peuvent être consultées. Des personnes qui peuvent témoigner du respect du modèle original ou des changements ultérieurs lors de la mise en œuvre du projet. Des personnes qui peuvent fournir des commentaires sur les facteurs contextuels observables durant ou après le projet susceptibles d’avoir eu une incidence sur la mise en œuvre et l’impact ultérieur. Des informations sont disponibles concernant l’alignement de l’intervention sur d’autres interventions et stratégies au moment de la mise en œuvre du projet. Il existe des données secondaires sur le projet, brutes ou analysées (de référence, à mi-parcours ou autres) : Données de suivi Dossiers sur les activités Relevés de présence Dossiers sur les participants Rapports Examens internes Enquêtes de satisfaction Produits d’activités du projet, par ex. produits visuels d’activités participatives, autres supports mis au point, outils, etc. Données au niveau des populations, statistiques nationales Autres (préciser) : Des données sont disponibles pour tous les sites. Des données permettant de démontrer les changements concernant les principaux résultats sont disponibles. Le processus d’échantillonnage utilisé est clair. ORIENTATIONS PRATIQUES POUR L’ÉVALUATION A POSTERIORI DES PROJETS DE SANTÉ SEXUELLE ET REPRODUCTIVE DES ADOLESCENTS 55 La participation au projet est clairement définie et distinguable de la non-participation. Les données peuvent être ventilées par âge, sexe, genre, appartenance ethnique, site, etc. La qualité des données existantes semble acceptable en termes de fiabilité et de validité. Des instruments de collecte de données utilisés antérieurement sont disponibles. Des informations sont disponibles concernant d’autres facteurs de modification susceptibles d’avoir interagi a posteriori avec les résultats du projet, de les avoir influencés et d’y avoir contribué (autres interventions de développement dans la région, tendances sociales, politiques ou économiques, climat, conflit, déplacement, migration). Collecte des données Les parties prenantes clés s’entendent sur les questions d’évaluation primaires à aborder dans l’évaluation postprojet. Il est encore possible d’obtenir les données primaires sur le projet, malgré le fait que celui-ci est terminé. Il existe des registres indiquant qui a participé à quelles activités de projet, quand et dans quelle mesure. Les noms, les rôles et les coordonnées des personnes chargées de la mise en œuvre, notamment du personnel du projet et de l’organisation des bailleurs de fonds et des consultants, sont disponibles, et ces personnes sont potentiellement joignables. Les noms et les coordonnées des bénéficiaires sont disponibles, et ces personnes sont potentiellement joignables. On sait qui a été exclu (délibérément ou non) et pourquoi. Les bénéficiaires clés sont disposés à participer et en mesure de le faire. Un groupe témoin approprié peut être identifié et contacté. Des sites de projet répondant aux critères suivants sont disponibles aux fins de la collecte des données : niveau élevé de programmation durant le projet ; le site est représentatif des facteurs démographiques et géographiques d’une partie ou de l’ensemble des sites d’intervention du projet ; la migration (entrante ou sortante) du site est minimale ou représentative de l’ensemble des sites du projet ; il y a eu très peu d’activité de la part d’autres organismes de développement dans les mêmes secteurs depuis la fin du projet (ou l’on dispose d’informations sur ces interventions) ; tout impact hérité de l’entité de mise en œuvre peut être différencié du projet faisant l’objet de l’évaluation (au cas où un nouveau projet a été mis en œuvre après le projet en cours d’évaluation). Plusieurs sources de données (primaires ou secondaires) sont disponibles pour faciliter le recours à une approche mixte et le recoupement de plusieurs sources de données probantes. Les questions d’évaluation : sont alignées sur les domaines d’intérêt recensés dans la théorie du changement ; sont réalistes compte tenu de la quantité de données primaires et secondaires disponibles et des ressources disponibles aux fins de l’évaluation postprojet ; cherchent à établir d’autres explications des résultats ou incidences observés. Ressources d’évaluation On dispose de ressources suffisantes pour recourir à la méthodologie d’évaluation postprojet souhaitée : budgétaires ; en personnel ; en matériel ; autres (préciser) : L’organisation chargée de la mise en œuvre a les capacités nécessaires pour aider l’évaluateur concernant les demandes de données et d’autres informations relatives à l’évaluation postprojet. Des membres du personnel et des parties prenantes clés dotés des compétences nécessaires seront probablement présents. LE PROJET EST TERMINÉ, MAIS NOUS POUVONS ENCORE EN TIRER DES LEÇONS !56 Des membres du personnel et des parties prenantes clés ayant l’historique requis seront probablement présents. Les membres du personnel et les parties prenantes clés ont l’occasion de participer à la conception de l’évaluation postprojet et à l’élaboration des questions d’évaluation. Calendrier Le temps disponible est suffisant pour procéder à l’évaluation postprojet tel que prévu. Les résultats seront disponibles dans les délais requis aux fins des prises de décisions. L’évaluation peut être programmée de manière à correspondre à la fin du projet original, en particulier si des facteurs saisonniers sont susceptibles d’influencer les résultats et l’impact du projet (cycles agricoles et scolaires). Considérations propres aux évaluations postprojet L’évaluateur peut défendre son choix de méthodes pour l’évaluation postprojet. Les principaux utilisateurs visés sont conscients des limitations des données probantes de l’évaluation et considéreront les résultats comme crédibles. Les parties prenantes s’entendent sur le niveau de données probantes requis. Sources Bureau des opérations de règlement des conflits et de stabilisation des États-Unis d’Amérique (Bureau of Conflict and Stabilization Operations), liste de de contrôle d’examen de l’évaluabilité (ébauche de travail), Washington DC, Département d’État des États-Unis, sans date. Davies, R., Planning evaluability assessments: a synthesis of the literature with recommendations. Report of a study commissioned by the Department for International Development, Londres (Royaume-Uni), ministère britannique du Développement international, 2013 (https://www.gov.uk/government/uploads/system/uploads/attachment_data/ file/248656/wp40-planning-eval-assessments.pdf, consulté le 7 mai 2019). Agence japonaise de coopération internationale, Thematic evaluation: analysis for enhancing evaluability of JICA’s cooperation programs final report, Tokyo, Agence japonaise de coopération internationale, 2015 (https://www.jica. go.jp/english/our_work/evaluation/tech_and_grant/program/thematic/c8h0vm000001rgwp-att/2015_01.pdf, consulté le 7 mai 2019). CAD-OCDE, Glossaire des principaux termes relatifs à l’évaluation et la gestion axée sur les résultats, Paris, CAD-OCDE, 2010. Peersman, G., I. Guijt et T. Pasanen, Evaluability assessment for impact evaluation: guidance, checklists and decision support, Londres (Royaume-Uni), Institut de développement d’Outre-mer, 2015 (https://www.odi.org/ publications/9442-evaluability-assessment-impact-evaluation-guidance-checklists-and-decision-support, consulté le 7 mai 2019). UNICEF, UNICEF Strategic plan 2014–2017: evaluability assessment Final report annexes, New York (NY), Bureau de l’évaluation de l’UNICEF, 2015 (https://www.unicef.org/evaldatabase/files/Evaluability_Assesment_of_UNICEFs_ Strategic_Plan_2014-2017_Annexes.pdf, consulté le 7 mai 2019). Zandniapour, L. et JBS International, Impact evaluability assessment tool, Washington DC, Corporation for National Community Service, 2014. Zivetz, L, J. Cekan et K. Robbins, Building the evidence base for post-project evaluation: case study review and evaluability checklists, Washington DC, Valuing Voices, 2017. ORIENTATIONS PRATIQUES POUR L’ÉVALUATION A POSTERIORI DES PROJETS DE SANTÉ SEXUELLE ET REPRODUCTIVE DES ADOLESCENTS 57 Annexe C : Sites Web et centres d’échange d’informations en matière d’évaluation SiDA — Évaluations Agence suédoise de coopération internationale pour le développement Banque asiatique de développement Évaluations indépendantes à la Banque asiatique de développement CiDA — Rapports d’évaluation Agence canadienne d’aide au développement DANiDA — Évaluations Agence danoise d’aide au développement Commission européenne — évaluations de l’aide Évaluations de l’aide de l’Union européenne Groupe indépendant d’évaluation de la Banque mondiale — Publications Le groupe indépendant d’évaluation évalue l’efficacité du Groupe de la Banque mondiale en matière de développement. Norad — Évaluations Agence norvégienne d’aide au développement  CAD-OCDE — Centre de ressources sur l’évaluation (DEReC) Le Comité d’aide au développement (CAD) est l’organe principal au travers duquel l’OCDE traite des questions relatives à la coopération avec les pays en développement. Le centre de ressources sur l’évaluation contient les rapports et directives d’évaluation du développement publiés par le réseau et ses 30 membres bilatéraux et multilatéraux. CAD-OCDE — Évaluations continues des programmes de développement Le site de partage des plans d’évaluation et des programmes de travail des membres du réseau du CAD sur l’évaluation en matière de développement vise une plus grande transparence et une collaboration accrue en matière de facilitation. Il fournit également une vue d’ensemble des tendances actuelles en matière d’évaluation du développement. Poverty Action Lab Collection d’évaluations d’impact, contenant notamment des résumés des conclusions d’études de l’impact sur divers sujets d’intérêt en matière de développement. Réseau d’apprentissage actif pour la redevabilité et la performance dans l’action humanitaire (ALNAP) ALNAP est un réseau unique qui regroupe bon nombre des principales organisations humanitaires et des experts à tous les niveaux du secteur de l’humanitaire, notamment des membres d’organismes de financement, d’organisations non gouvernementales, d’organismes indépendants/universitaires, des Nations Unies et de la Croix-Rouge et du Croissant-Rouge. La plateforme contient des évaluations et des leçons tirées en matière d’action humanitaire. The Expert Group for Aid Studies (EBA) Évaluations indépendantes de la coopération suédoise au développement international. Groupe des Nations Unies pour l’évaluation (UNEG) Base de données d’évaluations au niveau des pays. USAiD — Évaluations Site de l’Agence des États-Unis pour le développement international contenant des liens vers les publications d’USAID, notamment des évaluations. LE PROJET EST TERMINÉ, MAIS NOUS POUVONS ENCORE EN TIRER DES LEÇONS !58

Le projet est terminé, mais nous pouvons encore en tirer des leçons! Orientations pratiques pour l’évaluation a posteriori des projets de santé sexuelle et reproductive des adolescents Département Santé reproductive et recherche Organisation mondiale de la Santé 20 avenue Appia 1211 Genève Suisse Télécopie : +41 22 791 4171 Adresse électronique : reproductivehealth@who.int Site Web : https://www.who.int/reproductivehealth/fr/