Guide pour l’évaluation de la durabilité des projets TIDC de l’APOC

,s, GUIDE POUR L'EVALUATION DE LA DURABILITE DES PROJETS TIDC DE L'APOC Octobre 2003 t tgÿ @ PROGRAÂAfrTE AFRTCAIN DE LUTTE CONTRE L' ONCHOCERCOSE CONTROL OR6ANIsATION AAONDIALE DE LA SANTE 1 i i I ,' .'' '\: .i Mffipr exffii rh. .i,l f, ,, f' ,- H *SOMMAIRE 1. INFORMATIONS DE B4SE.......... ,I I 1.1 Qu'est-ce que la'durabilité'?1.1.1. Définitions.. 1.1.2 Aspects deladurabilité................ 1.2 Examen approfondi des projets: niveaux et indicateurs.. 1.2.1 Instruments et niveaux.... 1.2.2. Indicateurs de durabilité 1.2.3. Indicateurs des activités et des processus: leadership 2. PREPARATION DE LA VISITE D'EVALUATION.......... ...............5 2.1 Rôle du Siège de I'APOC....... .............J 2.2 Termes de ré/ërence de l"éclaireur'................. .......................,...5 2.3 Les autres membres de l'équipe d'évaluation ..........6 3.1 Echanlillonnage. .,,1 ...1 .',2 ,,,2 ...3 ...3 ...4 6 6 7 8 8 9 9 ù Critères d' échantillonnage ................ Etapes recommandées pour tirer I'échantllon La nécessité d'une flexibilité .........................3.1.4 La place de l'échantillonnage aléatoire dans ce processus.3.2 La séquence de lavisite.... 3.2.1. Les membres de l'equipe......... 3.2.2 Calendrierde lavisite... 3.2.3 Détails du programme: ['évaluation même................. 3.2.4. Détails du programme: retro-information et plaidoyer3.3 Utilisation des instruments sur le terrain......... 3.3.1. Commentaires introductifs 3.3.2. Utilisaüon des instruments 3.3.3. Pourquoi pas un questionnaire formel? 3 .3 .4. Gestion des dorurées . 3.3.5. Evaluation du processus d'évaluation 4. ANALYSE DES DONNEES ET RECOMMANDATIONS 1. 1. Assemblage des données.......,............. 4.2 Résumé qualitatif des principaux résultats (en mots) 4.3 Notation des indicateurs................ 4.3.1 Notation de chacun des indicateurs.................. 4.3.2 Notation de groupes d'indicateurs 4.4 Fautes courantes dans l'analyse des données........... 4.5 Faire des recommandations 1.6 Notation de l'ensemble du projet.......... 5. LES ATELMRS DE'RESTITUTION/ PLAIIIFICATION"................. 5.1. Préparation des ateliers... 5.2. Ateliers à diftërents niveaux........... 5.2.1. L'atelier du niveau projet ....... 5.2.2. L'atelier du niveau districÿ administration locale. 5.2.3. L'atelier du niveau national....... 5.3 Organisation des ateliers.. 5.4. Programme de l'atelier... 5.4.1. Programme g|obal.......... 5.4.2. Détails des points du programme................5.4.3 Le court atelier de 'Restitution' d'un jour ... 5.4.4. Rôle des facilitateurs de l'atelier......5.5. Après les ateliers 3.1.1 3.t.2 3.1.3 26 26 27 27 27 28 28 29 29 30 31 3l 32 6. REDACTION DU RAPPORT........... ........33 t2 l3 14 t4 t4 t'7 t7 l8 19 19 20 20 2t)) 23 24 Appendice l: Lettre aux personnes à interviewer Appendice 2 Documents nécessaires pour la revue littéraire................. Documents nécessaires: niveau naüonaV zone/ provinciaU Etrtique.. Documents nécessaires : niveau district sanitaire/ LGA.. . . ... Documents nécessaires: niveau sous-district/strucnre sanitaire de première Iigne............ Documents nécessaires : niveau illagel communautaire ........... ... . .. Appendice 3 : Questionnaire destiné aux personnels de district sanitaire/ LGA sur leur trovqil de TIDC...... Appendice 4: Instructions pour les travaux de groupe dans les ateliers de 'restitution/ planification'........... Séance 7: analyse SWOT de la situation actuelle concenumt la durabilité. Séance 9: Solutions aux faiblesses de notre projet par rapport à la durabilité.................. Séance 12: nos futures ressources Séance 14 un plan de TIDC durable pour I'année suivante. Appendice 5 Prospectus sur la durabilité La durabilité - qu'est-ce que c'est? 'Autosuffrsance' et'durabilité' ...... Eléments de durabilité 34 35 35 35 36 36 37 40 40 40 43 43 43 43 4t 4l a Version d'octobre 2003 11 APOC TIDC DC ECD MCD RDC FSPL ESPM LGA MINSAN ONGD NOC Abréviations et acronymes NOCP Programme Africain de Lutte contre l'Onchocercose Traitement par l'Ivermectine sous Directives Communautaires Distributeur Communautaire Equipe Cadre de District Médecin Chef de District République Démocratique du Congo Formation Sanitaire de Première Ligne Education sanitaire, Sensibilisation, Plaidoyer, Mobilisation Local Government Authority (Administration Locale (au Nigeria) Ministère de la Santé Organisation non-gouvernementale de Développement national onchocerciasis coordinator (Coordonnateur National de la Lutte contre l'Onchocercose) national onchocerciasis control programme (Programme National de Lutte contre l'Onchocercose national onchocerciasis task force (Comité National de Lutte contre l'Onchocercose) rapid epidemiological mapping of onchocerciasis exercice sur les "Forces, Faiblesses, Opportunités, Menaces" Organisation Mondiale de la Santé Représentant de I'OMS dans le pays NOTF REMO SWOT OMS WR 1U I1. INFORMATIONS DE BASE Dans cette section, nous vous donnons des informations importantes qui vous aideront à comprendre pourquoi et comment nous évaluons la durabilité des projets TIDC. En 2000, l'APOC a commandité une évaluation externe. Dans son rapport d'évaluation, l'équipe d'évaluation a noté que des progrès importants avaient été accomplis dans la lutte contre l'onchocercose, depuis que l'APOC a mis des financements à la disposition de ses pays membres. L'équipe a cependant noté qu'elle était 'profondément préoccupée par la durabilité de cette activité et de l'enthousiasme, dès lors que le financement de I'APOC viendra à sa fin.' Elle a aussi noté qu'il y avait 'peu de planification absolue pour mobiliser des ressources et mettre en place les mécanismes de routine qui assureront la poursuite du programme.' En réponse à ces conclusions, la direction de I'APOC a nommé une équipe spéciale avec les termes de réference suivants: . Développer un cadre avec des indicateurs réalistes et mesurables de durabilité. . Evaluer la situation actuelle des projets qui sont dans leur cinquième année de financement de l'APOC, en ce qui concerne leur durabilité (cela a été élargi à une évaluation supplémentaire au cours de la troisième année). . Aider les parties prenantes locales à élaborer des plans pour pérenniser ces projets. . Préparer un petit manuel en utilisant le cadre élaboré. L'équipe spéciale a développé une méthode par laquelle la durabilité des projets TIDC peut être évaluée. Un certain nombre d'évaluations a été mené et la méthode a été afïïnée suite à cette expérience. Le présent manuel est un guide de cette méthode de conduite d'évaluations de la durabilité des projets telle que pratiquée aujourd'hui. 1.1 Qu'est*ce que la 'durâbilité' ? 1.1.1. Définitions Le rapport d'Evaluation Externe à Mi-Parcours de l'APOC (2000) considère qu' 'une activité est durable si les décisions politiques, les mesures administratives et les ressources (financières, humaines, matérielles) nécessaires sont en place et peuvent être raisonnablement considérées comme susceptibles de continuer de l'être dans un avenir prévisible.' Nous entendons par 'durabilité' la probabilité qu'un projet continuera de fonctionner eflicacement après que le soutien d'APOC soit venu à son terme. Deux autres concepts font partie de la 'durabilité: * Aatosaffisünce:laçepaciÈéd'un p,rojet de continuerà fonctionner efficaôem€nt, €n utilisant seulernenî les ressources générêes à l'intérieur du pays lui-même. Drru.hîlitê: la capacité d'un projet dc continuer à fonctionner Êmeacçm€nt crr utilisant aussi bien les ressourcps du pays que celles fournier de l'extérieur * â condition que toutes ces en celles du eùient fiables. Dans cet exercice, nous allons utiliser la durabilité comme concept directeur. L'autosufftsance est l'état idéal, mais il y a des pays et des situations où il n'est pas aujourd'hui réaliste d'insister là-dessus. Des milliers de personnes souffrant de l'onchocercose vivent dans des situations où la perspective d'un financement public suffisant pour les programmes de lutte contre l'onchocercose est lointaine - du moins dans le court et moyen terme. I 1.1.2 Aspects de la durabilité Nous pensons que les projets seront plus durables si les aspects suivants existent Nous devons examiner les projets de manière à voir si ces aspects évoluent comme ils le doivent pour apporter la durabilité. 1.2 Examen approfondi des projetst niveaux et indicateurs Les projets doivent être évalués pour déterminer leur niveau de durabilité. Le diagramme suivant explique le processus: ' fJn projet est une entité complexe qui fonctionne à un certain nombre de niveaux des services de santé, et aussi dans la communauté. C'est cette entité complexe que nous allons évaluer. ' IJn projet est composé d'un certain nombre d'activités ou de processus, pour lesquels des ressources sont nécessaires, et qui produisent des résultats précis (dans ce cas, les personnes protégées de l'onchocercose). Version d'octobre 2003 2 I Ïntégration k gestion habituelle des servicss de santé sont Bfus §u t Rexsoarces: les projets sout plus susceptibles d'être durables s'ik sont suffisammerr de ressource§ (humaineq metêrielles, fÏnanciêres) poursoutenk ce qu'ils tpntênt dB faire. fficîenxe: les projets gdrés ds manière renablÊ soxt plus susceptibles d'êtrç durables. Simpliciü: Ies projets qui ont des habitudes et des prooddures pzu cornpliguêe* *ont plus susÇeptibles d'ëtre durables, Aec«ptdion pw le per»onnel ds çwlë {frhîtttdç fripewonnel de sawtt): [æs projets sort plus suseeptibles d'être dursbles si Ie persounel accepte le TIDC comffie activitê de routine qu' il continuera d'êxécuter même en I' absÉnse d'uno récompense mat&ielle supplémentaire. App*prtofion commpnuutaire: Le+ pmjets sonf plw zusceptibles d'être durables si les comrnunautds oü ssdéroulç Ie TIDC le ssuticnncnt du fond du C;æuret sçntdisposées à en prendre Ia responsabil ite" t + r t I les fo rrctionnent êffi cacêmeût d'être durables. nos lndicateurs de durabilité Le projet TIDC: la eltuqtlon aduefle à { niveaux: Atttvité§ Retsources RGsultât$ Efficncrté ftessourtës Sirnplicit* A* f\ üilu de ,1 t 1 IA partir de cette masse d'activités, de ressources, et de résultats, nous sélectionnons quelques- uns uns qui nous indiqueront le degré auquel ce projet est durable. Ce sont nos indicateurs. Nous regroupons les indicateurs, pour un niveau donné de fonctionnement du projet. C'est ce groupe d'indicateurs que nous appelons instrument (il y en a quatre). Quand nous les utilisons, chaque indicateur nous dit quelque chose sur un ou plusieurs des sept aspects de la durabilité du projet. 1.2.1 Instruments et niveaux Nous devons évaluer la durabilité aux différents niveaux auxquels le projet opère. Ces niveaux varient considérablement d'un pays à l'autre, mais il y en a habituellement quatre ou cinq. Le diagramme ci-dessus indique ces niveaux et montre parmi les quatre instruments, celui qui est le plus susceptible d'être approprié pour chacun de ces niveaux. Les indicateurs dans chaque instrument ont été minutieusement sélectionnés pour être pertinents au maximum pour ce niveau. Dans chaque situation, l'équipe d'évaluation doit choisir à l'avance les instruments les plus appropriés pour le projet qu'elle évalue. I.2.2. Indicateurs de durabilité Ces indicateurs ont été sélectionnés par le comité spécial et ont eté par la suite afÏînés à trois reprises. Ils se regroupent en dix catégories. Ces catégories portent sur: ' Les activités et procédures de routine par lesquelles le projet vise à produire les résultats (6 groupes d' indicateurs) ' Les ressources fournies pour ces activités à mener (3 groupes d'indicateurs). . Les résultats atteints dans le projet (l groupe d'indicateurs) Cela donne les groupes d'indicateurs suivants aux quatre niveaux: t 3 Niveau d'opérrfion du projet Instrumentà utiliser Siège national du Muistère de Ia §anté: Le Prograrnrne de LlrtîÊ coütre l'Orrchocercose et soflONGD pâ.rteÉairedaus Ie prüiet Nq,1 Lenivea+zonaVrdgional/ provinchl/ ératique duMïnistèrçde Io §auté (ungroupe de districts saflitaires) aiüeCI son êquipe de lutte oontr€ I'onchCIp€rcosB No.1 Le nivEau districtladministretiort locale du Mirtistère dc Ia Santé -leprernier niveau opérationnel arqr.lel toutçs les sctivhés tont gêrées par uile:seule équipe de :gesti§il No.2 La formation sânitâirë de prernière ligne (sour-district, cefttre de santé, clinique, zone) - [e niveau Ic plus prqqhs dÊs qgrltrquoailté* recll emeût s€rvies No.3 Le village ou çonummruté - urt regroupement qui se considêrc romate aycnt Ia mêrne tutelle No.4 '/ Nombre drinditateurs par instrument Groupes d'irrdir*t+urx I 2 3 4 Planification 4 I I 1 Indicotsurs dBs actiÿirés et processwt qui §ouîienrtsnl le TIDC Fourniture d'un leedership I tl I J Supervision et monitorage 5 , t App:rovisiorrnemÊnt Èn Meutizân 1 2 2 î. Formationÿ[ E§PM 3 J 2. I Iatégration des âctivitss d'aupui r Finaneçment# fon(k 4 4 2 1 Indicoteurs des ressources fournies Tra*spor( et autre§ ressources mæérielles 4 4 4 Ressources humaines 7 2 t 3 CouverÈure I 2 I 2 Irrdicqteurc des resultats qtteintsÏOTAL 23 22 tl 14 Dans l'instrument, chaque indicateur est clairement défini - premièrement en une seule expression et ensuite en une ou plusieurs phrases appelées 'caractéristiques'. Voici un exemple tiré de l'Instrument 2: 1.2.3, Indicateurs des activités et des processus: leadership Cela indique les groupes auxquels cet indicateur appartient: 'Activités et processus' et 'Leadership'. 2.1 Vérifiez si l'équipe de gestion du districU LGA prend l'entière responsabillté de la mise en oeuvre du TIDC à ce niveau. Cet indicateur vise à savoir si la direction s'approprie le programme . L'indicateur est l'expression en gras, qui vient après 'Vérifiez si'. ' En bas de cela, on trouve une expression en italiques, qui indique les aspects de durabilité que cet indicateur met en évidence. Caractéristiques de l'indicateur C'est l'équipe de gestion à ce niveau et non aux niveaux supérieurs/leadership des ONG, qui doit initier les activités clés du TIDC: planification, monitorage/ supervision ciblés, formation et ESPM ciblées, Commande /distribution du Mectizan. ll doit y avoir une personne focale pour les activités de TIDC. Ces expressions décrivent l'indicateur de manière plus complète en termes opérationnels concrets. 4Version d'octobre 2003 : 5 I2. PREPARATION DE LA VISITE D'EVALUATION Cette section traite des mesures qui doivent être prises pour préparer une visite d'évaluation. 2.1 Rôle du Siège de I'APOC Les séquences des événements de la préparation de chaque visite sont dirigées par le Siège de I'APOC à Ouagadougou comme suit: . L'APOC identifie les projets qui sont dans leurs 3ème et 5ème année de financement. Il entre en contact avec les NOC et les directeurs de projet concernés pour négocier les dates des évaluations. . L'APOC élabore sa liste d'évaluateurs potentiels pour former une équipe d'évaluation. Un chef d'équipe et un 'éclaireur' (voir ci-dessous) sont choisis parmi les membres de l'équipe. Tous les membres de l'équipe sont contactés à temps (2-3 mois avant l'évaluation). ' L'APOC prend des dispositions pour la visite de l"éclaireur' (voir ci-dessous) une semaine avant l'évaluation. Cette personne prépare le terrain pour l'équipe. . L'APOC prend les dispositions nécessaires pour le contrat et le voyage avec chaque membre de l'équipe. . L'APOC envoie une copie des dernières versions du manuel et les quatre instruments à chaque membre de l'équipe par voie électronique. 2.2 Termes de référence de l"éclaireur' Le rôle de cette personne est de prendre toutes les dispositions nécessaires pour la visite de l'équipe sur le site, dans la semaine qui précède son arrivée. Cette personne doit bien connaître les instruments et les besoins de l'équipe et être en contact avec le chef de l'équipe avant et pendant la visite. Les taches de cet éclaireur sont les suivantes. . Aller personnellement sur les sites de projet et planifier les détails pratiques décrits ci-dessous avec les directeurs de projet (Etat et ONGD). . Echantillonner les sites à visiter en suivant les instructions défrnies dans la prochaine section. . Planifier les visites de courtoisie et les réunions de retro-information (en essayant de monter aussi 'haut' que possible dans la hiérarchie ministérielle / politique). . Quand tout cela est fait, élaborer un calendrier provisoire de la visite. . Négociations avec lavertissement à tous les sites/ personnes échantillonnés, des dates et périodes où ils recevront la visite de l'équipe: * Prendre des rendez-vous au projet, Cabinet du Ministère et aux niveaux district/ local gouvernemental (voir 3 .2.2 ci-dessous). * Demander au niveau district/administration locale de prendre des rendez-vous pour le niveau FSPL/ sous-district. * Informer toutes les personnes à interviewer du but de l'évaluation, ainsi que des grandes lignes des sujets qui seront discutés - soit personnellement, ou en leur envoyant une lettre introductive (voir Appendice l). . S'assurer que les autorisations nécessaires ont été obtenues pour permettre aux membres de l'équipe de se déplacer librement, de collecter des données sur chaque site qu'ils visiteront. . S'assurer que toute la documentation nécessaire est disponible pour l'équipe d'évaluation (voir Appendice 2). ' Préparer sufftsamment de copies des instruments qui seront nécessaires pour tous les niveaux concernés; au moins une copie imprimée du manuel aussi. 5 aTracer un itinéraire pour l'équipe d'évaluation en collaboration avec le personnel du projet et s'assurer que des moyens de transport suflisants et des chauffeurs seront disponibles. Sélectionner les membres de l'équipe locale qui accompagnera l'équipe d'évaluation tout au long du travail de terrain; les informer en détail du processus d'évaluation afrn qu'ils puissent y participer de manière significative. S'assurer que des logements convenables seront disponibles pour l'équipe. Prévoir un endroit convenable pour la réunion d'orientation qui aura lieu quand l'équipe arrivera. S'assurer que des dispositions ont été prises pour payer des perdiems et des frais de voyage aux membres de l'équipe et aussi aux personnes qui voyageront pour participer aux ateliers de 'restitution / planification' au cours de la deuxième moitié de la visite d'évaluation. Prévoir le lieu et les participants des ateliers de 'restitution/ planification' de la deuxième moitié de la visite d'évaluation; s'assurer que les invitations sont envoyées à temps aux participants. L"éclaireur' participe habituellement à l'évaluation elle-même. 2.3 Les autres membres de l'équipe d'évaluation Le chef d'équipe reste en contact par voie électronique avec le siège de l'APOC ainsi qu'avec l"éclaireur', pour répondre aux demandes de renseignements, fournir des informations etc. Les autres members de l'équipe étudient le manuel et les instruments - en particulier s'il s'agit de leur première évaluation, mais aussi s'ils ont été déjà impliqués dans une évaluation. 3. GESTION DE LA VISITE D'EVALUATION Dans cette section, nous discutons de la manière il faut échantillonner les sources d'information dont vous avez besoin pour le calendrier de l'évaluation; et de comment utiliser les instruments pour collecter les données. 3.1 Echantillonnage Pour le niveau central (national, régionallprovinciaV étatique; projet) il n'y a qu'une seule entité avec laquelle travailler et l'échantillonnage n'est donc pas nécessaire. A ce niveau, nous utilisons autant de sources d'information que nous pouvons trouver. Pour les autres niveaux (district, sous-districtl rayon de la FSPL, village/ communauté) nous devons tirer un échantillon. L'échantillonnage est fait de manière délibérée et non au hasard. La raison en est qu'un échantillon prélevé au hasard sur une petite population peut être facilement peu représentatif. 3.1.1. Critères d'échantillonnage Le critère primaire estla couverture (géographique et thérapeutique). Cela parce qu'il s'agit d'une mesure de la perforrnance de l'ensemble du système - et c'est l'autonomie de ce système que nous sommes en train d'évaluer. I Les critères secondaires suivants sont aussi pris en compte 6Version d'octobre 2003 L'Endémicité'. veiller dans la mesure du possible, à ce que l'échantillon comprenne aussi bien des zones hyper endémiques que des zones méso-endémiques (plus ou moins dans la même proportion que les résultats de REMO de la zone de projet). Etendue géographique: s'assurer dans la mesure du possible que l'échantillon inclut des zones qui représentent les différentes zones où le projet travaille et les communautés proches des villes et certaines qui sont isolées.. Accessibilite/ convenance'.Etant donné que nous avons peu de temps pour faire le travail de terrain, nous devons aussi tenir compte de l'accessibilité et du caractère pratique des échantillons à choisir. S'il y a deux ou plusieurs zones qui se ressemblent beaucoup (sur la base de tous les critères ci-dessus) nous choisissons celle qui est la plus facile à atteindre. 3.1.2 Etapes recommandées pour tirer l'échantillon Nous vous proposons de suivre ces étapes pour tirer votre échantillon: a) §-éLectip-nn-e..r.les-.distris..ts..-o.u..v..o.u.s..allp..z,.tra-v-aiLLçr Il est utile de faire un tableau des districts à partir desquels vous allez échantillonner, comme suit: ÇrtÈrç prirmire dr #lectiou: Tarur de couvertur* tlÉrapeutique f/o) Critères sçpondairçs de #lætipq Dislrict Ëndémïcité (hyper/ meso/ leç deux) §ituation griographique (Nord, Su4nst, Guesq Curtre) .{ccessibilité (facïle, mCIïenüE difficile) §électïon (oui/ non) Nous savons par expérience qu'il suffrt habituellement de sélectionner trois districts. Vous commencez par sélectionner les trois districts selon leurs taux de couverture (critère primaire): * Un parmi les districts ayant les taux de couverture les plus élevés. x Un parmi les districts ayant les taux les plus bas. * Un parmi les districts ayant les taux entre les deux extrêmes. En faisant votre choix final, vous essayez de remplir les critères secondaires dans la mesure du possible. b) Sélectionner les sous-districts/zones couvertes par la formation sanitaire de première ligne G§P-D.dans-.lp-squ.ç1s..you.s..all.çz..tray-a-iLl.çr Une fois encore, il est utile d'en faire un tableau tç * * L Critère priruaire de sélætion : Taux de couÿerturç thér:apeutique (9rd CritÈres socsndaires de selection District Sousdistrrct/ .zone couv€rte par IaF§FL Endémicité (hyperl meso/Ies deux) §iüration geograplüqtre {Nor4 Su{ Est, Ouest, Centre) Àcaessibflité (facile, ilmyelme, difficile) §élection (oui/ non) 7 Vous prenez maintenant un échantillon des deux sous-districts/ zones couvertes par la FSPL, à partir de chaque district de votre échantillon: * Un parmi les districts ayant les taux de couverture les plus élevés. ,* Un parmi les districts ayant les taux les plus bas. Encore une fois, essayez de remplir les critères secondaires autant que possible, en faisant votre choix frnal. c) S-élç..ctip-rq-er.le§.,gem.m.unas-t-é-§/.villasçs-.dans-.le..§quçls..-v..au.s..a!l.çz.lr.a,yaille.r Encore une fois, il est utile d'en faire un tableau: Vous aurez en fin de compte six tableaux, un pour chaque sous -districtl zone de FSPL. Prenez maintenant un échantillon de deux communautés par sous -district/zone de FSPL: * Une parmi les villages/ communautés ayant les taux de couverture les plus élevés. * Une parmi ceux ayant les taux les plus faibles. Encore une fois, essayez de remplir les critères secondaires dans [a mesure du possible en faisant votre choix final. Prenez en compte les six tableaux en faisant cela. Rappelez-vous que votre échantillon final doit comprendre un (e) ou deux communautés/ villages isolé (s). 3.1.3. La nécessité d'une flexibilité Notez qu'il ne s'agit ici que de directives - vous devez donc être flexible: . Certains projets ont seulement un ou deux districts. Dans de tels cas, vous allez évidemment échantillonner plus de sous-districts / zones de rayonnement de la FSPL, avec leurs villages. Vous voulez en frn de compte avoir environ 12 villages dans votre échantillon. . Parfois, vous devez échantillonner plus de trois districts pour avoir une bonne couverture des différentes situations du projet. Dans ce cas, vous aurez besoin soit d'une plus grande équipe d'évaluation ou de plus de temps. 3.1.4 La place de l'échantillonnage aléatoire dans ce processus Jusqu'à présent, nous n'avons parlé que de l'échantillonnage intentionnel. Il peut cependant arriver que vous vous retrouviez avec un certain nombre de villages dans un sous-district qui sont plus ou moins les mêmes en ce qui concerne les critères que vous essayez de remplir: . Avoir les mêmes taux de couverture et d'endémicité. . Etre dans la même zone géographique. . Etre accessibles à égalité. Dans ces cas, c'est une bonne idée que de sélectionner au hasard le village/sous-district dont vous avez besoin. Ecrivez leurs noms sur des bouts de papier que vous mettrez dans un sac ou un chapeau et tirer l'un d'eux. 8 CftÈru prfunaire de #lectioa: i Taux tlc couÿsrturç thërapetrtique Pl") Cri{êres secondaires de s{lection Sons- district/ zone couYerte pax IaFSPL Vtllagei Communauté Endémicité O:ryeri meso/les dsux) §ituaton géographique (Nord, Sud, Est, Ouest, Centre) Accessibilité (facile, rrxlyerulg, difficile) Selection (oatl non) Version d'octobre 2003 3.2 La séquence de la visite 3.2.1. Les membres de l'équipe Chaque équipe est composée de 6 membres (y compris 'l'avant-garde'). Trois d'entre eux (dont le chef) doivent venir de l'extérieur du pays, et trois du pays. Les six se divisent en trois sous-équipes de deux personnes chacune. Si possible, chaque sous-équipe doit comprendre: . LJne personne locale et une personne venant de l'extérieur du pays. . LJn mélange d'expertise (ex: un médecin et un sociologue). . Au moins une personne ayant une expérience antérieure d'évaluation de la 'durabilité'. La sous-équipe qui interviewe les personnes de haut rang (comme les ministres, Directeurs Généraux et gouverneurs provinciaux) doivent être celle où se trouve le chef d'équipe, Chaque sous-équipe doit également avoir quelqu'un qui parle la langue locale (et qui traduit de cette langue vers la langue de l'enquête et vice versa), et qui sait comment atteindre les sites et les personnes échantillonnés. Il se peut que le chauffeur et l'un des membres clés de l'équipe puissent faire toutes ces choses, mais une autre personne locale pourrait être nécessaire. Il a été convenu que chaque équipe d'évaluation invite au moins une personne de l'équipe locale du projet à se rejoindre à elle pendant le travail de terrain. En permettant à ces personnes d'acquérir une compréhension approfondie de la durabilité en premier lieu, nous espérons leur insuffler de l'enthousiasme pour amener leurs propres projets à la durabilité. Cependant, elles ont besoin être orientées sur leur rôle dans l'évaluation: pour cet exercice, elles doivent cesser être des directeurs pour devenir des chercheurs. Il faut leur demander de laisser l'équipe d'évaluation prendre la direction des affaires ; écouter au lieu de parler et de limiter leurs questions aux questions données par l'instrument. 3.2.2 Calendrier de la visite Une visite d'évaluation complète dure normalement deux semaines environ. Cependant, dans certaines situations, les communications sont difficiles et le voyage sur le site du projet et à l'intérieur du site prend beaucoup de temps. Dans ces situations, 2Yz ou même 3 semaines peuvent être nécessaires -il faut être flexible. Afin de planifier un calendrier, nous devons comprendre exactement ce qui doit être fait. Voici une liste des taches à entreprendre pour chaque niveau: 9 Nive*u Taches Temps uéeessarre* CentraU Siège/ projetl région etc * Personrrel cadre du ministère de la santé: per§ofirrês chargdes de la lutte contre les rnaladies infectieusex, l'approvisionnemeüt en mêdïcameras, laplaniftcation, des finances; Sçcrétaire Pennanent/ Directeur Généraf Ministrç. " Personnel cadre des ONGD: directpur netional, directeur dp projet, cornptable. * Personnel NOCP: NOC" comptablg responsables de terrain, chauffsurs. . Urt ou dçux autres münhres du NOTF, * Reprêsentant de I'OMS dans Ie pays; responssble du prograrnme de lutte contr€ les malsdies dans le bureau dB WR. ' Autorrtés dehzut rang à cs niveeu; Gouveroeurs d'Etat/ de Provioce etc. 3 jours si Ir §iège et le projet soat combinés 4 jours si le §iège et le projet sont séparés I journée pour un brrreau régional Etsde docamerutsire I oumee Districtl adminis. locale [nlçrviews ' Équipe de gestion de la santé du district: Responsable sanitaire du districtn administratcur, chef des finançes. * Àutre personnel au niveau districfi responsable des tranrports, responsable de la lutte ccfitrê les uraladies, pharmacien, chauffeurs * Personn{s) ohargee (s) du TIDC à ce niyeau- r ' Âutoritésciviles à ce nivËau; chefdc I'administration locale, seuetaire, trésorier. Etude doaanrentaire ljournee parchef Iiou de district FSPU sous- district Interviews . Responsable de la F§PUé,quïpedegestion, trésorier, pharmacien * Persotme {s) responsable (s) du TIDC à ce niveau. * Rssponsables de I'administrâtion locale (chef, adntinistrateur, trésorier) Ëtade docamenlaira I journée pcr FSPL et ses detrx villages (plus snil y a un village très éloigné) Villrye/ cornTfiülàuté Inleryiwt . Chef et conseillers du Village. * Villageois ordinaires (hornes et fenrme*). . DDÇ. rk Pour une sous-équipe comprenant deux évaluateurs. Les membres du groupe se divisent pour couvrir les interviews et l'étude documentaire dans le temps imparti. Version d'octobre 2003 l0 Etude docwrnentaire Pour une évaluation 'normale' (c'est-à-dire qui dure deux semaines) le calendrier suivant est suggéré: Jsur Membre deI'Ecuine AçtiYité tuûdi à Vendredi 'Ëclpirerrr' ' Arriyç au siege du projet. , Pnpare tous lss aspeets de la visite en colleboraüon ayec Ie pʧQqqel du NOCP et le directeur du trroiet. Yendredi à samedi Tou* les membres de l'équipe Jour (l+ voyaps pour ailer au siège du projwa dimanche Toux les membres de l'équipe Jo$mÉe doriêntation au siege du projEt séleçîiofi dêtlottéquip€§, fi nalisation du programme. soir: sur Ie terrain-I Lundi â vendredi Toux les membres de l'ëquipe Lffidl : visitç§de çourtoi*Ïffi des ONGD, çt ùladirection Sous-équipe "Â' . Collecte des dorurÉex eu siège du pr+jet: Minisière dè la Sante et ONGD (interviews ef rsÿue documenêire). I Yigtteq de plfldpyel.gr4dÉcideurs àce nrræu. Sous-êguipe ,B' Collçcte de données sui lo terrainl district l et les miveaux en dessous do ce district (interviews ef reÿue documentaire). I I Visirede pl4idoyer aux décjdeurs à ce niveâu. Sous-équipe *c' de donnÉes sur 2 et les niveaux en dossoür de ce distrist (interviews ef reyuo documenteire). Visires de aux decideurs â ces niyeaux. Tqus lè§ mentbres de I-équhe yendredi Touslss mpmhrca dc l'Équipç I Retour au siège du projet dans l'après-midi/soiree . §amedi à lundi Tous ler mçrnbr* dç l'Éqlips Ànalyse formulæion det Ie projd de rappo,rr. Flanification drr prograrrmo détaillë des travail sur prochains ateliers de Mardi à mercredi Tous les membrcs de l'équipe a pour h nivçau pffïc{,Atçlier de'restiürtionl jeudi Tous lçs membres de l'ëqurpo a r los districts sanitsirps du projet à. tous lex distriofs sanitaires qui ,e !,hçliçr do 'restifution' pour tous Admiuistrstiur du questiouraire i*elus dfiÉ li vendredi Toux les memb'res de I'ëquipe a TmyailzurlÈ rapport d'éYaluati+n. I Yistto* ds courfoisi#rstrq-inforff üonlplaidoyer au MINSAN et flrx Samedi Tous les membres de l'ëquipe J Deparr à la'maixôr, l1 a a r Collecte de donnÉes auxniveauxpi+vinciàyrégionâi;ffieGîfÊn- oxiste un) (interviews et rÉÿue doEumenfaire). . Collecte de données cur le terrain: district 3 st les niveaux en dctsçus de cç district (interviews §* rfl/ue documentaire), . Visites ds plaidoyer aux deeideurs Ér cçs niveaux. _ . respoasabJes d' ON_GD. 3.2.3 Détails du programme: I'évaluation même Les membres de l'équipe se déplacent sur le site du siège du projet et arrivent le samedi avant le démarrage du travail de terrain (qui sera le lundi suivant). Ils doivent se familiariser avec les documents suivants avant leur arrivée: . Ce guide. . Les quatre instruments. . Le calendrier provisoire. Ces documents seront transmis par voie électronique à chaque membre de l'équipe. L'équipe passe une journée (habituellement le dimanche) à planifier le travail qui l'attend. Les membres lisent le guide ainsi que les instruments, parviennent à une compréhension commune de ce qu'ils doivent en faire; Ils forment les sous-équipes qui feront le travail de terrain; ils ajustent le calendrier provisoire si nécessaire; ils prennent note de toutes les dispositions pratiques telles que l'hébergement et le transport. Les visites de terrain se déroulent généralement du lundi au vendredi (ou plus longtemps dans le cas des projets ayant des diflicultés de communications, où le déplacement va prendre beaucoup de temps).Les données sont collectées à tous les niveaux, sur les sites échantillonnés. Notez qu'il y a deux entités au niveau central qui nécessitent l'attention des évaluateurs: le bureau du NOCP, et le bureau du projet (c-c à de projet TIDC donné que l'équipe vient pour évaluer): . Dans certains pays (ex: le Malawi) ces deux sont les mêmes et sont basés dans le même bureau. Ils sont par conséquent, évalués comme une seule unité et leurs résultats sont enregistrés ensemble dans la section niveau 'Central' du rapport. . Dans d'autres pays (ex: République Démocratique du Congo) ils sont séparés. Dans ce cas, le bureau du NOCP au Siège du Ministère doit être évalué séparément. Ce bureau sert tous les projets du pays, il ne doit donc être évalué qu'une seule fois. Cette évaluation sera le travail de la première équipe à visiter ce pays. Ils doivent charger l'une des sous-équipes de la tache de se rendre au Ministère à un moment donné de la visite d'évaluation pour faire la collecte des données nécessaires (interviews et étude documentaire). L'évaluation peut être appelée à rester quelques jours de plus pour intégrer ce travail supplémentaire. Notez que ce rapport est rédigé séparément, et doit être rendu disponible aux autres équipes conduisant des évaluations dans ce pays à une date ultérieure. Notez que dans certains pays, il y a des niveaux d'administration (et par conséquent d'organisation des services de santé) entre le Siège et le district. Ils ont différents noms, tels que région, province ou Etat. Ils doivent aussi être pris en compte dans l'évaluation: . Dans certains pays (ex: le Nigeria) ce niveau a un seul projet TIDC dans sa zone d'intérêt. L'équipe collecte donc les données de ce projet avec l'Instrument l. Ces données sont jointes à celles collectées à partir du bureau du projet et analysées et écrites ensemble comme au niveau 'Central'. ' Dans d'autres pays (ex: le Cameroun, avec ses 'provinces') ce niveau peut avoir plusieurs projets TIDC au sein de sa zone. De toute évidence, il ne doit être évalué qu'une seule fois et cela sera le travail de la première équipe d'évaluation à visiter cette zone. Ils doivent charger l'une des sous-équipes de la tache de collecter les données là-bas à un moment donné pendant la visite d'évaluation (en utilisant encore l'Instrument 1). Une ou deux journées peuvent être ajoutées à la durée de l'évaluation pour prendre en compte ce travail supplémentaire. Notez que ces données ne sont p écrites séparément- elles sont jointes à celles collectées à partir du bureau du projet, analysées et écrites ensemble comme au niveau 'Central'. Les données brutes doivent cependant être envoyées à l' APOC en même temps que le rapport, afin que l'APOC puisse fournir ces données aux équipes ultérieures travaillant dans cette zone. Version d'octobre 2003 t2 A la fin de la collecte des données, les membres de l'équipe reviennent au siège du projet. Ils doivent maintenant s'attaquer aux taches suivantes. . Analyser systématiquement les données collectées - en tirant les conclusions nécessaires et en faisant des recommandations. . Travailler sur le rapport provisoire. . Planifier les ateliers et les réunions de 'restitutior/ planification' qui doivent suivre. . Planifier les visites de plaidoyer qui doivent suivre. Cela est habituellement fait en fin de semaine (dans le cas d'une évaluation normale de deux semaines). C'est un bon moment parce qu'il n'y a pas de fonctionnaires à interviewer de toutes façons et le bureau du projet est calme. Tout au long de la visite, nous recommandons que l'équipe se réunisse chaque soir pour discuter des progrès réalisés dans la journée et des problèmes rencontrés et pour planifier le travail du lendemain. 3.2.4. Détails du programme: retro-information et plaidoyer La direction de l'APOC a décidé qu'il ne suflït pas de faire une évaluation et de s'en aller. La visite d'évaluation amène inévitablement les décideurs locaux à réfléchir plus clairement et plus profondément sur la durabilité et il incombe à l'équipe de bâtir sur cela. . En faisant la rétro-information sur les résultats de l'évaluation (par rapport à la durabilité du projet) aux décideurs. . En faisant le plaidoyer: réunion avec les décideurs pour les encourager à jouer leur rôle en soutenant le programme. Une des activités clés de l'équipe d'évaluation consiste donc à organiser des réunions au cours desquelles le feedback est donné et des ateliers où les équipes se basent sur les résultats pour produire des plans menant à une plus grande durabilité du projet. Ces points sont discutés en détails à la Section 5 de ce manuel. Il est important de noter que l'équipe d'évaluation approfondira ses réflexions pendant ces ateliers en percevant des choses qu'elle n'avait pas perçues pendant le travail de terrain. Ces informations supplémentaires devront être incorporées dans l'analyse des données, car elles peuvent bien influencer les recommandations que l'équipe va faire. Un autre aspect important de la visite est l'aspect politique qu'est le plaidoyer auprès des décideurs aux niveaux local et national. Le fait est que pour que les projets soient durables, ils auront besoin de contributions financières suffisantes et régulières du Ministère de la Santé et /ou de l'administration locale. Les étrangers sont souvent capables de dire cette vérité évidente avec plus d'autorité que les agents locaux. Chaque équipe doit donc rendre des visites de courtoisie aux fonctionnaires de l'Etat et aux chefs politiques compétents au début de la visite d'évaluation et si possible, leur donner un feedback personnel vers la fin. L'équipe doit essayer d'aller aussi haut que possible dans la hiérarchie: au Ministre de la santé luilelle-même, ou au gouverneur de la province. Les points à mettre en exergue pendant ces visites sont les suivants: ' Le Ministère a en son sein un programme qui marche vraiment bien et une somme relativement petite d'argent lui permettra de continuer à bien fonctionner. ' Le Gouvernement a promis de fournir cet argent dans la'Lettre d'Accord' signée il y a de cela 5 (ou 3) ans. Obtenez une copie auprès du directeur du projet / NOC, et montrez-leur cette copie poliment. ' Si le programme n'est financé, cela signifiera le retour à la misère pour des milliers de personnes. l3 3.3 Utilisation des instruments sur Ie terrain Notez que cet exercice n'est pas une étude formelle - il s'agit d'une évaluation de chaque projet en ce qul concerne son autonomle. 3.3.1. Commentairesintroductifs Les quatre instruments servent à collecter des informations sur des niveaux spécifîques du service de santé. La plupart des informations concernant un certain niveau sont collectées d ce niveau, mais certaines sont collectées à d'autres niveaux aussi. Par exemple, dans l'Instrument 2, indicateur 2.7, on a besoin d'informations venant de trois niveaux: le niveau district lui-même; le niveau projet; et le niveau FSPL: ' Cela signifie que les membres de l'équipe doivent apporter avec eux leurs copies chacun des quatre instruments, quand ils vont pour collecter les informations àn'importe quel niveau. Ainsi donc par exemple, en interviewant le personnel d'un centre de santé (niveau FSPL), nous devons utiliser les Instruments l, 2,3 et4. Chacun de ces instruments nécessite des informations venant du niveau FSPL pour certains de leurs indicateurs. ' Cela signifie aussi que les membres de l'équipe doivent très bien connaître leurs instruments afin de savoir quels indicateurs dans quels instruments nécessitent des informations qui doivent être recueillies à plus d'un niveau. Avant l'arrivée d'une équipe sur un site, les membres doivent avoir réparti entre eux les taches à effectuer là-bas (qui va faire quelles interviews; qui va étudier quels documents). Dès l'arrivée, ils contactent la personne chargée de l'unité ou de la communauté: ' Ils font les salutations d'usage et les présentations et expliquent l'objet de la visite. Ils demandent la permission de s'entretenir avec certaines personnes et d'examiner certains documents. ' Ils expliquent que les informations que les gens donnent seront traitées dans le plus strict respect de la confidentialité et que ces personnes sont libres de refuser de participer à l'enquête. ' Ils demandent à la personne responsable de fournir les documents qui doivent être examinés pour ce niveau. Ils lui remettent une liste de ces documents (voir l'Appendice 2 pour les listes concernant les quatre niveaux). En interviewant une personne issue d'un certain niveau (en particulier les fonctionnaires de l'Etat) ce ne serait pas une bonne idée de le faire en présence de son supérieur hiérarchique. La raison en est évidente: la personne peut ne pas se sentir libre d'exprimer sa vraie opinion. 3.3.2. Utilisation des instruments Il est important de comprendre exactement comment travailler avec les quatre instruments. Voici un exemple tiré de l'Instrument 2 (niveau district), qui doit parfaitement clarifier tout: Cet indicateur vise à savoirsi disticULG A s'approprie le prog n mme Qu'est-ce-qu'on attend de nous les évaluateurs ici? Nous devons savoir si les responsables du district prennent réellement la responsabilité du cycle annuel de distribution de Mectizan. Les 'Caractéristiques' nous disent plus en détails ce que cela signifie et ce que nous devons donc chercher à savoir c'est: 2.2Vérifiez si l'équipe cadre du cU LGA prend I'entière responsabilité de la mise en oeuvre du TIDC à ce niveau Version d'octobre 2003 t4 Caractéristiques de !'indicateur a. Ca doit être l'équipe de direction à ce niveau et non aux niveaux supérieurs/responsables d'ONGD, qui initie les activités clés du TIDC: planification, suivi / supervision ciblés, formation et ESPM ciblés, commande/distribution de Mectizan. b. ll doit y avoir une personne focale pour les activités de TIDC. Où allons-nous trouver ces informations? Les sources sont clairement identifiées. Nous devons trouver un document précis et l'étudier; et nous devons interroger des gens à trois niveaux: le diqtrict, le projet (y compris le personnelldes ONGD); et la FSPL. Nous devons donc utiliser cet indicateur (2.1) dans cet instrumeît (2) quand nous nous adrossons à toutes cespersonnes. I Résultats Décrivez la situation actuelle: Plan olobal du disfricf: rien concernanf b TûDC dans ce plan. Phn TfiDC du Disfricf: * Elaboré par le cootdonnatcur TfiDC du disfricf. * Semblc êtrc conplcî - cotnprcnd un calendricr de formafion, des visifcs de supervisbn cf dc plaidoyer. * N'a pas dc dafes. Nous devons chercher à savoir si ce sont les responsables du district qui font marcher la distribution du Mectizan chaque année, ou s'ils comptent sur le personnel du projet/ NOCP pour le faire. Nous devons aussi savoir s'ils ont nommé une personne précise pour se charger du TIDC dans le district (cela montre qu'ils prennent le TIDC au sérieux). Sources d'information t lnspection des plans annuels. lnterviews: * Equipe de gestion à ce niveau. * Personne responsable du TIDC à ce niveau * Personnel au niveau projet * Responsables d'ONGD. * Personnel au niveau FSPL. Pourquoi écrire cela? . Jl n'y a pas de TIDC dans le plan du district, cela signifie que les responsables n'en prennent pas vraiment la responsabilité. . Le plan spécifique est très complet -Le coordonnateur du TIDC sait ce qu'il doit faire. . Le fait qu'il n'y ait pas de dates signifie qu'ils attendent que le siège leur donne la date de démarrage. Nous allons maintenant inspecter les plans annuels du district qui sont disponibles. Nous devons trouver un plan global pour toutes les activités du district et un plan spécifique pour le TIDC. Nous les examinons attentivement pour trouver les informations sur les 'Caractéristiques' ci-dessus. Ensuite, nous écrivons ces informations: Supposez maintenant nous sommes entrain d'interviewer la personne chargée des programmes de lutte contre les maladies dans le district au sein de l'équipe cadre de district - disons qu'il s'agit de Mme Traoré. Nous devons formuler maintenant des questions à lui poser dans le but d'obtenir les informations nécessaires sur les 'Caractéristiques'. Voici un exemple: ' Pour !a Caractéristique (a): 'Comment procédez-vous à la planification de la distribution du Mectizan chaque année? Et à la supervision? A la formation? Au plaidoyer? Et quand commencer la distribution elle-même?' . Pour la Caractéristique (b): 'qui avez-vous nommé pour être responsable du TIDC dans le district? Notez ici que vous devez éviter de poser des questions qui indiquent déjà les réponses ou 'questions directives' (questions auxquelles la réponse peut être un simple 'oui' ou un 'non'). Par l5 exemple, pour la Caractéristique (a) ci-dessus, il serait erroné de demander: 'L'Equipe Cadre de District initie-t-elle les activités clés du TIDC chaque année?' Il serait facile pour le répondant d'essayer de vous faire plaisir en répondant simplement par'oui'. Vous écrivez les nouvelles informations que vous avez obtenues: Résultats Décrivez la situation actuelle: Plan olobal du disfricf: ricn conccrnant b TfiDC dans ce plan. Plan TIDC du Disfricf: * ElaboÉ par le cootdonnafcur TûDC du disfricf. Respg!.Lgble de la lufle confrc.lcs naladics au niwau Disfricf: * Nous n'incluons pas cncone I'onchocettosc dans nofrc plan global. tlrl. Alhassan élabore un plan - il mc I'a monfté. Jc ne sais pas vtzimenf cc qu'il cottficnt. * Le rcsponsablc du TûDC csf tll. Alhassan, un inspcfeur de la sanfé. Qu' allons-nous écrire? . Nous écrivons exactement ce que Mme Traoré dit, par rapport à nos questions (et par conséquent aux ' caractéristique s' ) . . Notez que nous écrivons des données venant de différentes sources dans le même cané. Les questions que nous devons poser sont claires: . 'Pourquoi l'équipe cadre de district ne prend- elle pas la pleine responsabilité du programme?' . 'Qu'allez-vous faire par rapport à cette situation?' Nous n'avons pas encore fini avec le responsable de la lutte contre les maladies au niveau district Les informations qu'elle nous a données montrent que la situation n'est pas idéale. Cela signifie que nous devons aller au deuxième carré sur la page: Si les responsables à ce niveau ne prennent pas l'initiative de la mise en æuvre du TIDC: . Pourquoi cela? Quelles sont les mesures prises pour améliorer la situation? Encore une fois, nous écrivons les réponses de Mme Traoré dans ses propres mots: Il y a une autre source d'information: observation (d'une situation). Cela arrive une fois seulement: Instrument 4, indicateur 7 .2.Ici, on nous demande de 'Vérifrer si tous les DDC ont reçu une formation appropriée', et l'une des sources d'information est 'Observer les DDC au travail.' Cela signifie que nous demandons à les voir faire une visite à domicile et observer ce qui se passe. Nous prenons de petites notes sur ce que nous voyons dans l'espace prévu à cet effet. Si les responsables à ce niveau ne prennent pas l'initiative de la mise en æuvre du TIDC: . Pourquoi cela? Resoonsoblc de lo lufÿe conhe les maladies au niteau disfricf': c'esf un nouveau prcgwmme, ef le siège en prcnd la rcsponsabilifé, en collaborufion awc i,l. Alhassan. . Quelles sont les mesures prises pour améliorer la situation? Responsable de la lutte conlrc lcs maladies au niwau disfricf: Adrssez-wut au Chef de Disfricf- ,Ie nc peux pas prcndrc ce îWe dc décision par moi-mâme. Version d'octobre 2003 t6 3.3.3. Pourquoi pas un questionnaire formel? Vous remarquerez que les instruments ne sont pas construits comme des questionnaires 'normaux', avec des questions exactes pour chaque indicateur. Pour cela? C'est parce que l'instrument collecte des informations auprès de personnes qui travaillent dans un grand nombre de situations difïerentes, dans différents pays. Dans l'exemple ci-dessus, nous devons interviewer un certain nombre de personnes à différents niveaux. Dans chaque cas, nous allons formuler les questions que nous posons différemment. Examinons la Caractéristique (b) de l'indicateur 2.1 au niveau district: . Pour le responsable de lo lutte contre les maladies au niveau district Mme Traoré) la question est:'Avez-vous nommé quelqu'un comme responsable du TIDC dans le district? Qui est cette personne?' . Pour la personne chargée d'une FSPL dans le district, la question esl. 'Qui vient du district pour vous voir, concernant la distribution du Mectizan ? Est-ce toujours la même personne?' Il est évidemment impossible de préparer des questions spécifiques pour chaque situation concevable. Au lieu de cela, nous dépendons du fait que les évaluateurs sont des personnes expérimentées qui sont mêmes capables de formuler des questions appropriées pour chaque situation donnée. 3.3.4. Gestion des données Il arrive souvent qu'il n'y ait pas suffisamment d'espace pour écrire à l'intérieur d'un instrument donné. Dans ce cas, vous devez simplement continuer à écrire sur la page blanche à gauche. Pendant que nous collectons les données, il est important de se rendre compte que nous devons les collecter de manière qui sera utile quand nous arriverons à l'analyse. Le principe ici est qu'il est préférable d'utiliser aussi peu d'exemplaires de chaque instrument que possible, afïn de parvenir à l'analyse avec toutes vos données sur un niveau donné sur un seul (ou au plus deux) instrument. Nous vous proposons ce qui suit: Chaque membre de l'équipe doit prendre le temps chaque soir de nettoyer les données qu'il /elle a collectées pendant la journée. Il est probablement plus sage d'avoir "un exemplaire maître" qu'on Niveau NOCFl projetl régioinall étatique I ) Cheque mernbre de la sous-*grip* qui collecte des donnees à ce niveau a un exemplaire de I'lnstrument 1, §ur lequel il /elle ecrit toutes les inf+rmatisns qu' il/o[[e esllcçte. Dans IB* cas oü les burcaux deNCICP et du projet sont separés, utilispz des exemÊl4ircs séparés Sûur shaque situâtior. Niveau District/ administration Iocale I I Chrque membre de lasous-rqoipç qui collecte dçs données à ce niveau a un exemplaire de I'lnstrumcnt 2, sur lequel il /elle eÇrit lcs informations gu'il ielle qollecte- Même si un mernbre de I'dquipe collecte des inforrnations âuprêsde plusieurs dis8ict*, il lelle doit m*ttrstoutes I*s dcnnecs surun seul exemplaire de l'Ïngtrument 2. Niveau soilB- districtlF§PL Chaque membre dr k sous*êquipe qui collectedes dormêes â ce niveau e un e)rcmplairê de I'IüstrumêrË 3, Bur lequel it lelle écrit lrs informations qu'il lelle pollecte - pour toutes les FSPL qu'illelle visite, dans un ou plusieurs districts. Niveau Village/ communauté Chaque membre de la sous-équipe qui collecte des données à ce niveau a un exemplaire de l'Instrument 4, sur lequel il /elle écrit les informations qu'il /elle collecte - pour tous les villages qu'il/elle visite, dans un ou plusieurs districts ou sous-districts. t l7 n'apporte pas sur le terrain et de transcrire les données venant de l'exemplaire rempli sur le terrain (qui se froisse et se salit vite) sur cet << exemplaire maître » chaque soir. Les membres de l'équipe qui ont des ordinateurs portables (lap-tops) peuvent le faire par voie électronique. 3.3.5. Evaluation du processus d'évaluation Le dernier soir où ils sont ensemble, les membres de l'équipe évaluent l'ensemble du processus (y compris l'instrument et le manuel). Ils font des recommandations sur les évaluations à venir. L'évaluation et les recommandations sont incluses dans le rapport. Version d'octobre 2003 l8 4. ANALYSE DES DONNEES ET RECOMMANDATIONS Toute l'équipe se réunit pour analyser les données. Cela se passe habituellement en fin de semaine. Les membres de l'équipe collectent les données pendant la semaine, quand les personnes qu'ils doivent interviewer sont disponibles - et le week-end est donc le moment opportun pour effectuer l'analyse. Le chef d'équipe préside la discussion. Conformément à la philosophie participative de l'évaluation, l'équipe peut demander à un ou plusieurs membres du personnel du projet être présent (s) dans un effort supplémentaire de l'amener ou de les amener à avoir une compréhension approfondie de la durabilité de leur projet. Cependant, cela ne doit être fait que si les membres de l'équipe acceptent que ces personnes ne fassent pas ingérence dans le processus d'analyse. Voici le processus à suivre: 4.1. Assemblage des données L'équipe fait l'analyse d'un seul niveau à la fois. La première étape consiste à rassembler toutes les données qui ont été collectées concernant ce niveau: x Avant cela, chaque membre de l'équipe doit avoir avec lui un ou plusieurs instruments ce nl sur s il a écrit ,} Notez que des données supplémentaires concernant le niveau 'district' seront obtenues pendant les ateliers de 'restitution/ planification'. Ces données ne sont pas encore disponibles pour la première analyse, mais l'équipe doit les examiner après I'atelier et réviser son analyse pour ce niveau en cas de besoin. Pendant la période de collecte des données, le chef d'équipe doit s'assurer que les membres de l'équipe enregistrent correctement toutes les informations qu'ils collectent, dans les bons endroits et sur les bons instruments. Notez que la diversité des sources d'information est très importante, car elle renforce la validité des jugements qui seront portés. Par exemple, le rapport que le personnel du niveau district donne sur ses activités de supervision peut être vérifié en demandant au personnel du sous-district ses expériences sur la même supervision. 4.2 Résumé qualitatif des principaux résultats (en mots) Notez qu'il s'agit d'une instruction donnée à l'équipe en bas de chaque page des instruments. L'équipe traite des indicateurs un par un. Chaque personne présente les informations qu'elle a collectées pour cet indicateur. Naturellement, les informations portent sur les caractéristiques de l'indicateur, telles qu'elles apparaissent dans l'instrument. Notez que des données ont également été collectées sur les raisons des situations qui constituent une menace à la durabilité. Une fois chaque membre a présenté ses données, le groupe à son tour se réfère à chacune des caractéristiques de l'indicateur- qu'en disent les données? Un membre de l'équipe est nommé rapporteur maintenant. Les membres du groupe discutent des résultats pour une caractéristique donnée et se mettent d'accord sur une phrase qui résume Ses résultats des interviews des personnes conduites à ce niveau. Ses résultats des interviews des personnes conduites à d'autres niveaux (tels qu'indiqués dans l'instrument pour ce niveau). Les informations obtenues à partir de l'étude des documents mentionnés dans l'instrument ace ni et occasionnellement d'observations. l9 I entièrement ces résultats (positifs et négatifs). Le rapporteur écrit la phrase clairement sur un flipchart, où chacun peut la voir. Ce processus est répété pour toutes les caractéristiques de cet indicateur. Le résultat final est une ou deux phrases, qui peuvent être facilement écrites en un petit paragraphe . Cela décrit clairement tous les résultats concernant cet indicateur (et ses caractéristiques): qu'apporte-t-il de positif pour la durabilité? Qu'est-ce qui va à l'encontre de la durabilité? Il résume les données concernant les raisons des faiblesses. Voici un exemple d'un tel 'paragraphe récapitulatif : Planifï cati.qn (niveau district) . Biem qil€ tous les distriçts ait établi d*s plans aonuelÊ a*seu détailtés pour le TIDC (habituellemert sous forme de tableau Gantt) ce* plans n'ont êté inclus dens le plan du district que dans uû $eul cas. Dans certains casn plusieurs mçmbrÉs de l'équipe sanitaire ont perfi*ipé à l'élaboration dçs plans. Cette planification n'est cependant enseiguée dans Ia formation que le NOCP dispenso. . Raisons de la non.intégrution du.plan de îIfrC da x le plan anruel global: " Lp Frogramrne est encore nouvesu. + L'ECD [ç coneidere tofiIme étant financé de I'extérieur et qu'il n'a pas besoin par consftuent de finanærnçnts du Mnistêrc. * Les de financ+meut du district de nouveaux sont faibles- Notez qu'il s'agit ici d'une étape très importante de l'évaluation. Cette analyse produit la chair du rapport et les recommandations du rapport seront essentiellement basées sur elle. Notez également que les résultats doivent être strictement basés sur les données. Il n'y a pas de place ici pour l'utilisation des opinions des chercheurs comme faits. Notez que pour des contraintes de temps, il pourrait être nécessaire de diviser ce travail. Si vous trouvez que l'analyse faite par l'ensemble du groupe se déroule trop lentement, vous pouvez former deux équipes. Chaque équipe reçoit alors des données d'un niveau différent à analyser -Veillez à ce que chaque équipe ait toutes les données concernant ce niveau. Après que l'analyse ait été faite de cette manière, chaque équipe présente son travail à l'autre pour des commentaires. 4.3 Notation des irrdicateurs 4.3.1 Notation de chacun des indicateurs Une fois que toutes les preuves sont réunies pour un indicateur donné à un niveau donné, l'équipe prend une décision collégiale sur cette question: 'Cela est-il bon pour la durabilité?'La notation suivante est utilisée à cet effet: Notation ds I'indiceteur Quo signilie Ia notaüon? Yaleur numérique Cornplèternent Les résultats çffrcernant cet indicateur ntontrçnt une situêtianqui est complêtemBnt eo feyeur de la durabilité du projBt. 4 Hautement Les résultats sonûerftart cst indicateur mootænt une situatioo quiesrlargement en fsveur d.eladurabilïtÉdu projet, mais il y a qrteorg upÊ petitç f,Ê$§ibili1ç.d'amé[ioqq.fisrr, 3 Version d'octobre 2003 20 Moyennernent Les resultats coûcefllaffi cet indimteur mofltrent urle situâtiofl qui es't seulement d'environ la rnoitié de ce qui aurait pu ètre feît en faveurde la durabiliæ du projet. 2 Légèrernent Lps resultat§.coücpmant cet indicateur rirontrëffi unp situâtion qui est s€ulement lÉgèrement en faveur de la durabilité du projet. I Pas du tout Les rçsultats Çonqçmant cct indicateur rnontrent uue situatiqnqui n'est pss dutor4en favqr de Ia durabilité du projet. 0 Non applicable Cet indicatgur n'est pas pertinent pour cette situation donnée. Notez que la 'valeur numérique' ou 'note' n'estpas un nombre d'intervalle réel, mais plutôt un outil pour parvenir à une classification ordinale par rang. Il est donc utile de faire cela pour ces raisons. ' Cela aide 1'équipe d'évaluation et ceux qui reçoivent le rapport à voir au premier coup d'æil là où se situent les succès et les zones à problème. ' Ces évaluations vont être menées au cours des Ans 3 et 5 de la vie d'un projet. La classification par rang numérique permet de comparer la situation la plus récente à la situation de départ. Comment l'équipe parvient-elle à une décision sur la notation? Il y a deux manières, toutes les deux étant utiles: ' Après le résumé oral d'un indicateur, chaque membre du groupe fait sa notation en privé. Le rapporteur enregistre la valeur numérique correspondante pour chaque notation sans commenter et une moyenne mathématique est prise. Notez encore cependant, qu'il y a une technique pour parvenir à la classification selon le rang, qui n'implique pas une valeur mathématique obj ective. ' L'ensemble du groupe arrive à une notation par consensus. Cela prend habituellement plus de temps. Vous noterez qu'il y a un espace vous permettant d'enregistrer la notation de l'équipe, en base de chaque page des instruments. Veuillez noter que les indicateurs dans les 'résultats/ couverture' de groupe ont leur propre système de notation, qui est donné dans chaque instrument en bas de la page appropriée. 4.3.2 Notation de groupes d'indicateurs Une fois que tous les indicateurs ont été notés par l'équipe, une note peut être facilement donnée pour chaque groupe d'indicateurs. Cela est fait en obtenant une moyenne mathématique de l'équivalent numérique de la notation de chaque indicateur - par exemple. Notez toutefois que la 'valeur numérique moyenne' n'est qu'une représentation des séries ordinales: 'totalement', 'très' . etc. Les notes pour tous les groupes d'indicateurs à un certain niveau peuvent alors être illustrés dans un tableau ou par un graphique - par exemple: Faur le grwpe dç Ia , aa nivsau districtl sdtfiiwistrqtion locale ily a trois indicsts.ars. Supposez que fies lfitês de æs ffois soÿtt 3, 3 et î. Ia nats généraledt la à ce niveaa est +J+ 7. 2l Projet de Kaduna : Durabilité au niveau LGA 4 3.5 t o o ts op o o- 3 2.5 1 2 .5 1 0.5 0 '§.-*"ff.1§ ,""- ""C §(§' ." P s." "".f" uâ"groupe d'indicateurs 3.O 3.0 1,5 De cette manière, les principaux domaines problématiques pour la durabilité apparaissent clairement. . 4,4 Fautes courantes dans l'analyse des données Les erreurs suivantes ont été notes et doivent être évitées: . La collecte des données, l'analyse et les recommandations se focalisent sur lefonctionnement du projet, plutôt que sur sa durabilité. C'est une erreur très grave. Il est vrai que certains des indicateurs cherchent à savoir si le projet est effrcace /fonctionne bien ou pas, mais cela ne vise qu'à nous aider à juger siun domaine de fonctionnement peu effrcace va affecter la durabilité du projet. ' L'analyse pourrait être incomplète, ne prenant pas en compte des éléments importants des données du terrain. Par exemple, si des données tirées de registres ne sont pas présentées, cela signifie qu'on a que l'explication du responsable du transport et des chauffeurs sur la manière dont les moyens de transport sont contrôlés - ce qui n'est évidemment pas satisfaisant. Le chef d'équipe doit s'assurer que tout élément possible de données est inclus dans l'analyse et présenté à cet endroit. ' Il arrive que les résultats à un niveau contredisenl ceux d'un autre niveau. Par exemple, l'approvisionnement en Mectizan au niveau district semble bien marcher, mais alors le niveau FSPL signale des ruptures régulières de stocks. C'est une faute que de ne pas clarifier la situation - Pourquoi une telle incohérence? Version d'octobre 2003 22 4.5 Faire des recommandations L'équipe doit maintenant faire des recommandations sur les mesures que les projets et les pays doivent prendre pour réaliser la durabilité par eux-mêmes. Ces recommandations sont faites pour chacun des quatre niveaux et doivent avoir les caractéristiques suivantes: ' Elles doivent être basées wr les résultats de l'évaluation. Si les recommandations doivent réellement être utiles pour l'amélioration de la durabilité, dans ce projet donné, elles doivent découler des données obtenues pendant le travail de terrain - de celles-ci et de rien d'autre. Rappelez-vous que les 'données sont sacrées' - les évaluateurs ne sont pas autorisés à falsifier ou à ignorer les données. . Leurs recommandations doivent être pratiques et réalisables, si elles visent à être utiles. Rappelez-vous que vous etes en train de recommander des processus d'action au NOTF qui a des pouvoirs et des capacités limités. Il ne sert à rien de recommander que 'le HIS national soit amélioré ou que 'le budget national de la santé soit augmenté' - cela peut être souhaitable, mais il est totalement peu pratique de demander au NOTF de le réaliser. . Les recommandations doivent être précises. * Pour chaque recommandation, une suggestion doit être faite, sur qui doit être responsable de son exécution. * Pour chaque recommandation, un délai ou un calendrier d'exécution doit être proposé. * Un ou plusieurs indicateurs simples de réalisation doivent être donnés pour chaque recommandation. . Les recommandations doivent avoir un ordre de priorité comme suit: * HAUTE: cette recommandation est d'une importance cardinale. Si elle n'est pas suivie, le projet ne sera pas maintenu. * MOYENNE: cette recommandation est importante mais pas essentielle. Sa mise en æuvre renforcera cependant l'autonomie du projet. * Il ne doit pas y avoir des recommandations de FAIBLE priorité. Cette priorisation a une grande valeur pratique. Vous ferez en tout 30-40 recommandations par projet, il est donc essentiel de monter aux NOTF par où vous pensez qu'ils doivent commencer. Nous proposons le format suivant pour la rédaction des recommandations sur un groupe d'indicateurs: Notez qu'avant que les équipes ne reçoivent vos recommandations, elles auront déjà fait les leurs, dans les plans qu'elles vont élaborer pendant les ateliers de'restitution/ planifrcation'. Il serait bon Recommandations: Titrp du groupe d' (ex: 'Planifïcation') Mise en æuvr€ t 2. Priarilé: 1. 2. I ndieqlv qrs dç réus ;i t s : I, ? fui daitagir; 1 3 Délüi d'achèvemenl: Tl, ,' 23 de parcourir ces recommandations car elles peuvent fournir des informations et des idées supplémentaires. 4,6 Notation de I'ensembte du projet Enfin, l'équipe doit noter l'ensemble du projet en termes de sa durabilité générale. Une telle notation est utile parce que: . elle donne aux décideurs une idée immédiate de la durabilité du projet dans son ensemble. . Elle définit une base par rapport à laquelle on peut mesurer les progrès vers la durabilité. Les équipes doivent résister à l'envie de donner une valeur numérique à la durabilité d'un projet, ex. en calculant la moyenne mathématique des notes pourtous les indicateurs à chaque niveau. Ce jugement 'global' est plutôt une notation del'ensemble du projet, basée sur toutes les preuves disponibles; et le 'calcul' est fait par des 'super-ordinateurs' que sont les cerveaux d'une équipe de personnes expérimentées. Nous recommandons deux étapes: (a) Faire un jugement du projet, concernant chacun des sept 'aspects' de la durabilité Âsp+ct Jugementr à quel degtË ret espert dde-t-il ou empêche-t-il ladurabilitÉ dan* ce projet? IntÉgratiou Ressources Efficienpe §implicité Aeveptatiorpar l$ per*onnel de santê (Attitudedu personnel dc sarrté) Appropriation csrnmunautairp Ëfficacité (b) Regardez ensuite les six aspects clés du projet - 'éléments essentiels'de la durabilité. Si ceux- ci ne sont pas présents, il est peu probable que le projet soit durable: Argenr: Y a-t.îl suflisamrnent d'argent pour m€ner strictement lBs tacher ,È nécessaires qui ont été minutîeusemÊnt peüB€eset planifiêes? (rninimum absolu d' activités résidueües). Transport: Une datation a-t-plle été faite pour Ie remplacemert ou la réperation des véhicules? Y a-t-iIune garantiç reisonnablç q$ç dës véhiculçs rontinuerÇrË être disponibles pour les activités rninirnales es*enticlles? (notez que 'vélucule' ne signifre pas nécessairunêflt'4x4' ou même unr'voiture'). Supervision: Unç dotationa-t-elLe é.téf,aite pour une supervision perfiateflteciblé d'appui? (le projet ne peut pas se pérenniser sans cela). Approvisionnement en Mectitæt Le système dnapprovisionnement est-il fiable? {te planolrerest que zufÏisammcnt de médisâments parviennent dans lcs villages au oromBnt choisi per les villageois). Ëngagement politiryte: - elfectivernenÏ dânontré pu Ia corrnaissançë du processus du TIDC par Ie* poliügu€s {€ntraînant un appui tangible); et un ssns dc I'appiopriation du * ,h rÿ lacornmunauté Version d'octobre 2003 24 * Dans ce cadre, l'équipe utilise la grille suivante pour noter le projet dans son ensemble Niyeau de durabilité Description Cornplèternent durable a Tous les a.speüts sont préÉent&, et tous lee éléments essefitiels existent (avec ôtrr une ou deux pefites irnperfections). Ce projet remplit par consêquent toute§ les conditious pour devenir durable, Fâit de§ progrès satisfaisents vers Ia dursbilitê . Un ou deux Wêcts ùbsoÉt pa$ présent§, ef ürt ou deux , ne sont pas r&lnis.. ' Ce projet n'est pas loin être durable. Avpc les ctitlgues de l'eguip+ d'évaluatiory les personuels nationatr et du projot dqiveflt pouvoir entreprendre les aotions de redrpssement nêcessaires. esstfitiels Nefait pas de progrès satisfaissnts vers lâ durebîlitê La moitié ou moins ûet aspects sont présentg et Ia ruoitié ou moins des éIéments e$eilaelc sont réurris. Ce projet fait face à de graves obstacles pôur &a durabilité. Il devra être repensé etbénéficisrde lamobilisation drappuis de haut niveau pCIur se rernettrg sur lÊ bon chemin, I 25 û 5. LES ATELIERS DE 'RBSTITUTION/ PLANIFICATION' Dans cette section, nous discutons de comment organiser les ateliers et les renions qui ont lieu pendant la deuxième partie de la visite d'évaluation. 5.1. Préparation des ateliers Cet exercice d'évaluation vise à ancrer les projets sur la voie de l'autonomie. Cela signifie que l'équipe doit faire plus qu'évaluer - elle doit aussi mettre en branle un processus de planification, basé sur ses résultats. Cela est fait à travers deux ou plusieurs événements de 'restitution/planification' -ateliers et réunions. Ces événements visent les objectifs suivants: Restitution Nous présentons les résultats de l'équipe d'évaluation à tout le personnel et les figures politiques compétentes, qui ont la responsabilité du programme de TIDC. Planification de la durabilité du projet Nous devons également permettre au personnel du projet et aux personnalités politiques à ces niveaux de travailler ensemble pour développer un plan réaliste visant à apporter la durabilité à leurs programmes TIDC. Le processus décrit ci-dessous est basé sur l'expérience acquise au cours d'évaluations précédentes. Les considérations pratiques suivantes sont importantes. La préparation des ateliers doit être faite par les directeurs de projet (Ministère et ONGD) et le 'scout', avant l'arrivée de l'équipe d'évaluation. Cela, parce que les invitations doivent être envoyées à temps. Des événements séparés sont organisés pour le niveau projet, le niveau district sanitaire/administration locale. L'atelier du niveau supérieur est organisé en premier lieu afin que le personnel à ce niveau se familiarise avec les concepts et les résultats. Cela signifie qu'ils seront en mesure d'aider dans l'organisation de l'atelier au niveau district. t Si nécessaire, un troisième atelier peut être tenu pour le niveau national (dans les cas où les bureaux national t de projet ne sont pas les mêmes). Il est très important de ne pas de trop faire pendant l'une de ces réunions, dans le temps limité disponible (habituellement trois jours).Un bon atelier de 'restitution/planification' dure deux jours. Nous suggérons donc deux types d'atelier, selon les circonstances: * Un atelier de 'restitution/ planiticution' .' un jour pour la restitution et la discussion, unjour pour la discussion, un jour pour la planification de la durabilité du projet. L'atelier au niveau projet doit être l'un de ceux-ci, étant donné que c'est ce niveau qui prendra la charge du processus de réalisation de la durabilité. Ils devront travailler avec le niveau district et les niveaux inférieurs pour élaborer des plans de 'durabilité' à leur tour. * Un atelier de restitution d'un jour: un jour pour la restitution et la discussion. C'est le minimum requis pour les districts qui doivent avoir une rétro-information sur les résultats de toutes façons- Ceux qui ont été échantillonnés et les autres. En ayant une telle réunion, nous les sensibilisons tous sur la question de la durabilité. S'il y a cependant, suffrsamment de temps (deux jours) et si le nombre de districts est petit, l'équipe d'évaluation peut décider d'organiser un atelier complet de 'restitution/ planification' au niveau district aussi. Version d'octobre 2003 26 a 5.2. Ateliers à différents niveaux 5.2.1. L'atelier du niveau projet Les personnes suivantes doivent participer à cet atelier: * Du service public de santé: - Le responsable du projet/ SOC. - Les cadres chargés du projet (ex: Directeur de la section dans laquelle travaille le responsable du projet; Secrétaire permanent). - Agents de terrain mettant en æuvre le projet à ce niveau / SOCT. * Des ONGD: le responsable détaché au projet. * Toute autre partie prenante qui contribue généralement à la planification à ce niveau. ex: membres du NOTF. Le programme de l'atelier est conçu pour atteindre les deux objectifs donnés ci-dessus. Un exemple d'un tel programme est donné au point 5.4.1, mais il devra évidemment être ajusté selon les circonstances. Les membres de l'équipe d'évaluation, facilitateurs de cet atelier 5.2.2. L'atelier du niveau districU administration locale Les personnes suivantes doivent participer à cet atelier. * Du service public de santé. - L'équipe cadre chargée de la gestion du service de santé à ce niveau; y compris la personne chargée des programmes de lutte contre les maladies. - Le responsable du programme TIDC à ce niveau. * Les autorités compétentes et les représentants des ONGD à ce niveau. * Toute autre partie prenante qui contribue généralement à la planification à ce niveau Comme indiqué ci-dessus, la nature de cet atelier dépend du temps disponible et du nombre de districts dans le projet. Notez qu'il est diflicile de gérer un bon atelier s'il y a plus de 40 participants. Par exemple: ' La situation: Un projet contient 16 districts. Dans chaque district, il y a 4-5 décideurs qui doivent participer à l'atelier (60-80 personnes au total). Il y a deux jours disponibles pour cela. ' La décision: Un atelier de 'restitution/ planification' ne peut faire face à 80 personnes. Nous allons donc tenir un atelier de 'restitution' d'un jour seulement. Le programme de l'atelier dépendra de sa nature. Un exemple d'un programme d'un atelier de 'restitution' d'un jour est donné au point 5.4.3 -encore une fois, il devra être adapté aux circonstances. Notez en particulier que les ateliers à ce niveau nous donnent l'occasion de réunir d'autres informations importantes sur l'autonomie ou durabilité. Cela est dû au fait que nous pouvons rencontrer les districts sanitaires / qui n'avaient pas été inclus dans notre échantillon. Un questionnaire peut donc leur être administré à un moment de la journée. Un modèle de questionnaire figure à l'Appendice 2. Les données obtenues de cette manière doivent être utilisées pour réviser les résultats et les conclusions auxquels on avait abouti après la première analyse des données collectées pendant le travail de terrain. Les facilitateurs à cet atelier sont: . L'équiped'évaluation 27 r Les personnes qui ont participé à l'atelier de haut niveau 5.2.3. L'atelier du niveau national Dans certains pays, le bureau national est chargé d'un certain nombre de programmes (ex : Cameroun, RDC, Nigeria). Ce bureau peut aussi être situé loin du site du projet. Dans ce cas, l'équipe doit envisager d'organiser un atelier à ce niveau aussi. Ce sera relativement une petite affaire, étant donné que le nombre de personnes impliquées est petit. Les personnes impliquées connaissent habituellement le programme et il suffit d'organiser un événement moins formel- comme une longue réunion. Tous les deux aspects (restitution et planification) doivent être toutefois traités. 5.3 Organisation des ateliers Il est important que l'atelier soit dirigé par une personne ayant de bonnes compétences en matière d'atelier- quelqu'un ayaît l'expérience de la conduite des ateliers. Vous devez désigner le membre de l'équipe le plus expérimenté dans ce domaine pour être responsable du programme de l'atelier. Ceux qui doivent voyager pour participer aux ateliers auront besoin de perdiems pour les frais de voyage et de logement.La direction de I'APOC a accepté de financer cela. Cependant, le chef d'équipe doit s'assurer qu'une demande est soumise pour les fonds et que des paiements en espèces seront disponibles pour les participants à la frn de chaque atelier. Il bénéficiera pour cela de l'assistance des responsables du projet et du NOC qui ont de l'expérience dans ces questions. Les participants doivent avoir du thé et le déjeuner.Encore une fois, l'APOC a accepté de financer ce volet aussi, mais le chef d'équipe doit s'assurer que les responsables du projet /NOC organisent cela. Il est très important que les repas soient prêts à temps. La salle dans laquelle l'atelier aura lieu doit être soigneusement choisie: ' Elle doit être sufftsamment grande pour recevoir le nombre prévu de participants. ' Cela doit être proche du bureau du projet (pour certains exercices, nous pouvons avoir besoin de la documentation du projet) mais pas si près qu'il y a des interruptions constantes (telles que les personnes qu'on vient appeler pour répondre au téléphone). ' Elle doit être calme - ex: pas à proximité d'une route très fréquentée ou d'un groupe électrogène. ' Elle ne doit pas être trop chaude - s'il n'y a pas de climatisation, il faudra peut-être prévoir des ventilateurs. Le matériel suivant doit aussi être préparé (encore une fois I'APOC paiera la facture): ' LJne chemise cartonnée pour chaque participant, contenant le programme et les documents de l'atelier, (ex : les résultats de la principale évaluation ; et aussi celle sur la 'durabilité'), du papier pour écrire, un stylo ou un crayon. ' L'équipement nécessaire, selon ce que l'équipe souhaite utiliser: flipchart, marqueurs, rétroprojecteur, transparents, stylos etc. Notez que plus vous accorderez de l'attention aux détails pratiques, mieux l'atelier se déroulera. A un certain moment au cours de la deuxième semaine, vous devez donner un feedback aux principaux responsables au Ministère (ou même au niveau du gouvernement). Cela signifie d'une petite équipe doit être prête à quitter l'atelier à un moment convenable aux personnes qu'elle va voir. Et souvenez-vous d'apporter une cravate pour l'occasion! On ne sait jamais, vous pouvez réussir à voir le Ministre de la Santé ou le Gouverneur de l'Etat en personne ! Version d'octobre 2003 28 5.4. Programme de I'atelier 5.4.1. Programmeglobal Voici un exemple de programme d'un atelier complet de 'restitution et planification' de deux jours pour le niveau projet. Il comprend les éléments les plus réussis de plusieurs ateliers. Chaque équipe d'évaluation doit l'adapter à ses besoins spécifiques. Ordre du jour pour le Jour 7: 'Restitution' *{ctivité TBmns Frcilitateur I Cérémonie d'üuvÊrture êt mots dehienvenue 2 PresBntæion des participants 3 Présentation: . Prügraffimedel'atelier . Questlgqs d'oIgçnisæion pratique dp I'atelier 4 Presentation: . Objectif de l'évaluatiofi. . Qu€ signifie 'dumbilité? 5 Presentation: de l*dvalustïon Panse café 6 Présentation des principaux résultats: . I.üiyÊfltrçommunautgirç ' Niveau FSPL/ sous-district . Niveau Distrietl adrninistration locale . Nivoaunæional/projet Chaque préseutation est suivie d'un temps pour des prdcisious çt une discussion ouvertg, Psuse déieaner 7 , Travaux de groupe: analyse §WOT dao+3 groupe§ la situ+tion rçlativc à la durabilitd daus votre projet?' r Groupe 1: Iæs niveauxrommunautairc etFSPL . Groupê 2: Niveau disrictladmirristration locale ;. Groupe 3; niveau 4g{pq4li projetI Présentatiorr des Êravaux de groupg zuivied'une dissussion en I Tr*yaux de Grouper 'quÊllespsuffaiênt ëtreles solutions eux ' faibless€s concertrant la durabilité de votre projet?' . Groufle 1: Planification, §uivi ot supervision . Groupe 2: Finanpes, Formetion€t ESPM . Groupe 3: Transport, aptrnovisionnçment çn Mectizan In*tructionsl c,onç€fltrez-rrous sur la. mtionelisation des dépenses; la nrobilisation des ressourcer; f iutégration. 10 des travaux de sroupB §urYre d'une discussion pn 1l Présentation: Rérumé destravaux de la 29 plênière journee. Ordre du jour pour le Jour 2: 'PlaniJication' 5.4.2. Détails des points du programme Le concept de 'durabilité' doit être discuté au début de l'atelier: la définition, les aspects, les niveaux. Cela est fait sous forme d'exposé suivi d'une discussion. Il serait bon de donner aux participants un document sur le sujet (voir l'Appendice 5). Ensuite, l'équipe d'évaluation donne une retro-information sur ses résultats: ' IJn résumé des résultats à tous les niveaux est présenté - mais l'équipe donne plus de temps au niveau des personnes pour lesquelles l'atelier est entrain de se dérouler. ' L'équipe doit donner d'abord les résultats positifs / acquis, avant de passer aux aspects négatifs /problèmes. ' Il sera utile que l'équipe prépare un petit document à distribuer sur les principaux résultats (la section du rapport préparée telle que décrite ci-dessus au point 4.2). ' Il est important de consacrer suflisamment de temps à la discussion sur les résultats. Le reste de l'atelier est conçu comme un processus logique, aboutissant à la construction d'un plan durable pour l'année qui suit la fin du financement de I'APOC. Ceci n'est pas un plan théorique Âctivité Tempg Faciliffiteur AccuBil 1r Présentetioo: . Resumé deg travaux dc [a veille . hogramme de lajorrrnée 12 Travaux de Groupe: 'quelles ressourçes sôEtmes-noils susceptibles d'avoir eux diflérent* du programme, pour 1es 3 prochaines annees?' . Groupe I; fugient et r€§*ourtçshumaines. ' Groupe 2: Moyens de transport etéquipempntsl matériels. 13 Pésentætion des trâvaux de groupe, suiviç d'une discuspion en plénière Paase c4fë 14 Travaux de Groupe: Ëlabçration d'un plen durable pour la proehaine arlilÊê ' 3 groupes éleborBnt chacun un plan sous forme de tableau(qu'est-ce qui doit ëtre fait, pourquoi; pâr qüi; d'ici quând; irtdicatcurs; csüts). .Le plan doit clrrtspondre tux ressoürces disponibles. Pquse l5 Présentæiou des travaux de groupe- suivie d'une disctrssion enj!éqiére l6 Discussion rnpléniêre: : . Elab+ration d'un 'plan cadre dursble' poilr Iê prdet, pour Ia Prqcheiqe annee, t7 Discu*sion en pt*nierel . Mesures pratiques pour m€Être er æuvr€ oleplan durable' 18 §êanse pléniere: questions d'ordre prâtlque Aô déroütèmfrrte I'atelier l9 Cerëmoniede clôture Version d'octobre 2003 30 iPqrffi Ëdfç pour réaliser la 'durabilité' - c'est un plan qui entre dans les limites des ressources disponibles et qui est par conséquent durable. Voici les étapes: . IJn exercice SWOT, conduit par rapport à la durabilité actuelle du projet à ses différents niveaux. . IJn exercice pour générer des idées pour surmonter les faiblesses et les menaces dans les activités de routine du projet, en ce qui concerne leur durabilité. . fJn exercice pour cartographier les ressources qui sont susceptibles d'être disponibles pour le programme au cours des prochaines années. . fJn exercice pour élaborer le plan durable mentionné ci-dessus (pour une année seulement). Il y a des instructions détaillées disponibles pour les séances de travaux de groupe (Appendice 4). Le dernier point à l'ordre du jour est l'élaboration des perspectives d'avenir. La principale question est la suivante: qu'est-ce-qui va arriver aux plans que les participants viennent tout juste de préparer? Elaborez avec chaque équipe de participants, ce qu'elle va faire de son plan. A qui va-t-elle le soumettre et quand? Où va-t-elle l'aflicher? Comment va-t-elle s'assurer de s'en tenir à ce plan? 5.4.3 Le court atelier de 'Restitution' d'un jour Les équipes d'évaluation doivent choisir les points du programme de deux jours qu'ils veulent inclure dans cet événement. Voici un exemple: Notez que l'analyse SWOT est utilisée ici pour permettre aux participants de digérer les résultats plus attentivement et non pour les aider à voir la nécessité de développer leurs propres plans de durabilité dans un proche avenir. 5.4.4. Rôle des facilitateurs de I'atelier Les participanls doivent être aussi actifs que possible. Cela signifie que les/acilitateurs doivent rester aussi calmes que possible. Ils doivent résister à la tentation de partager avec les participants de l'atelier leur vaste savoir! Ce sont les participants qui doivent élaborer leur plan - après tout, CÉrémoni e d' oilverture et accueil Présentetion des perticiprnts kêsentâtion: prosrsmme de Ia iournée; gue*tions pratiques d'organisation Administretion du questionnrire {Appen dice 37 aru( participanrs Pause café Préspntetion: l'objertif de I 'évaluctioul gll'CIsf.pe que la durabilite? Frêsentârion: Ie méthodologie dp l'évalætioo Présentetion des principaux ré*ultats aux quatre niveau4 suivie par dt clarificetiouset d'une discussion ouvefie.ufl Pause déjeuner ?ravaux de Groupe; analyse SlVCIT groupes * situation de Ia durabilité dansvotre est [a Prêsentàfion det travaux de groupe, suiviç d'uue discussion en pléniêre Pause café Discussion en plénière; les perspectives d'sveflir -çomm€û aider lp+ ppftiçip?g!§ à élaborer feurs propres plans de durabilité? T prttiqu€Séançc Cérémonie dç ctrôturc 3l urôiÉt?- c'est leur programme. Expliquez clairement qu'ils sont maintenant entrain d'élaborer leur plan de durabilité. Il est très important qu'ils aient le sentiment que ce 'plan de durabilité' leur appartient. Quand les participants sont en train d'élaborer leur plan, les facilitateurs doivent les aider à y mettre leur première activité planifiée (en utilisant le format proposé -voir l'Appendice 5). Après cela, le rôle des facilitateurs doit surtout consister à louer et à encourager. Pour beaucoup de participants, ce type de planification sera nouveau et ils peuvent facilement si le facilitateur insiste trop sur la nécessité de faire tout 'correctement'. Si un ou plusieurs groupes semblent avoir des diflicultés pour résoudre un problème, il serait utile que les facilitateurs demandent à d'autres groupes présents de dire à chacun comme ils envisagent de résoudre ce problème. Les facilitateurs peuvent même puiser dans leur propre expérience antérieure d'ateliers semblables pour donner quelques idées. Ils doivent cependant veiller à ne pas prescrire des solutions toutes faites. 5.5. Après les ateliers Assurez-vous que les participants aillent à la maison avec leurs plans. Vous devez cependant avoir des copies pour la personne responsable du projet, au niveau situé au-dessus de celui des personnes qui ont participé à l'atelier; et pour votre rapport d'évaluation. Les responsables du projet, le NOC et NOTF auront les responsabilités suivantes après les ateliers: ' Le NOTF (et les groupes de travail compétents aux niveaux inférieurs ) doivent se réunir pour discuter et approuver les plans de 'durabilité', et défrnir les manières de soutenir leur mise en oeuvre. . Les plans doivent être distribués à tous ceux qui ont un intérêt pour eux et en particulier à tous ceux qui ont la tache de les mettre en oeuvre. . Les plans devront être suivis. Des réunions régulières de suivi doivent être organisées pour suivre l'état d'avancement de la mise en oeuvre des plans. . Les équipes de projet et de district doivent être encouragées et enthousiasmées. . Les ressources doivent être trouvées pour des activités supplémentaires - ex: recyclage pour préparer chacun de manière optimale en le dotant des compétences dont il ou elle a besoin pour faire face au départ de I'APOC. . Dans les situations où I'atelier district ne comprendrait uniquement que la restitution, le personnel du projet devra achever le processus en organisant ses propres mini-ateliers pour les districts, afin de les aider à élaborer leurs propres plans. Version d'octobre 2003 32 6. REDACTION DU RAPPORT Une fois que les résultats ont été analysés comme suggéré ci-dessus, un rapport doit être écrit. Cela commence à se faire au moment de la première analyse des données et chaque membre de l'équipe doit être responsabilisé pour y participer. En rédigeant le rapport, on doit garder à l'esprit que ce ne sont pas tous ceux qui doivent le lire qui connaissent bien le processus d'évaluation de la'durabilité'. Il doit donc y avoir sufÏisamment de détails pour leur permettre de comprendre la logique de l'ensemble du processus. Les sections suivantes sont recommandées: . (Jn résumé analytique. . Introduction. une brève description du projet et de son histoire à ce jour. ' Méthodologie: un bref protocole (incluant la question /objectif de l'évaluation et l'échantillon); une brève description du processus; les problèmes qui ont été rencontrés; commentaires sur la performance des instruments; les membres de l'équipe. . Résultats et recommandations: * Pour chacun des niveaux la uence suivante doit être utilisée: Une discussion et un jugement de la durabilité générale du projet.* 'r Autres résultats d'intérêt. ' Rapport des ateliers de 'restitution/ planification' : une brève description de chacun des participants, le degré de participation, lesprochaines étapes envisagées ' Un rapport sur les visites de plaidoyer menées: quelles sont les personnes rencontrées, leur réponse ' Appendices: ex: autres données pertinentes, sources de données, agenda de l'évaluatiorÿcalendrier; programmes des ateliers; plans produits pendant les ateliers. Notez qu'un rapport séparé doit être rédigé pour le niveau National de chaque pays (sauf dans les cas où il n'y a qu'un seul projet par pays, quand les données Nationales sont jointes au rapport de projet). La même présentation est recommandée. La responsabilité ultime de finalisation du rapport repose sur le chef d'équipe. Il est suggéré qu'il/elle consulte un rapport d'une évaluation récente pour se guider dans la rédaction du rapport. Des copies du rapport final sont envoyées par voie électronique: . Au projet concerné. . Au NOC/ NOTF du pays concerné. . Au Bureau de I'APOC à Ouagadougou. * Un graphique de Ia notâtion moyenne glohale (sur une échelle de 0*4) des neuf groupçs d' irtdicatcurs * Description détaifleÊ des principaux resultflts positifs et négatifs au sein des negf gf,oupes, par rapport à Ia durabilité, * Recomrnsndetioos détaillees et spéoifiques basêe* stricternent zur les réxultats, par ordrê de prioritç, ayec des indicateurs, des ddlais d'exécution Êt des persûnne$ 33 APPENDICES Appendice 1: Lettre âux personnes à interviewer Ces informations peuvent être incluses dans une lettre oflicielle écrite au NOCP, adressée à toutes les personnes auxquelles on demandera de fournir des informations pendant l'évaluation à venir. Cher collègue, Informations sur l'évaluation à venir du Programme de Lutte contre l'Onchocercose (Cécité des rivières) Au cours de ces dernières années, vous avez aidé à gérer un programme de luue contre la cécité des rivières, en distribuant le médicament, l'ivermectine (Mectizan@), aux villageois dans votre zone. Le programme a bénéficié du soutien du Programme Africain de Lutte contre l'Onchocercose (APOC), de votre Ministère de la Santé et de quelques organisations non- gouvernementales. Ces donateurs veulent aujourd'hui savoir si le programme qu'ils ont lancé est devenu assez solide pour se poursuivre. La semaine prochaine ou dans deux semaines, I'APOC va envoyer une équipe pour étudier la durabilité du programme de lutte contre la cécité des rivières dans votre zone. -Comme vous jouez un rôle important dans le programme, l'équipe voudrait vous rencontrer pour vous parler des questions suivantes relatives au programme de lutte: ' Couverture: Quel est le degré de couverture de votre zoîe par le programme? . Planification: comment le programme est-il planifié chaque année? . Leadership: Qui assure le leadership du programme et comment? . Supervision et suivi: quel type de supervision et de suivi est fourni? ' Commande et distribution du Mectizan: Quel est le processus utilisé pour la commande et la distribution du Mectizan? ' Formation et sensibilisation/ mobilisation: Quelles sont les activités de formation et de mobilisation mises en oeuvre? ' Financement/ fonds: quels sont les financements disponibles actuellement et quels sont les fonds susceptibles d'être disponibles à l'avenir? ' Transport et autres ressources matérielles: qu'est-ce-qui est disponible maintenant et qu'est-ce qui pourrait être disponible à l'avenir? ' Ressources humaines: quels sont les agents disponibles pour gérer le programme et quel est le degré de qualifications de ces personnes? Vous n'avez pas besoin de faire des préparatifs compliqués pour la visite. Les membres de l'équipe veulent tout simplement connaître la situation actuèlle et vous ne devez rien changer dans vos habitudes avant leur arrivée! Ils veulent tout simplement vous parler, pour apprendre di vous ce qui se passe dans votre volet du programme. Nous vous serions irès reionnaiisants de leur consacrer un peu de votre temps à une date convenue. T- a personne qui vous remet ce document pourrait aussi vous demander de préparer quelques documents pour l'équipe qui viendra vous voir. Les informations contenuei dâns cejdocuments les aideront à bien comprendre votre situation. Nous vous serions reconnaissants de nous aider en tenant ces documents prêts le jour de Ia visite de l'équipe. Il se peut que vous ne disposiez pas de certains de ces documents - cela ne pose pas de problème. Tout ce que vous pourrei montrer à l'équipe sera utile. Nous vous remercions infiniment! Version d'octobre 2003 34 Appendice 2 Documents nécessaires pour la revue littéraire Documents nécessaires: niveau national/ zone/ provinciaU Etatique . Documents de politiques et plans stratégiques du TIDC du Ministère de la Santé . Plans nationaux/ de zonel étatiques/ régionaux/ provinciaux de lutte contre l'onchocercose de l'année en cours et des années précédentes . Rapports de la REMO y compris les listes de toutes les communautés endémiques /populations cibles . Budgets et rapports frnanciers nationaux/ de zonel étatiques/ régionaux/ provinciaux de l'année en cours et des années précédentes . Les plans annuels du paysl zone I Etat / région / province des deux dernières années: * Y compris les plans du TIDC (intégré dans le plan principal ou séparé) * Plans trimestriels ou mensuels aussi (s'ils existent) . Le budget annuel de la lutte contre l'onchocercose, pour les trois dernières années pour le p ay s I zonelBtatl r égion / provi nc e : * De toutes les sources: Ministère de la Santé à ce niveau, APOC, ONGD partenaires * Détails des salaires du personnel, dépenses d'investissement, frais de fonctionnement. . Documents de contrôles fïnanciers: fiches d'ordonnancement des dépenses, journaux, livres comptables etc. (notez que ces documents fourniront des informations sur le décaissement des financements promis) . Rapports du dernier cycle de TIDC dans le pays / zonelEtatl régionlprovince . Rapports (s'ils existent): * Des visites de supervision par les employés à ce niveau, au (x) niveau (x) au-dessous d'eaux * Auto-monitorage interne par les employés à ce niveau. . Toutes les fiches concernant les commandes, les sorties et les contrôles du Mectizan au niveau pay sl zonelBtatique/ régional/ provincial . Tous les programmes, matériels, calendrier, de formation, liste de présence et rapports relatifs à la formation pour le TIDC et la formation continue dans le pays/ zonelEtatl région/ province au cours de ces deux dernières années . Tous les rapports des activités de mobilisation/ sensibilisation dans le paysl zonelEtatl région/ province au cours de ces deux dernières années. . Toute la documentation relative au contrôle et à l'utilisation des moyens de transport officiels à ce niveau, au cours de ces dernières années. ordres de mission, allocations de carburant, carnets de bord etc. Documents nécessaires: niveau district sanitaire/ LGA Les rapports /tableaux de couverture du district sanitaire lLGApour les trois dernières années (par sous-district; par village) Rapports de REMO y compris les listes de toutes les communautés endémiques /populations cibles Les plans annuels du district ILGA des deux dernières années: * Y compris les plans du TIDC (intégré dans le plan principal ou séparé) * Plans trimestriels ou mensuels aussi (s'ils existent) Le budget annuel des trois dernières années ( de toutes les sources : le LGA lui-même, les niveaux supérieurs du gouvernement, APOC et ONGD partenaire) Documents de contrôle financier (ordonnancement des dépenses, journaux, livres comptables etc.) Rapports du dernier cycle de TIDC dans le district sanitaire |LGA 35 -t I t! Rapports (s'ils existent) des visites de supervision de routine par les membres de l'Equipe Cadre de District aux sous-districts Toutes les fiches concernant les commandes, les sorties et les contrôles du Mectizan au niveau district sanitaire lLGA Tous les programmes, matériels, calendrier, de formation, liste de présence et rapports relatifs à la formation pour le TIDC et la formation continue dans le district sanitaire lLGAau cours de ces deux dernières années Tous les rapports des activités de mobilisation/ sensibilisation dans le district sanitaire ILGL au cours de ces deux dernières années. Toute la documentation relative au contrôle et à l'utilisation des moyens de transport offrciels à ce niveau, au cours de ces dernières années: ordres de mission, allocations de carburant, carnets de bord etc. Documents nécessaires: niveau sous-districUstructure sanitaire de première ligne . Les rapports /tableaux de couverture du sous-district (par village) . Les plans annuels du sous-district des deux dernières années: * Y compris les plans du TIDC (intégré dans le plan principal ou séparé) * Plans trimestriels ou mensuels aussi (s'ils existent). ' Le budget annuel du sous-district pour les deux dernières années - de toutes les sources: district sanitaire/ LGA revenus propres du sous-district, autre (notez que ce budget peut être tenu au niveau du district sanitaire / LGA). ' Documents de contrôles financiers: fiches d'ordonnancement des dépenses, journaux, livres comptables etc. . Rapports du dernier cycle de TIDC dans le sous-district . Rapports (s'ils existent) des visites de supervision par les membres de l'équipe de sous-district aux villages ' Toutes les fiches concernant les commandes, les sorties et les contrôles du Mectizan au niveau sous-district ' Tous les programmes, matériels, calendrier, de formation, liste de présence et rapports relatifs à la formation pour le TIDC et la formation continue dans le sous-district au cours de ces deux dernières années ' Tous les rapports d'activités de mobilisation/ sensibilisation dans les villages du sous-district au cours de ces deux dernières années. ' Toute la documentation relative au contrôle et à l'utilisation des moyens de transport ofliciels à ce niveau, au cours de ces dernières années: ordres de mission, allocations de carburant, carnets de bord etc. Documents nécessaires: niveau village/ communautaire . Registres de traitement des DC ' Fiches récapitulatives montrant les données de couverture et l'utilisation du Mectizan pour le village au cours des trois dernières années. ' Copies des commandes de Mectizan pour le village au cours des trois dernières années. Version d'octobre 2003 36 I Appendice 3 :Questionnaire destiné aux personnels de district sanitaire/ LGA sur leur travail de TIDC Nom de votre district sanitaire/ LGA: Sur la couverture: est le taux de couverture dans votre district sanitaire ILGA? Sur la planification: ' Comment préparez-vous le plan de TIDC dans votre district I LGA chaque année? . Le plan est-il rédigé? contribue à l'élaboration du ? Sur Ie leadership: . Qui est responsable du TIDC dans votre district sanitaire ILGA? . Cette personne a-t-il suffisamment de temps pour le travail de TIDC? ' Pensez-vous que les responsables politiques dans votre district sanitaire ILGA soutiennent le TIDC? le vous? Sur la supervision et le monitorage: . Quelle est la fréquence de vos visites de suivi aux centres de santé /sous-districts? . Comment planifiez-vous vos visites de supervision aux centres de santé / sous-districts? ues sont-ils collectés. Comment les stati 37 des centres de santé / sous-districts? Sur le Mectizan: . Comment votre approvisionnement annuel de Mectizan vous parvient-il ? ' Comment le Mectizan parvient-il aux centres de santé / sous-district à partir de vous? . Avez-vous suffisamment de Mectizan annee ou avez-vous arfois des Sur la formation et la sensibilisation/ mobilisation: . Qui formez-vous chaque année? . Comment choisissez-vous les personnes que vous allez former? ' Décrivez la mobilisation que vous entreprenez chaque année. Qui visitez-vous et à quel intervalle? Sur les financements / fonds: . Avez-vous un budget annuel préparé par écrit pour votre travail de TIDC? . Qui fournit les fonds dont vous avez besoin pour faire votre travail de TIDC? ' Que comptez-vous faire pour obtenir d'autres fonds quand les fonds de l'APOC ne seront plus di les? Version d'octobre 2003 38 Sur le transport et autres ressources matérielles: ' Décrivez les moyens de transport mis à votre disposition pour faire votre travail. ' Vous arrive-t-il de ne pas avoir un moyen de transport quand vous avez besoin de faire une sortie ? A quel rÿhme cela arrive-t-il? . Les différents à votre niveau ils les de Sur les ressources humaines: ' Les membres concernés de l'équipe de votre district/ administration locale sont-ils bien formés? Savent-ils vraiment comment mener le TIDC? ' Quel est le degré de stabilité de votre équipe de soins de santé? Ses membres sont-ils affectés à d'autres unités ou as très souvent? 39 Appendice 4: Instructions pour les travaux de groupe dans les ateliers de 6restitution/ planifïcation' Séance 7: analyse SWOT de la situation actuelle concernant la durabilité Vous avez entendu les résultats de l'équipe d'évaluation concernant la durabilité de votre projet TIDC. Nous vous demandons maintenant de réfléchir plus profondément sur ces résultats, par rapport aux niveaux spécifiques auxquels le projet fonctionne. Nous suggérons que vous le fassiez à travers une analyse SWOT (Forces, Faiblesses, Opportunités, Menaces). Veuillez remplir le tableau suivant: Vous avez ... ....minutes pour terminer cet exercice. Vos facilitateurs de groupe sont: 1. ..... 2......... Veuillez nommer un rapporteur qui présentera le rapport de votre groupe en votre nom. Séance 9: Solutions aux faiblesses de notre projet par rapport à la durabilité Vous avez examiné les forces, les faiblesses, les opportunités et les menaces par rapport à la durabilité de notre projet TIDC: ' Maintenant, nous demandons à chaque groupe de regarder les aspects spécifiques du fonctionnement du projet. ' Vous avez déjà étudié les faiblesses du projet par rapport à la durabilité. Maintenant, nous vous demandons de faire des suggestions pour surmonter ces faiblesses et menaces. * Veuillez accorder une attention particulière à ce qui suit: rationalisation des dépenses; mobilisation des ressources; intégration plus complète du TIDC dans le système sanitaire. * Les idées innovatrices pour une 'porte de sortie' sont les bienvenues! . Veuillez présenter vos résultats dans un tableau: Les activités du et nous prenons en compte Faiblesses et menaces par rapport à la durabilité: Suggestions pour surmonter ces faiblesses et menaces l. 2. J. etc. I 2 J etc. Niveau (x) que nous enquêtons. Forces: quels sont les aspects du projet qui sont positifs pour la durabilité? 1.) J. etc. Faiblesses: quels sont les aspects du projet qui sont à I'encontre de la durabilité I 2 J etc. quelles Opportunités avons-nous pour rendre le projet plus durable? I 2 J etc Quelles Menaces existent sur les possibilités de rendre le projet plus durable? 1 2 J etc. Version d'octobre 2003 40 aVous avez ... ....minutes pour terminer cet exercice. Vos facilitateurs de groupe sont: 1........ 2........ Veuillez nommer un rapporteur qui présentera le rapport de votre groupe en votre nom Séance 12: nos futures ressources Afin de planifier la durabilité, nous devons absolument savoir quelles ressources nous aurons pour gérer le programme, dans les prochaines années. Vous travaillerez en deux groupes: L'un va examiner les ressources humaines et financieres et l'autre va examiner les moyens de transport/équipements et matériels. Veuillez le tableau suivant. Vous devez faire des tableaux similaires pour le 'Transport', 'Equipements/ matériels' et 'Ressources humaines' Vous pouvez avoir besoin de documents de votre bureau de projet pour faire cet exercice. Vous avez .......minutes pour terminer cet exercice. Vos facilitateurs de groupe sont: 1........) Veuillez nommer un rapporteur qui présentera le rapport de votre groupe en votre nom. Séance 14: un plan de TIDC durable pour I'année suivante A cette étape, vous devez avoir: . Trouvé les moyens de rationaliser les dépenses. . Listé les ressources qui seront disponibles l'année suivante (l'année après la fin du financement de I'APOC). Nous vous demandons maintenant de préparer un plan complet pour votre travail l'année suivante en utilisant le tableau ci-dessous. Le plan doit avoir les caractéristiques suivantes: . Le plan que nous faisons doit correspondre aux ressources que nous sommes certains d'avoir. . Si vous ne pouvez vraiment pas vous en sortir sans davantage de ressources, vous avez besoin d'un plan très clair, très précis pour trouver ces ressources. {. t Montant Niveau Projet Niveau District Autres niveaux Total Source de financementx Année prochaine Année d'après Financements* que nous sommes surs d'avoir L'année après cela Année prochaine L'année d'après Financements*que nous sommes raisonnablement certains d'obtenir L'année après cela Que devons- nous faire? (très spécifique) Justification: avons-nous vraiment besoin de faire cela? Qui doit le faire? Quand cela doit-il être fait? Comment saurons-nous que nous avons réussi? Combien cela va-t-il coûter ? (exactement) 1 2 J etc. 4t aVous avez ... ....minutes pour terminer cet exercice. Vos facilitateurs de groupe sont: 1... ..... 2........ Veuillez nommer un rapporteur qui présentera le rapport de votre groupe en votre nom. Version d'octobre 2003 42 ,Appendice 5 Prospectus sur la durabilité La durabilité - qu'est-ce que c'est? 'faire durer' quelque chose signifie 'la maintenir en état de marche' ou 's'assurer qu'elle continue de fonctionner'. 'Autosuffi sance' et'durabilité' Une organisation est 'autosufftsante' si elle compte sur ses propres ressources pour le travail qu'elle fait? Si cependant ses propres ressources ne sont pas suffisantes, l'organisation peut réussir à trouver des ressources de l'extérieur. Si ces ressources sont fiables, nous disons que l'organisation est 'durable' - ce qui est acceptable pour les programmes TIDC. Eléments de durabilité Nous estimons que les projets seront plus durables si les éléments suivants sont présents: ' EfJicacité:les projets qui fonctionnent effîcacement sont plus susceptibles d'être durables. ' Efficience'.les projets gérés de manière rentable sont plus susceptibles d'être durables. ' Simplicité'.les projets qui ont des habitudes et des procédures peu compliquées sont plus susceptibles d' être durables. ' Intégration: les projets qui se sont intégrés dans la gestion habituelle des services de santé sont plus susceptibles d'être durables. ' Acceptation par le personnel de santé (Attitude du personnel de santé) : les projets sont plus susceptibles d'être durables si le personnel de santé accepte le TIDC comme activité de routine qu'il continuera de mener même en l'absence d'une récompense matérielle supplémentaire; et s'il accepte qu'il doit adapter ses habitudes afin d'être plus eflicient. ' Ressources: les projets sont plus susceptibles d'être durables s'ils sont sufÏîsamment de ressources (humaines, matérielles, financières) pour soutenir ce qu'ils tentent de faire. ' Appropriation par la Commanauté: Les projets sont plus susceptibles d'être durables quand il y a une participation communautaire active à la planification et à l'exécution de la stratégie de lutte. 43

,s, GUIDE POUR L'EVALUATION DE LA DURABILITE DES PROJETS TIDC DE L'APOC Octobre 2003 t tgÿ @ PROGRAÂAfrTE AFRTCAIN DE LUTTE CONTRE L' ONCHOCERCOSE CONTROL OR6ANIsATION AAONDIALE DE LA SANTE 1 i i I ,' .'' '\: .i Mffipr exffii rh. .i,l f, ,, f' ,- H *SOMMAIRE 1. INFORMATIONS DE B4SE.......... ,I I 1.1 Qu'est-ce que la'durabilité'?1.1.1. Définitions.. 1.1.2 Aspects deladurabilité................ 1.2 Examen approfondi des projets: niveaux et indicateurs.. 1.2.1 Instruments et niveaux.... 1.2.2. Indicateurs de durabilité 1.2.3. Indicateurs des activités et des processus: leadership 2. PREPARATION DE LA VISITE D'EVALUATION.......... ...............5 2.1 Rôle du Siège de I'APOC....... .............J 2.2 Termes de ré/ërence de l"éclaireur'................. .......................,...5 2.3 Les autres membres de l'équipe d'évaluation ..........6 3.1 Echanlillonnage. .,,1 ...1 .',2 ,,,2 ...3 ...3 ...4 6 6 7 8 8 9 9 ù Critères d' échantillonnage ................ Etapes recommandées pour tirer I'échantllon La nécessité d'une flexibilité .........................3.1.4 La place de l'échantillonnage aléatoire dans ce processus.3.2 La séquence de lavisite.... 3.2.1. Les membres de l'equipe......... 3.2.2 Calendrierde lavisite... 3.2.3 Détails du programme: ['évaluation même................. 3.2.4. Détails du programme: retro-information et plaidoyer3.3 Utilisation des instruments sur le terrain......... 3.3.1. Commentaires introductifs 3.3.2. Utilisaüon des instruments 3.3.3. Pourquoi pas un questionnaire formel? 3 .3 .4. Gestion des dorurées . 3.3.5. Evaluation du processus d'évaluation 4. ANALYSE DES DONNEES ET RECOMMANDATIONS 1. 1. Assemblage des données.......,............. 4.2 Résumé qualitatif des principaux résultats (en mots) 4.3 Notation des indicateurs................ 4.3.1 Notation de chacun des indicateurs.................. 4.3.2 Notation de groupes d'indicateurs 4.4 Fautes courantes dans l'analyse des données........... 4.5 Faire des recommandations 1.6 Notation de l'ensemble du projet.......... 5. LES ATELMRS DE'RESTITUTION/ PLAIIIFICATION"................. 5.1. Préparation des ateliers... 5.2. Ateliers à diftërents niveaux........... 5.2.1. L'atelier du niveau projet ....... 5.2.2. L'atelier du niveau districÿ administration locale. 5.2.3. L'atelier du niveau national....... 5.3 Organisation des ateliers.. 5.4. Programme de l'atelier... 5.4.1. Programme g|obal.......... 5.4.2. Détails des points du programme................5.4.3 Le court atelier de 'Restitution' d'un jour ... 5.4.4. Rôle des facilitateurs de l'atelier......5.5. Après les ateliers 3.1.1 3.t.2 3.1.3 26 26 27 27 27 28 28 29 29 30 31 3l 32 6. REDACTION DU RAPPORT........... ........33 t2 l3 14 t4 t4 t'7 t7 l8 19 19 20 20 2t)) 23 24 Appendice l: Lettre aux personnes à interviewer Appendice 2 Documents nécessaires pour la revue littéraire................. Documents nécessaires: niveau naüonaV zone/ provinciaU Etrtique.. Documents nécessaires : niveau district sanitaire/ LGA.. . . ... Documents nécessaires: niveau sous-district/strucnre sanitaire de première Iigne............ Documents nécessaires : niveau illagel communautaire ........... ... . .. Appendice 3 : Questionnaire destiné aux personnels de district sanitaire/ LGA sur leur trovqil de TIDC...... Appendice 4: Instructions pour les travaux de groupe dans les ateliers de 'restitution/ planification'........... Séance 7: analyse SWOT de la situation actuelle concenumt la durabilité. Séance 9: Solutions aux faiblesses de notre projet par rapport à la durabilité.................. Séance 12: nos futures ressources Séance 14 un plan de TIDC durable pour I'année suivante. Appendice 5 Prospectus sur la durabilité La durabilité - qu'est-ce que c'est? 'Autosuffrsance' et'durabilité' ...... Eléments de durabilité 34 35 35 35 36 36 37 40 40 40 43 43 43 43 4t 4l a Version d'octobre 2003 11 APOC TIDC DC ECD MCD RDC FSPL ESPM LGA MINSAN ONGD NOC Abréviations et acronymes NOCP Programme Africain de Lutte contre l'Onchocercose Traitement par l'Ivermectine sous Directives Communautaires Distributeur Communautaire Equipe Cadre de District Médecin Chef de District République Démocratique du Congo Formation Sanitaire de Première Ligne Education sanitaire, Sensibilisation, Plaidoyer, Mobilisation Local Government Authority (Administration Locale (au Nigeria) Ministère de la Santé Organisation non-gouvernementale de Développement national onchocerciasis coordinator (Coordonnateur National de la Lutte contre l'Onchocercose) national onchocerciasis control programme (Programme National de Lutte contre l'Onchocercose national onchocerciasis task force (Comité National de Lutte contre l'Onchocercose) rapid epidemiological mapping of onchocerciasis exercice sur les "Forces, Faiblesses, Opportunités, Menaces" Organisation Mondiale de la Santé Représentant de I'OMS dans le pays NOTF REMO SWOT OMS WR 1U I1. INFORMATIONS DE BASE Dans cette section, nous vous donnons des informations importantes qui vous aideront à comprendre pourquoi et comment nous évaluons la durabilité des projets TIDC. En 2000, l'APOC a commandité une évaluation externe. Dans son rapport d'évaluation, l'équipe d'évaluation a noté que des progrès importants avaient été accomplis dans la lutte contre l'onchocercose, depuis que l'APOC a mis des financements à la disposition de ses pays membres. L'équipe a cependant noté qu'elle était 'profondément préoccupée par la durabilité de cette activité et de l'enthousiasme, dès lors que le financement de I'APOC viendra à sa fin.' Elle a aussi noté qu'il y avait 'peu de planification absolue pour mobiliser des ressources et mettre en place les mécanismes de routine qui assureront la poursuite du programme.' En réponse à ces conclusions, la direction de I'APOC a nommé une équipe spéciale avec les termes de réference suivants: . Développer un cadre avec des indicateurs réalistes et mesurables de durabilité. . Evaluer la situation actuelle des projets qui sont dans leur cinquième année de financement de l'APOC, en ce qui concerne leur durabilité (cela a été élargi à une évaluation supplémentaire au cours de la troisième année). . Aider les parties prenantes locales à élaborer des plans pour pérenniser ces projets. . Préparer un petit manuel en utilisant le cadre élaboré. L'équipe spéciale a développé une méthode par laquelle la durabilité des projets TIDC peut être évaluée. Un certain nombre d'évaluations a été mené et la méthode a été afïïnée suite à cette expérience. Le présent manuel est un guide de cette méthode de conduite d'évaluations de la durabilité des projets telle que pratiquée aujourd'hui. 1.1 Qu'est*ce que la 'durâbilité' ? 1.1.1. Définitions Le rapport d'Evaluation Externe à Mi-Parcours de l'APOC (2000) considère qu' 'une activité est durable si les décisions politiques, les mesures administratives et les ressources (financières, humaines, matérielles) nécessaires sont en place et peuvent être raisonnablement considérées comme susceptibles de continuer de l'être dans un avenir prévisible.' Nous entendons par 'durabilité' la probabilité qu'un projet continuera de fonctionner eflicacement après que le soutien d'APOC soit venu à son terme. Deux autres concepts font partie de la 'durabilité: * Aatosaffisünce:laçepaciÈéd'un p,rojet de continuerà fonctionner efficaôem€nt, €n utilisant seulernenî les ressources générêes à l'intérieur du pays lui-même. Drru.hîlitê: la capacité d'un projet dc continuer à fonctionner Êmeacçm€nt crr utilisant aussi bien les ressourcps du pays que celles fournier de l'extérieur * â condition que toutes ces en celles du eùient fiables. Dans cet exercice, nous allons utiliser la durabilité comme concept directeur. L'autosufftsance est l'état idéal, mais il y a des pays et des situations où il n'est pas aujourd'hui réaliste d'insister là-dessus. Des milliers de personnes souffrant de l'onchocercose vivent dans des situations où la perspective d'un financement public suffisant pour les programmes de lutte contre l'onchocercose est lointaine - du moins dans le court et moyen terme. I 1.1.2 Aspects de la durabilité Nous pensons que les projets seront plus durables si les aspects suivants existent Nous devons examiner les projets de manière à voir si ces aspects évoluent comme ils le doivent pour apporter la durabilité. 1.2 Examen approfondi des projetst niveaux et indicateurs Les projets doivent être évalués pour déterminer leur niveau de durabilité. Le diagramme suivant explique le processus: ' fJn projet est une entité complexe qui fonctionne à un certain nombre de niveaux des services de santé, et aussi dans la communauté. C'est cette entité complexe que nous allons évaluer. ' IJn projet est composé d'un certain nombre d'activités ou de processus, pour lesquels des ressources sont nécessaires, et qui produisent des résultats précis (dans ce cas, les personnes protégées de l'onchocercose). Version d'octobre 2003 2 I Ïntégration k gestion habituelle des servicss de santé sont Bfus §u t Rexsoarces: les projets sout plus susceptibles d'être durables s'ik sont suffisammerr de ressource§ (humaineq metêrielles, fÏnanciêres) poursoutenk ce qu'ils tpntênt dB faire. fficîenxe: les projets gdrés ds manière renablÊ soxt plus susceptibles d'êtrç durables. Simpliciü: Ies projets qui ont des habitudes et des prooddures pzu cornpliguêe* *ont plus susÇeptibles d'ëtre durables, Aec«ptdion pw le per»onnel ds çwlë {frhîtttdç fripewonnel de sawtt): [æs projets sort plus suseeptibles d'être dursbles si Ie persounel accepte le TIDC comffie activitê de routine qu' il continuera d'êxécuter même en I' absÉnse d'uno récompense mat&ielle supplémentaire. App*prtofion commpnuutaire: Le+ pmjets sonf plw zusceptibles d'être durables si les comrnunautds oü ssdéroulç Ie TIDC le ssuticnncnt du fond du C;æuret sçntdisposées à en prendre Ia responsabil ite" t + r t I les fo rrctionnent êffi cacêmeût d'être durables. nos lndicateurs de durabilité Le projet TIDC: la eltuqtlon aduefle à { niveaux: Atttvité§ Retsources RGsultât$ Efficncrté ftessourtës Sirnplicit* A* f\ üilu de ,1 t 1 IA partir de cette masse d'activités, de ressources, et de résultats, nous sélectionnons quelques- uns uns qui nous indiqueront le degré auquel ce projet est durable. Ce sont nos indicateurs. Nous regroupons les indicateurs, pour un niveau donné de fonctionnement du projet. C'est ce groupe d'indicateurs que nous appelons instrument (il y en a quatre). Quand nous les utilisons, chaque indicateur nous dit quelque chose sur un ou plusieurs des sept aspects de la durabilité du projet. 1.2.1 Instruments et niveaux Nous devons évaluer la durabilité aux différents niveaux auxquels le projet opère. Ces niveaux varient considérablement d'un pays à l'autre, mais il y en a habituellement quatre ou cinq. Le diagramme ci-dessus indique ces niveaux et montre parmi les quatre instruments, celui qui est le plus susceptible d'être approprié pour chacun de ces niveaux. Les indicateurs dans chaque instrument ont été minutieusement sélectionnés pour être pertinents au maximum pour ce niveau. Dans chaque situation, l'équipe d'évaluation doit choisir à l'avance les instruments les plus appropriés pour le projet qu'elle évalue. I.2.2. Indicateurs de durabilité Ces indicateurs ont été sélectionnés par le comité spécial et ont eté par la suite afÏînés à trois reprises. Ils se regroupent en dix catégories. Ces catégories portent sur: ' Les activités et procédures de routine par lesquelles le projet vise à produire les résultats (6 groupes d' indicateurs) ' Les ressources fournies pour ces activités à mener (3 groupes d'indicateurs). . Les résultats atteints dans le projet (l groupe d'indicateurs) Cela donne les groupes d'indicateurs suivants aux quatre niveaux: t 3 Niveau d'opérrfion du projet Instrumentà utiliser Siège national du Muistère de Ia §anté: Le Prograrnrne de LlrtîÊ coütre l'Orrchocercose et soflONGD pâ.rteÉairedaus Ie prüiet Nq,1 Lenivea+zonaVrdgional/ provinchl/ ératique duMïnistèrçde Io §auté (ungroupe de districts saflitaires) aiüeCI son êquipe de lutte oontr€ I'onchCIp€rcosB No.1 Le nivEau districtladministretiort locale du Mirtistère dc Ia Santé -leprernier niveau opérationnel arqr.lel toutçs les sctivhés tont gêrées par uile:seule équipe de :gesti§il No.2 La formation sânitâirë de prernière ligne (sour-district, cefttre de santé, clinique, zone) - [e niveau Ic plus prqqhs dÊs qgrltrquoailté* recll emeût s€rvies No.3 Le village ou çonummruté - urt regroupement qui se considêrc romate aycnt Ia mêrne tutelle No.4 '/ Nombre drinditateurs par instrument Groupes d'irrdir*t+urx I 2 3 4 Planification 4 I I 1 Indicotsurs dBs actiÿirés et processwt qui §ouîienrtsnl le TIDC Fourniture d'un leedership I tl I J Supervision et monitorage 5 , t App:rovisiorrnemÊnt Èn Meutizân 1 2 2 î. Formationÿ[ E§PM 3 J 2. I Iatégration des âctivitss d'aupui r Finaneçment# fon(k 4 4 2 1 Indicoteurs des ressources fournies Tra*spor( et autre§ ressources mæérielles 4 4 4 Ressources humaines 7 2 t 3 CouverÈure I 2 I 2 Irrdicqteurc des resultats qtteintsÏOTAL 23 22 tl 14 Dans l'instrument, chaque indicateur est clairement défini - premièrement en une seule expression et ensuite en une ou plusieurs phrases appelées 'caractéristiques'. Voici un exemple tiré de l'Instrument 2: 1.2.3, Indicateurs des activités et des processus: leadership Cela indique les groupes auxquels cet indicateur appartient: 'Activités et processus' et 'Leadership'. 2.1 Vérifiez si l'équipe de gestion du districU LGA prend l'entière responsabillté de la mise en oeuvre du TIDC à ce niveau. Cet indicateur vise à savoir si la direction s'approprie le programme . L'indicateur est l'expression en gras, qui vient après 'Vérifiez si'. ' En bas de cela, on trouve une expression en italiques, qui indique les aspects de durabilité que cet indicateur met en évidence. Caractéristiques de l'indicateur C'est l'équipe de gestion à ce niveau et non aux niveaux supérieurs/leadership des ONG, qui doit initier les activités clés du TIDC: planification, monitorage/ supervision ciblés, formation et ESPM ciblées, Commande /distribution du Mectizan. ll doit y avoir une personne focale pour les activités de TIDC. Ces expressions décrivent l'indicateur de manière plus complète en termes opérationnels concrets. 4Version d'octobre 2003 : 5 I2. PREPARATION DE LA VISITE D'EVALUATION Cette section traite des mesures qui doivent être prises pour préparer une visite d'évaluation. 2.1 Rôle du Siège de I'APOC Les séquences des événements de la préparation de chaque visite sont dirigées par le Siège de I'APOC à Ouagadougou comme suit: . L'APOC identifie les projets qui sont dans leurs 3ème et 5ème année de financement. Il entre en contact avec les NOC et les directeurs de projet concernés pour négocier les dates des évaluations. . L'APOC élabore sa liste d'évaluateurs potentiels pour former une équipe d'évaluation. Un chef d'équipe et un 'éclaireur' (voir ci-dessous) sont choisis parmi les membres de l'équipe. Tous les membres de l'équipe sont contactés à temps (2-3 mois avant l'évaluation). ' L'APOC prend des dispositions pour la visite de l"éclaireur' (voir ci-dessous) une semaine avant l'évaluation. Cette personne prépare le terrain pour l'équipe. . L'APOC prend les dispositions nécessaires pour le contrat et le voyage avec chaque membre de l'équipe. . L'APOC envoie une copie des dernières versions du manuel et les quatre instruments à chaque membre de l'équipe par voie électronique. 2.2 Termes de référence de l"éclaireur' Le rôle de cette personne est de prendre toutes les dispositions nécessaires pour la visite de l'équipe sur le site, dans la semaine qui précède son arrivée. Cette personne doit bien connaître les instruments et les besoins de l'équipe et être en contact avec le chef de l'équipe avant et pendant la visite. Les taches de cet éclaireur sont les suivantes. . Aller personnellement sur les sites de projet et planifier les détails pratiques décrits ci-dessous avec les directeurs de projet (Etat et ONGD). . Echantillonner les sites à visiter en suivant les instructions défrnies dans la prochaine section. . Planifier les visites de courtoisie et les réunions de retro-information (en essayant de monter aussi 'haut' que possible dans la hiérarchie ministérielle / politique). . Quand tout cela est fait, élaborer un calendrier provisoire de la visite. . Négociations avec lavertissement à tous les sites/ personnes échantillonnés, des dates et périodes où ils recevront la visite de l'équipe: * Prendre des rendez-vous au projet, Cabinet du Ministère et aux niveaux district/ local gouvernemental (voir 3 .2.2 ci-dessous). * Demander au niveau district/administration locale de prendre des rendez-vous pour le niveau FSPL/ sous-district. * Informer toutes les personnes à interviewer du but de l'évaluation, ainsi que des grandes lignes des sujets qui seront discutés - soit personnellement, ou en leur envoyant une lettre introductive (voir Appendice l). . S'assurer que les autorisations nécessaires ont été obtenues pour permettre aux membres de l'équipe de se déplacer librement, de collecter des données sur chaque site qu'ils visiteront. . S'assurer que toute la documentation nécessaire est disponible pour l'équipe d'évaluation (voir Appendice 2). ' Préparer sufftsamment de copies des instruments qui seront nécessaires pour tous les niveaux concernés; au moins une copie imprimée du manuel aussi. 5 aTracer un itinéraire pour l'équipe d'évaluation en collaboration avec le personnel du projet et s'assurer que des moyens de transport suflisants et des chauffeurs seront disponibles. Sélectionner les membres de l'équipe locale qui accompagnera l'équipe d'évaluation tout au long du travail de terrain; les informer en détail du processus d'évaluation afrn qu'ils puissent y participer de manière significative. S'assurer que des logements convenables seront disponibles pour l'équipe. Prévoir un endroit convenable pour la réunion d'orientation qui aura lieu quand l'équipe arrivera. S'assurer que des dispositions ont été prises pour payer des perdiems et des frais de voyage aux membres de l'équipe et aussi aux personnes qui voyageront pour participer aux ateliers de 'restitution / planification' au cours de la deuxième moitié de la visite d'évaluation. Prévoir le lieu et les participants des ateliers de 'restitution/ planification' de la deuxième moitié de la visite d'évaluation; s'assurer que les invitations sont envoyées à temps aux participants. L"éclaireur' participe habituellement à l'évaluation elle-même. 2.3 Les autres membres de l'équipe d'évaluation Le chef d'équipe reste en contact par voie électronique avec le siège de l'APOC ainsi qu'avec l"éclaireur', pour répondre aux demandes de renseignements, fournir des informations etc. Les autres members de l'équipe étudient le manuel et les instruments - en particulier s'il s'agit de leur première évaluation, mais aussi s'ils ont été déjà impliqués dans une évaluation. 3. GESTION DE LA VISITE D'EVALUATION Dans cette section, nous discutons de la manière il faut échantillonner les sources d'information dont vous avez besoin pour le calendrier de l'évaluation; et de comment utiliser les instruments pour collecter les données. 3.1 Echantillonnage Pour le niveau central (national, régionallprovinciaV étatique; projet) il n'y a qu'une seule entité avec laquelle travailler et l'échantillonnage n'est donc pas nécessaire. A ce niveau, nous utilisons autant de sources d'information que nous pouvons trouver. Pour les autres niveaux (district, sous-districtl rayon de la FSPL, village/ communauté) nous devons tirer un échantillon. L'échantillonnage est fait de manière délibérée et non au hasard. La raison en est qu'un échantillon prélevé au hasard sur une petite population peut être facilement peu représentatif. 3.1.1. Critères d'échantillonnage Le critère primaire estla couverture (géographique et thérapeutique). Cela parce qu'il s'agit d'une mesure de la perforrnance de l'ensemble du système - et c'est l'autonomie de ce système que nous sommes en train d'évaluer. I Les critères secondaires suivants sont aussi pris en compte 6Version d'octobre 2003 L'Endémicité'. veiller dans la mesure du possible, à ce que l'échantillon comprenne aussi bien des zones hyper endémiques que des zones méso-endémiques (plus ou moins dans la même proportion que les résultats de REMO de la zone de projet). Etendue géographique: s'assurer dans la mesure du possible que l'échantillon inclut des zones qui représentent les différentes zones où le projet travaille et les communautés proches des villes et certaines qui sont isolées.. Accessibilite/ convenance'.Etant donné que nous avons peu de temps pour faire le travail de terrain, nous devons aussi tenir compte de l'accessibilité et du caractère pratique des échantillons à choisir. S'il y a deux ou plusieurs zones qui se ressemblent beaucoup (sur la base de tous les critères ci-dessus) nous choisissons celle qui est la plus facile à atteindre. 3.1.2 Etapes recommandées pour tirer l'échantillon Nous vous proposons de suivre ces étapes pour tirer votre échantillon: a) §-éLectip-nn-e..r.les-.distris..ts..-o.u..v..o.u.s..allp..z,.tra-v-aiLLçr Il est utile de faire un tableau des districts à partir desquels vous allez échantillonner, comme suit: ÇrtÈrç prirmire dr #lectiou: Tarur de couvertur* tlÉrapeutique f/o) Critères sçpondairçs de #lætipq Dislrict Ëndémïcité (hyper/ meso/ leç deux) §ituation griographique (Nord, Su4nst, Guesq Curtre) .{ccessibilité (facïle, mCIïenüE difficile) §électïon (oui/ non) Nous savons par expérience qu'il suffrt habituellement de sélectionner trois districts. Vous commencez par sélectionner les trois districts selon leurs taux de couverture (critère primaire): * Un parmi les districts ayant les taux de couverture les plus élevés. x Un parmi les districts ayant les taux les plus bas. * Un parmi les districts ayant les taux entre les deux extrêmes. En faisant votre choix final, vous essayez de remplir les critères secondaires dans la mesure du possible. b) Sélectionner les sous-districts/zones couvertes par la formation sanitaire de première ligne G§P-D.dans-.lp-squ.ç1s..you.s..all.çz..tray-a-iLl.çr Une fois encore, il est utile d'en faire un tableau tç * * L Critère priruaire de sélætion : Taux de couÿerturç thér:apeutique (9rd CritÈres socsndaires de selection District Sousdistrrct/ .zone couv€rte par IaF§FL Endémicité (hyperl meso/Ies deux) §iüration geograplüqtre {Nor4 Su{ Est, Ouest, Centre) Àcaessibflité (facile, ilmyelme, difficile) §élection (oui/ non) 7 Vous prenez maintenant un échantillon des deux sous-districts/ zones couvertes par la FSPL, à partir de chaque district de votre échantillon: * Un parmi les districts ayant les taux de couverture les plus élevés. ,* Un parmi les districts ayant les taux les plus bas. Encore une fois, essayez de remplir les critères secondaires autant que possible, en faisant votre choix frnal. c) S-élç..ctip-rq-er.le§.,gem.m.unas-t-é-§/.villasçs-.dans-.le..§quçls..-v..au.s..a!l.çz.lr.a,yaille.r Encore une fois, il est utile d'en faire un tableau: Vous aurez en fin de compte six tableaux, un pour chaque sous -districtl zone de FSPL. Prenez maintenant un échantillon de deux communautés par sous -district/zone de FSPL: * Une parmi les villages/ communautés ayant les taux de couverture les plus élevés. * Une parmi ceux ayant les taux les plus faibles. Encore une fois, essayez de remplir les critères secondaires dans [a mesure du possible en faisant votre choix final. Prenez en compte les six tableaux en faisant cela. Rappelez-vous que votre échantillon final doit comprendre un (e) ou deux communautés/ villages isolé (s). 3.1.3. La nécessité d'une flexibilité Notez qu'il ne s'agit ici que de directives - vous devez donc être flexible: . Certains projets ont seulement un ou deux districts. Dans de tels cas, vous allez évidemment échantillonner plus de sous-districts / zones de rayonnement de la FSPL, avec leurs villages. Vous voulez en frn de compte avoir environ 12 villages dans votre échantillon. . Parfois, vous devez échantillonner plus de trois districts pour avoir une bonne couverture des différentes situations du projet. Dans ce cas, vous aurez besoin soit d'une plus grande équipe d'évaluation ou de plus de temps. 3.1.4 La place de l'échantillonnage aléatoire dans ce processus Jusqu'à présent, nous n'avons parlé que de l'échantillonnage intentionnel. Il peut cependant arriver que vous vous retrouviez avec un certain nombre de villages dans un sous-district qui sont plus ou moins les mêmes en ce qui concerne les critères que vous essayez de remplir: . Avoir les mêmes taux de couverture et d'endémicité. . Etre dans la même zone géographique. . Etre accessibles à égalité. Dans ces cas, c'est une bonne idée que de sélectionner au hasard le village/sous-district dont vous avez besoin. Ecrivez leurs noms sur des bouts de papier que vous mettrez dans un sac ou un chapeau et tirer l'un d'eux. 8 CftÈru prfunaire de #lectioa: i Taux tlc couÿsrturç thërapetrtique Pl") Cri{êres secondaires de s{lection Sons- district/ zone couYerte pax IaFSPL Vtllagei Communauté Endémicité O:ryeri meso/les dsux) §ituaton géographique (Nord, Sud, Est, Ouest, Centre) Accessibilité (facile, rrxlyerulg, difficile) Selection (oatl non) Version d'octobre 2003 3.2 La séquence de la visite 3.2.1. Les membres de l'équipe Chaque équipe est composée de 6 membres (y compris 'l'avant-garde'). Trois d'entre eux (dont le chef) doivent venir de l'extérieur du pays, et trois du pays. Les six se divisent en trois sous-équipes de deux personnes chacune. Si possible, chaque sous-équipe doit comprendre: . LJne personne locale et une personne venant de l'extérieur du pays. . LJn mélange d'expertise (ex: un médecin et un sociologue). . Au moins une personne ayant une expérience antérieure d'évaluation de la 'durabilité'. La sous-équipe qui interviewe les personnes de haut rang (comme les ministres, Directeurs Généraux et gouverneurs provinciaux) doivent être celle où se trouve le chef d'équipe, Chaque sous-équipe doit également avoir quelqu'un qui parle la langue locale (et qui traduit de cette langue vers la langue de l'enquête et vice versa), et qui sait comment atteindre les sites et les personnes échantillonnés. Il se peut que le chauffeur et l'un des membres clés de l'équipe puissent faire toutes ces choses, mais une autre personne locale pourrait être nécessaire. Il a été convenu que chaque équipe d'évaluation invite au moins une personne de l'équipe locale du projet à se rejoindre à elle pendant le travail de terrain. En permettant à ces personnes d'acquérir une compréhension approfondie de la durabilité en premier lieu, nous espérons leur insuffler de l'enthousiasme pour amener leurs propres projets à la durabilité. Cependant, elles ont besoin être orientées sur leur rôle dans l'évaluation: pour cet exercice, elles doivent cesser être des directeurs pour devenir des chercheurs. Il faut leur demander de laisser l'équipe d'évaluation prendre la direction des affaires ; écouter au lieu de parler et de limiter leurs questions aux questions données par l'instrument. 3.2.2 Calendrier de la visite Une visite d'évaluation complète dure normalement deux semaines environ. Cependant, dans certaines situations, les communications sont difficiles et le voyage sur le site du projet et à l'intérieur du site prend beaucoup de temps. Dans ces situations, 2Yz ou même 3 semaines peuvent être nécessaires -il faut être flexible. Afin de planifier un calendrier, nous devons comprendre exactement ce qui doit être fait. Voici une liste des taches à entreprendre pour chaque niveau: 9 Nive*u Taches Temps uéeessarre* CentraU Siège/ projetl région etc * Personrrel cadre du ministère de la santé: per§ofirrês chargdes de la lutte contre les rnaladies infectieusex, l'approvisionnemeüt en mêdïcameras, laplaniftcation, des finances; Sçcrétaire Pennanent/ Directeur Généraf Ministrç. " Personnel cadre des ONGD: directpur netional, directeur dp projet, cornptable. * Personnel NOCP: NOC" comptablg responsables de terrain, chauffsurs. . Urt ou dçux autres münhres du NOTF, * Reprêsentant de I'OMS dans Ie pays; responssble du prograrnme de lutte contr€ les malsdies dans le bureau dB WR. ' Autorrtés dehzut rang à cs niveeu; Gouveroeurs d'Etat/ de Provioce etc. 3 jours si Ir §iège et le projet soat combinés 4 jours si le §iège et le projet sont séparés I journée pour un brrreau régional Etsde docamerutsire I oumee Districtl adminis. locale [nlçrviews ' Équipe de gestion de la santé du district: Responsable sanitaire du districtn administratcur, chef des finançes. * Àutre personnel au niveau districfi responsable des tranrports, responsable de la lutte ccfitrê les uraladies, pharmacien, chauffeurs * Personn{s) ohargee (s) du TIDC à ce niyeau- r ' Âutoritésciviles à ce nivËau; chefdc I'administration locale, seuetaire, trésorier. Etude doaanrentaire ljournee parchef Iiou de district FSPU sous- district Interviews . Responsable de la F§PUé,quïpedegestion, trésorier, pharmacien * Persotme {s) responsable (s) du TIDC à ce niveau. * Rssponsables de I'administrâtion locale (chef, adntinistrateur, trésorier) Ëtade docamenlaira I journée pcr FSPL et ses detrx villages (plus snil y a un village très éloigné) Villrye/ cornTfiülàuté Inleryiwt . Chef et conseillers du Village. * Villageois ordinaires (hornes et fenrme*). . DDÇ. rk Pour une sous-équipe comprenant deux évaluateurs. Les membres du groupe se divisent pour couvrir les interviews et l'étude documentaire dans le temps imparti. Version d'octobre 2003 l0 Etude docwrnentaire Pour une évaluation 'normale' (c'est-à-dire qui dure deux semaines) le calendrier suivant est suggéré: Jsur Membre deI'Ecuine AçtiYité tuûdi à Vendredi 'Ëclpirerrr' ' Arriyç au siege du projet. , Pnpare tous lss aspeets de la visite en colleboraüon ayec Ie pʧQqqel du NOCP et le directeur du trroiet. Yendredi à samedi Tou* les membres de l'équipe Jour (l+ voyaps pour ailer au siège du projwa dimanche Toux les membres de l'équipe Jo$mÉe doriêntation au siege du projEt séleçîiofi dêtlottéquip€§, fi nalisation du programme. soir: sur Ie terrain-I Lundi â vendredi Toux les membres de l'ëquipe Lffidl : visitç§de çourtoi*Ïffi des ONGD, çt ùladirection Sous-équipe "Â' . Collecte des dorurÉex eu siège du pr+jet: Minisière dè la Sante et ONGD (interviews ef rsÿue documenêire). I Yigtteq de plfldpyel.gr4dÉcideurs àce nrræu. Sous-êguipe ,B' Collçcte de données sui lo terrainl district l et les miveaux en dessous do ce district (interviews ef reÿue documentaire). I I Visirede pl4idoyer aux décjdeurs à ce niveâu. Sous-équipe *c' de donnÉes sur 2 et les niveaux en dossoür de ce distrist (interviews ef reyuo documenteire). Visires de aux decideurs â ces niyeaux. Tqus lè§ mentbres de I-équhe yendredi Touslss mpmhrca dc l'Équipç I Retour au siège du projet dans l'après-midi/soiree . §amedi à lundi Tous ler mçrnbr* dç l'Éqlips Ànalyse formulæion det Ie projd de rappo,rr. Flanification drr prograrrmo détaillë des travail sur prochains ateliers de Mardi à mercredi Tous les membrcs de l'équipe a pour h nivçau pffïc{,Atçlier de'restiürtionl jeudi Tous lçs membres de l'ëqurpo a r los districts sanitsirps du projet à. tous lex distriofs sanitaires qui ,e !,hçliçr do 'restifution' pour tous Admiuistrstiur du questiouraire i*elus dfiÉ li vendredi Toux les memb'res de I'ëquipe a TmyailzurlÈ rapport d'éYaluati+n. I Yistto* ds courfoisi#rstrq-inforff üonlplaidoyer au MINSAN et flrx Samedi Tous les membres de l'ëquipe J Deparr à la'maixôr, l1 a a r Collecte de donnÉes auxniveauxpi+vinciàyrégionâi;ffieGîfÊn- oxiste un) (interviews et rÉÿue doEumenfaire). . Collecte de données cur le terrain: district 3 st les niveaux en dctsçus de cç district (interviews §* rfl/ue documentaire), . Visites ds plaidoyer aux deeideurs Ér cçs niveaux. _ . respoasabJes d' ON_GD. 3.2.3 Détails du programme: I'évaluation même Les membres de l'équipe se déplacent sur le site du siège du projet et arrivent le samedi avant le démarrage du travail de terrain (qui sera le lundi suivant). Ils doivent se familiariser avec les documents suivants avant leur arrivée: . Ce guide. . Les quatre instruments. . Le calendrier provisoire. Ces documents seront transmis par voie électronique à chaque membre de l'équipe. L'équipe passe une journée (habituellement le dimanche) à planifier le travail qui l'attend. Les membres lisent le guide ainsi que les instruments, parviennent à une compréhension commune de ce qu'ils doivent en faire; Ils forment les sous-équipes qui feront le travail de terrain; ils ajustent le calendrier provisoire si nécessaire; ils prennent note de toutes les dispositions pratiques telles que l'hébergement et le transport. Les visites de terrain se déroulent généralement du lundi au vendredi (ou plus longtemps dans le cas des projets ayant des diflicultés de communications, où le déplacement va prendre beaucoup de temps).Les données sont collectées à tous les niveaux, sur les sites échantillonnés. Notez qu'il y a deux entités au niveau central qui nécessitent l'attention des évaluateurs: le bureau du NOCP, et le bureau du projet (c-c à de projet TIDC donné que l'équipe vient pour évaluer): . Dans certains pays (ex: le Malawi) ces deux sont les mêmes et sont basés dans le même bureau. Ils sont par conséquent, évalués comme une seule unité et leurs résultats sont enregistrés ensemble dans la section niveau 'Central' du rapport. . Dans d'autres pays (ex: République Démocratique du Congo) ils sont séparés. Dans ce cas, le bureau du NOCP au Siège du Ministère doit être évalué séparément. Ce bureau sert tous les projets du pays, il ne doit donc être évalué qu'une seule fois. Cette évaluation sera le travail de la première équipe à visiter ce pays. Ils doivent charger l'une des sous-équipes de la tache de se rendre au Ministère à un moment donné de la visite d'évaluation pour faire la collecte des données nécessaires (interviews et étude documentaire). L'évaluation peut être appelée à rester quelques jours de plus pour intégrer ce travail supplémentaire. Notez que ce rapport est rédigé séparément, et doit être rendu disponible aux autres équipes conduisant des évaluations dans ce pays à une date ultérieure. Notez que dans certains pays, il y a des niveaux d'administration (et par conséquent d'organisation des services de santé) entre le Siège et le district. Ils ont différents noms, tels que région, province ou Etat. Ils doivent aussi être pris en compte dans l'évaluation: . Dans certains pays (ex: le Nigeria) ce niveau a un seul projet TIDC dans sa zone d'intérêt. L'équipe collecte donc les données de ce projet avec l'Instrument l. Ces données sont jointes à celles collectées à partir du bureau du projet et analysées et écrites ensemble comme au niveau 'Central'. ' Dans d'autres pays (ex: le Cameroun, avec ses 'provinces') ce niveau peut avoir plusieurs projets TIDC au sein de sa zone. De toute évidence, il ne doit être évalué qu'une seule fois et cela sera le travail de la première équipe d'évaluation à visiter cette zone. Ils doivent charger l'une des sous-équipes de la tache de collecter les données là-bas à un moment donné pendant la visite d'évaluation (en utilisant encore l'Instrument 1). Une ou deux journées peuvent être ajoutées à la durée de l'évaluation pour prendre en compte ce travail supplémentaire. Notez que ces données ne sont p écrites séparément- elles sont jointes à celles collectées à partir du bureau du projet, analysées et écrites ensemble comme au niveau 'Central'. Les données brutes doivent cependant être envoyées à l' APOC en même temps que le rapport, afin que l'APOC puisse fournir ces données aux équipes ultérieures travaillant dans cette zone. Version d'octobre 2003 t2 A la fin de la collecte des données, les membres de l'équipe reviennent au siège du projet. Ils doivent maintenant s'attaquer aux taches suivantes. . Analyser systématiquement les données collectées - en tirant les conclusions nécessaires et en faisant des recommandations. . Travailler sur le rapport provisoire. . Planifier les ateliers et les réunions de 'restitutior/ planification' qui doivent suivre. . Planifier les visites de plaidoyer qui doivent suivre. Cela est habituellement fait en fin de semaine (dans le cas d'une évaluation normale de deux semaines). C'est un bon moment parce qu'il n'y a pas de fonctionnaires à interviewer de toutes façons et le bureau du projet est calme. Tout au long de la visite, nous recommandons que l'équipe se réunisse chaque soir pour discuter des progrès réalisés dans la journée et des problèmes rencontrés et pour planifier le travail du lendemain. 3.2.4. Détails du programme: retro-information et plaidoyer La direction de l'APOC a décidé qu'il ne suflït pas de faire une évaluation et de s'en aller. La visite d'évaluation amène inévitablement les décideurs locaux à réfléchir plus clairement et plus profondément sur la durabilité et il incombe à l'équipe de bâtir sur cela. . En faisant la rétro-information sur les résultats de l'évaluation (par rapport à la durabilité du projet) aux décideurs. . En faisant le plaidoyer: réunion avec les décideurs pour les encourager à jouer leur rôle en soutenant le programme. Une des activités clés de l'équipe d'évaluation consiste donc à organiser des réunions au cours desquelles le feedback est donné et des ateliers où les équipes se basent sur les résultats pour produire des plans menant à une plus grande durabilité du projet. Ces points sont discutés en détails à la Section 5 de ce manuel. Il est important de noter que l'équipe d'évaluation approfondira ses réflexions pendant ces ateliers en percevant des choses qu'elle n'avait pas perçues pendant le travail de terrain. Ces informations supplémentaires devront être incorporées dans l'analyse des données, car elles peuvent bien influencer les recommandations que l'équipe va faire. Un autre aspect important de la visite est l'aspect politique qu'est le plaidoyer auprès des décideurs aux niveaux local et national. Le fait est que pour que les projets soient durables, ils auront besoin de contributions financières suffisantes et régulières du Ministère de la Santé et /ou de l'administration locale. Les étrangers sont souvent capables de dire cette vérité évidente avec plus d'autorité que les agents locaux. Chaque équipe doit donc rendre des visites de courtoisie aux fonctionnaires de l'Etat et aux chefs politiques compétents au début de la visite d'évaluation et si possible, leur donner un feedback personnel vers la fin. L'équipe doit essayer d'aller aussi haut que possible dans la hiérarchie: au Ministre de la santé luilelle-même, ou au gouverneur de la province. Les points à mettre en exergue pendant ces visites sont les suivants: ' Le Ministère a en son sein un programme qui marche vraiment bien et une somme relativement petite d'argent lui permettra de continuer à bien fonctionner. ' Le Gouvernement a promis de fournir cet argent dans la'Lettre d'Accord' signée il y a de cela 5 (ou 3) ans. Obtenez une copie auprès du directeur du projet / NOC, et montrez-leur cette copie poliment. ' Si le programme n'est financé, cela signifiera le retour à la misère pour des milliers de personnes. l3 3.3 Utilisation des instruments sur Ie terrain Notez que cet exercice n'est pas une étude formelle - il s'agit d'une évaluation de chaque projet en ce qul concerne son autonomle. 3.3.1. Commentairesintroductifs Les quatre instruments servent à collecter des informations sur des niveaux spécifîques du service de santé. La plupart des informations concernant un certain niveau sont collectées d ce niveau, mais certaines sont collectées à d'autres niveaux aussi. Par exemple, dans l'Instrument 2, indicateur 2.7, on a besoin d'informations venant de trois niveaux: le niveau district lui-même; le niveau projet; et le niveau FSPL: ' Cela signifie que les membres de l'équipe doivent apporter avec eux leurs copies chacun des quatre instruments, quand ils vont pour collecter les informations àn'importe quel niveau. Ainsi donc par exemple, en interviewant le personnel d'un centre de santé (niveau FSPL), nous devons utiliser les Instruments l, 2,3 et4. Chacun de ces instruments nécessite des informations venant du niveau FSPL pour certains de leurs indicateurs. ' Cela signifie aussi que les membres de l'équipe doivent très bien connaître leurs instruments afin de savoir quels indicateurs dans quels instruments nécessitent des informations qui doivent être recueillies à plus d'un niveau. Avant l'arrivée d'une équipe sur un site, les membres doivent avoir réparti entre eux les taches à effectuer là-bas (qui va faire quelles interviews; qui va étudier quels documents). Dès l'arrivée, ils contactent la personne chargée de l'unité ou de la communauté: ' Ils font les salutations d'usage et les présentations et expliquent l'objet de la visite. Ils demandent la permission de s'entretenir avec certaines personnes et d'examiner certains documents. ' Ils expliquent que les informations que les gens donnent seront traitées dans le plus strict respect de la confidentialité et que ces personnes sont libres de refuser de participer à l'enquête. ' Ils demandent à la personne responsable de fournir les documents qui doivent être examinés pour ce niveau. Ils lui remettent une liste de ces documents (voir l'Appendice 2 pour les listes concernant les quatre niveaux). En interviewant une personne issue d'un certain niveau (en particulier les fonctionnaires de l'Etat) ce ne serait pas une bonne idée de le faire en présence de son supérieur hiérarchique. La raison en est évidente: la personne peut ne pas se sentir libre d'exprimer sa vraie opinion. 3.3.2. Utilisation des instruments Il est important de comprendre exactement comment travailler avec les quatre instruments. Voici un exemple tiré de l'Instrument 2 (niveau district), qui doit parfaitement clarifier tout: Cet indicateur vise à savoirsi disticULG A s'approprie le prog n mme Qu'est-ce-qu'on attend de nous les évaluateurs ici? Nous devons savoir si les responsables du district prennent réellement la responsabilité du cycle annuel de distribution de Mectizan. Les 'Caractéristiques' nous disent plus en détails ce que cela signifie et ce que nous devons donc chercher à savoir c'est: 2.2Vérifiez si l'équipe cadre du cU LGA prend I'entière responsabilité de la mise en oeuvre du TIDC à ce niveau Version d'octobre 2003 t4 Caractéristiques de !'indicateur a. Ca doit être l'équipe de direction à ce niveau et non aux niveaux supérieurs/responsables d'ONGD, qui initie les activités clés du TIDC: planification, suivi / supervision ciblés, formation et ESPM ciblés, commande/distribution de Mectizan. b. ll doit y avoir une personne focale pour les activités de TIDC. Où allons-nous trouver ces informations? Les sources sont clairement identifiées. Nous devons trouver un document précis et l'étudier; et nous devons interroger des gens à trois niveaux: le diqtrict, le projet (y compris le personnelldes ONGD); et la FSPL. Nous devons donc utiliser cet indicateur (2.1) dans cet instrumeît (2) quand nous nous adrossons à toutes cespersonnes. I Résultats Décrivez la situation actuelle: Plan olobal du disfricf: rien concernanf b TûDC dans ce plan. Phn TfiDC du Disfricf: * Elaboré par le cootdonnatcur TfiDC du disfricf. * Semblc êtrc conplcî - cotnprcnd un calendricr de formafion, des visifcs de supervisbn cf dc plaidoyer. * N'a pas dc dafes. Nous devons chercher à savoir si ce sont les responsables du district qui font marcher la distribution du Mectizan chaque année, ou s'ils comptent sur le personnel du projet/ NOCP pour le faire. Nous devons aussi savoir s'ils ont nommé une personne précise pour se charger du TIDC dans le district (cela montre qu'ils prennent le TIDC au sérieux). Sources d'information t lnspection des plans annuels. lnterviews: * Equipe de gestion à ce niveau. * Personne responsable du TIDC à ce niveau * Personnel au niveau projet * Responsables d'ONGD. * Personnel au niveau FSPL. Pourquoi écrire cela? . Jl n'y a pas de TIDC dans le plan du district, cela signifie que les responsables n'en prennent pas vraiment la responsabilité. . Le plan spécifique est très complet -Le coordonnateur du TIDC sait ce qu'il doit faire. . Le fait qu'il n'y ait pas de dates signifie qu'ils attendent que le siège leur donne la date de démarrage. Nous allons maintenant inspecter les plans annuels du district qui sont disponibles. Nous devons trouver un plan global pour toutes les activités du district et un plan spécifique pour le TIDC. Nous les examinons attentivement pour trouver les informations sur les 'Caractéristiques' ci-dessus. Ensuite, nous écrivons ces informations: Supposez maintenant nous sommes entrain d'interviewer la personne chargée des programmes de lutte contre les maladies dans le district au sein de l'équipe cadre de district - disons qu'il s'agit de Mme Traoré. Nous devons formuler maintenant des questions à lui poser dans le but d'obtenir les informations nécessaires sur les 'Caractéristiques'. Voici un exemple: ' Pour !a Caractéristique (a): 'Comment procédez-vous à la planification de la distribution du Mectizan chaque année? Et à la supervision? A la formation? Au plaidoyer? Et quand commencer la distribution elle-même?' . Pour la Caractéristique (b): 'qui avez-vous nommé pour être responsable du TIDC dans le district? Notez ici que vous devez éviter de poser des questions qui indiquent déjà les réponses ou 'questions directives' (questions auxquelles la réponse peut être un simple 'oui' ou un 'non'). Par l5 exemple, pour la Caractéristique (a) ci-dessus, il serait erroné de demander: 'L'Equipe Cadre de District initie-t-elle les activités clés du TIDC chaque année?' Il serait facile pour le répondant d'essayer de vous faire plaisir en répondant simplement par'oui'. Vous écrivez les nouvelles informations que vous avez obtenues: Résultats Décrivez la situation actuelle: Plan olobal du disfricf: ricn conccrnant b TfiDC dans ce plan. Plan TIDC du Disfricf: * ElaboÉ par le cootdonnafcur TûDC du disfricf. Respg!.Lgble de la lufle confrc.lcs naladics au niwau Disfricf: * Nous n'incluons pas cncone I'onchocettosc dans nofrc plan global. tlrl. Alhassan élabore un plan - il mc I'a monfté. Jc ne sais pas vtzimenf cc qu'il cottficnt. * Le rcsponsablc du TûDC csf tll. Alhassan, un inspcfeur de la sanfé. Qu' allons-nous écrire? . Nous écrivons exactement ce que Mme Traoré dit, par rapport à nos questions (et par conséquent aux ' caractéristique s' ) . . Notez que nous écrivons des données venant de différentes sources dans le même cané. Les questions que nous devons poser sont claires: . 'Pourquoi l'équipe cadre de district ne prend- elle pas la pleine responsabilité du programme?' . 'Qu'allez-vous faire par rapport à cette situation?' Nous n'avons pas encore fini avec le responsable de la lutte contre les maladies au niveau district Les informations qu'elle nous a données montrent que la situation n'est pas idéale. Cela signifie que nous devons aller au deuxième carré sur la page: Si les responsables à ce niveau ne prennent pas l'initiative de la mise en æuvre du TIDC: . Pourquoi cela? Quelles sont les mesures prises pour améliorer la situation? Encore une fois, nous écrivons les réponses de Mme Traoré dans ses propres mots: Il y a une autre source d'information: observation (d'une situation). Cela arrive une fois seulement: Instrument 4, indicateur 7 .2.Ici, on nous demande de 'Vérifrer si tous les DDC ont reçu une formation appropriée', et l'une des sources d'information est 'Observer les DDC au travail.' Cela signifie que nous demandons à les voir faire une visite à domicile et observer ce qui se passe. Nous prenons de petites notes sur ce que nous voyons dans l'espace prévu à cet effet. Si les responsables à ce niveau ne prennent pas l'initiative de la mise en æuvre du TIDC: . Pourquoi cela? Resoonsoblc de lo lufÿe conhe les maladies au niteau disfricf': c'esf un nouveau prcgwmme, ef le siège en prcnd la rcsponsabilifé, en collaborufion awc i,l. Alhassan. . Quelles sont les mesures prises pour améliorer la situation? Responsable de la lutte conlrc lcs maladies au niwau disfricf: Adrssez-wut au Chef de Disfricf- ,Ie nc peux pas prcndrc ce îWe dc décision par moi-mâme. Version d'octobre 2003 t6 3.3.3. Pourquoi pas un questionnaire formel? Vous remarquerez que les instruments ne sont pas construits comme des questionnaires 'normaux', avec des questions exactes pour chaque indicateur. Pour cela? C'est parce que l'instrument collecte des informations auprès de personnes qui travaillent dans un grand nombre de situations difïerentes, dans différents pays. Dans l'exemple ci-dessus, nous devons interviewer un certain nombre de personnes à différents niveaux. Dans chaque cas, nous allons formuler les questions que nous posons différemment. Examinons la Caractéristique (b) de l'indicateur 2.1 au niveau district: . Pour le responsable de lo lutte contre les maladies au niveau district Mme Traoré) la question est:'Avez-vous nommé quelqu'un comme responsable du TIDC dans le district? Qui est cette personne?' . Pour la personne chargée d'une FSPL dans le district, la question esl. 'Qui vient du district pour vous voir, concernant la distribution du Mectizan ? Est-ce toujours la même personne?' Il est évidemment impossible de préparer des questions spécifiques pour chaque situation concevable. Au lieu de cela, nous dépendons du fait que les évaluateurs sont des personnes expérimentées qui sont mêmes capables de formuler des questions appropriées pour chaque situation donnée. 3.3.4. Gestion des données Il arrive souvent qu'il n'y ait pas suffisamment d'espace pour écrire à l'intérieur d'un instrument donné. Dans ce cas, vous devez simplement continuer à écrire sur la page blanche à gauche. Pendant que nous collectons les données, il est important de se rendre compte que nous devons les collecter de manière qui sera utile quand nous arriverons à l'analyse. Le principe ici est qu'il est préférable d'utiliser aussi peu d'exemplaires de chaque instrument que possible, afïn de parvenir à l'analyse avec toutes vos données sur un niveau donné sur un seul (ou au plus deux) instrument. Nous vous proposons ce qui suit: Chaque membre de l'équipe doit prendre le temps chaque soir de nettoyer les données qu'il /elle a collectées pendant la journée. Il est probablement plus sage d'avoir "un exemplaire maître" qu'on Niveau NOCFl projetl régioinall étatique I ) Cheque mernbre de la sous-*grip* qui collecte des donnees à ce niveau a un exemplaire de I'lnstrument 1, §ur lequel il /elle ecrit toutes les inf+rmatisns qu' il/o[[e esllcçte. Dans IB* cas oü les burcaux deNCICP et du projet sont separés, utilispz des exemÊl4ircs séparés Sûur shaque situâtior. Niveau District/ administration Iocale I I Chrque membre de lasous-rqoipç qui collecte dçs données à ce niveau a un exemplaire de I'lnstrumcnt 2, sur lequel il /elle eÇrit lcs informations gu'il ielle qollecte- Même si un mernbre de I'dquipe collecte des inforrnations âuprêsde plusieurs dis8ict*, il lelle doit m*ttrstoutes I*s dcnnecs surun seul exemplaire de l'Ïngtrument 2. Niveau soilB- districtlF§PL Chaque membre dr k sous*êquipe qui collectedes dormêes â ce niveau e un e)rcmplairê de I'IüstrumêrË 3, Bur lequel it lelle écrit lrs informations qu'il lelle pollecte - pour toutes les FSPL qu'illelle visite, dans un ou plusieurs districts. Niveau Village/ communauté Chaque membre de la sous-équipe qui collecte des données à ce niveau a un exemplaire de l'Instrument 4, sur lequel il /elle écrit les informations qu'il /elle collecte - pour tous les villages qu'il/elle visite, dans un ou plusieurs districts ou sous-districts. t l7 n'apporte pas sur le terrain et de transcrire les données venant de l'exemplaire rempli sur le terrain (qui se froisse et se salit vite) sur cet << exemplaire maître » chaque soir. Les membres de l'équipe qui ont des ordinateurs portables (lap-tops) peuvent le faire par voie électronique. 3.3.5. Evaluation du processus d'évaluation Le dernier soir où ils sont ensemble, les membres de l'équipe évaluent l'ensemble du processus (y compris l'instrument et le manuel). Ils font des recommandations sur les évaluations à venir. L'évaluation et les recommandations sont incluses dans le rapport. Version d'octobre 2003 l8 4. ANALYSE DES DONNEES ET RECOMMANDATIONS Toute l'équipe se réunit pour analyser les données. Cela se passe habituellement en fin de semaine. Les membres de l'équipe collectent les données pendant la semaine, quand les personnes qu'ils doivent interviewer sont disponibles - et le week-end est donc le moment opportun pour effectuer l'analyse. Le chef d'équipe préside la discussion. Conformément à la philosophie participative de l'évaluation, l'équipe peut demander à un ou plusieurs membres du personnel du projet être présent (s) dans un effort supplémentaire de l'amener ou de les amener à avoir une compréhension approfondie de la durabilité de leur projet. Cependant, cela ne doit être fait que si les membres de l'équipe acceptent que ces personnes ne fassent pas ingérence dans le processus d'analyse. Voici le processus à suivre: 4.1. Assemblage des données L'équipe fait l'analyse d'un seul niveau à la fois. La première étape consiste à rassembler toutes les données qui ont été collectées concernant ce niveau: x Avant cela, chaque membre de l'équipe doit avoir avec lui un ou plusieurs instruments ce nl sur s il a écrit ,} Notez que des données supplémentaires concernant le niveau 'district' seront obtenues pendant les ateliers de 'restitution/ planification'. Ces données ne sont pas encore disponibles pour la première analyse, mais l'équipe doit les examiner après I'atelier et réviser son analyse pour ce niveau en cas de besoin. Pendant la période de collecte des données, le chef d'équipe doit s'assurer que les membres de l'équipe enregistrent correctement toutes les informations qu'ils collectent, dans les bons endroits et sur les bons instruments. Notez que la diversité des sources d'information est très importante, car elle renforce la validité des jugements qui seront portés. Par exemple, le rapport que le personnel du niveau district donne sur ses activités de supervision peut être vérifié en demandant au personnel du sous-district ses expériences sur la même supervision. 4.2 Résumé qualitatif des principaux résultats (en mots) Notez qu'il s'agit d'une instruction donnée à l'équipe en bas de chaque page des instruments. L'équipe traite des indicateurs un par un. Chaque personne présente les informations qu'elle a collectées pour cet indicateur. Naturellement, les informations portent sur les caractéristiques de l'indicateur, telles qu'elles apparaissent dans l'instrument. Notez que des données ont également été collectées sur les raisons des situations qui constituent une menace à la durabilité. Une fois chaque membre a présenté ses données, le groupe à son tour se réfère à chacune des caractéristiques de l'indicateur- qu'en disent les données? Un membre de l'équipe est nommé rapporteur maintenant. Les membres du groupe discutent des résultats pour une caractéristique donnée et se mettent d'accord sur une phrase qui résume Ses résultats des interviews des personnes conduites à ce niveau. Ses résultats des interviews des personnes conduites à d'autres niveaux (tels qu'indiqués dans l'instrument pour ce niveau). Les informations obtenues à partir de l'étude des documents mentionnés dans l'instrument ace ni et occasionnellement d'observations. l9 I entièrement ces résultats (positifs et négatifs). Le rapporteur écrit la phrase clairement sur un flipchart, où chacun peut la voir. Ce processus est répété pour toutes les caractéristiques de cet indicateur. Le résultat final est une ou deux phrases, qui peuvent être facilement écrites en un petit paragraphe . Cela décrit clairement tous les résultats concernant cet indicateur (et ses caractéristiques): qu'apporte-t-il de positif pour la durabilité? Qu'est-ce qui va à l'encontre de la durabilité? Il résume les données concernant les raisons des faiblesses. Voici un exemple d'un tel 'paragraphe récapitulatif : Planifï cati.qn (niveau district) . Biem qil€ tous les distriçts ait établi d*s plans aonuelÊ a*seu détailtés pour le TIDC (habituellemert sous forme de tableau Gantt) ce* plans n'ont êté inclus dens le plan du district que dans uû $eul cas. Dans certains casn plusieurs mçmbrÉs de l'équipe sanitaire ont perfi*ipé à l'élaboration dçs plans. Cette planification n'est cependant enseiguée dans Ia formation que le NOCP dispenso. . Raisons de la non.intégrution du.plan de îIfrC da x le plan anruel global: " Lp Frogramrne est encore nouvesu. + L'ECD [ç coneidere tofiIme étant financé de I'extérieur et qu'il n'a pas besoin par consftuent de finanærnçnts du Mnistêrc. * Les de financ+meut du district de nouveaux sont faibles- Notez qu'il s'agit ici d'une étape très importante de l'évaluation. Cette analyse produit la chair du rapport et les recommandations du rapport seront essentiellement basées sur elle. Notez également que les résultats doivent être strictement basés sur les données. Il n'y a pas de place ici pour l'utilisation des opinions des chercheurs comme faits. Notez que pour des contraintes de temps, il pourrait être nécessaire de diviser ce travail. Si vous trouvez que l'analyse faite par l'ensemble du groupe se déroule trop lentement, vous pouvez former deux équipes. Chaque équipe reçoit alors des données d'un niveau différent à analyser -Veillez à ce que chaque équipe ait toutes les données concernant ce niveau. Après que l'analyse ait été faite de cette manière, chaque équipe présente son travail à l'autre pour des commentaires. 4.3 Notation des irrdicateurs 4.3.1 Notation de chacun des indicateurs Une fois que toutes les preuves sont réunies pour un indicateur donné à un niveau donné, l'équipe prend une décision collégiale sur cette question: 'Cela est-il bon pour la durabilité?'La notation suivante est utilisée à cet effet: Notation ds I'indiceteur Quo signilie Ia notaüon? Yaleur numérique Cornplèternent Les résultats çffrcernant cet indicateur ntontrçnt une situêtianqui est complêtemBnt eo feyeur de la durabilité du projBt. 4 Hautement Les résultats sonûerftart cst indicateur mootænt une situatioo quiesrlargement en fsveur d.eladurabilïtÉdu projet, mais il y a qrteorg upÊ petitç f,Ê$§ibili1ç.d'amé[ioqq.fisrr, 3 Version d'octobre 2003 20 Moyennernent Les resultats coûcefllaffi cet indimteur mofltrent urle situâtiofl qui es't seulement d'environ la rnoitié de ce qui aurait pu ètre feît en faveurde la durabiliæ du projet. 2 Légèrernent Lps resultat§.coücpmant cet indicateur rirontrëffi unp situâtion qui est s€ulement lÉgèrement en faveur de la durabilité du projet. I Pas du tout Les rçsultats Çonqçmant cct indicateur rnontrent uue situatiqnqui n'est pss dutor4en favqr de Ia durabilité du projet. 0 Non applicable Cet indicatgur n'est pas pertinent pour cette situation donnée. Notez que la 'valeur numérique' ou 'note' n'estpas un nombre d'intervalle réel, mais plutôt un outil pour parvenir à une classification ordinale par rang. Il est donc utile de faire cela pour ces raisons. ' Cela aide 1'équipe d'évaluation et ceux qui reçoivent le rapport à voir au premier coup d'æil là où se situent les succès et les zones à problème. ' Ces évaluations vont être menées au cours des Ans 3 et 5 de la vie d'un projet. La classification par rang numérique permet de comparer la situation la plus récente à la situation de départ. Comment l'équipe parvient-elle à une décision sur la notation? Il y a deux manières, toutes les deux étant utiles: ' Après le résumé oral d'un indicateur, chaque membre du groupe fait sa notation en privé. Le rapporteur enregistre la valeur numérique correspondante pour chaque notation sans commenter et une moyenne mathématique est prise. Notez encore cependant, qu'il y a une technique pour parvenir à la classification selon le rang, qui n'implique pas une valeur mathématique obj ective. ' L'ensemble du groupe arrive à une notation par consensus. Cela prend habituellement plus de temps. Vous noterez qu'il y a un espace vous permettant d'enregistrer la notation de l'équipe, en base de chaque page des instruments. Veuillez noter que les indicateurs dans les 'résultats/ couverture' de groupe ont leur propre système de notation, qui est donné dans chaque instrument en bas de la page appropriée. 4.3.2 Notation de groupes d'indicateurs Une fois que tous les indicateurs ont été notés par l'équipe, une note peut être facilement donnée pour chaque groupe d'indicateurs. Cela est fait en obtenant une moyenne mathématique de l'équivalent numérique de la notation de chaque indicateur - par exemple. Notez toutefois que la 'valeur numérique moyenne' n'est qu'une représentation des séries ordinales: 'totalement', 'très' . etc. Les notes pour tous les groupes d'indicateurs à un certain niveau peuvent alors être illustrés dans un tableau ou par un graphique - par exemple: Faur le grwpe dç Ia , aa nivsau districtl sdtfiiwistrqtion locale ily a trois indicsts.ars. Supposez que fies lfitês de æs ffois soÿtt 3, 3 et î. Ia nats généraledt la à ce niveaa est +J+ 7. 2l Projet de Kaduna : Durabilité au niveau LGA 4 3.5 t o o ts op o o- 3 2.5 1 2 .5 1 0.5 0 '§.-*"ff.1§ ,""- ""C §(§' ." P s." "".f" uâ"groupe d'indicateurs 3.O 3.0 1,5 De cette manière, les principaux domaines problématiques pour la durabilité apparaissent clairement. . 4,4 Fautes courantes dans l'analyse des données Les erreurs suivantes ont été notes et doivent être évitées: . La collecte des données, l'analyse et les recommandations se focalisent sur lefonctionnement du projet, plutôt que sur sa durabilité. C'est une erreur très grave. Il est vrai que certains des indicateurs cherchent à savoir si le projet est effrcace /fonctionne bien ou pas, mais cela ne vise qu'à nous aider à juger siun domaine de fonctionnement peu effrcace va affecter la durabilité du projet. ' L'analyse pourrait être incomplète, ne prenant pas en compte des éléments importants des données du terrain. Par exemple, si des données tirées de registres ne sont pas présentées, cela signifie qu'on a que l'explication du responsable du transport et des chauffeurs sur la manière dont les moyens de transport sont contrôlés - ce qui n'est évidemment pas satisfaisant. Le chef d'équipe doit s'assurer que tout élément possible de données est inclus dans l'analyse et présenté à cet endroit. ' Il arrive que les résultats à un niveau contredisenl ceux d'un autre niveau. Par exemple, l'approvisionnement en Mectizan au niveau district semble bien marcher, mais alors le niveau FSPL signale des ruptures régulières de stocks. C'est une faute que de ne pas clarifier la situation - Pourquoi une telle incohérence? Version d'octobre 2003 22 4.5 Faire des recommandations L'équipe doit maintenant faire des recommandations sur les mesures que les projets et les pays doivent prendre pour réaliser la durabilité par eux-mêmes. Ces recommandations sont faites pour chacun des quatre niveaux et doivent avoir les caractéristiques suivantes: ' Elles doivent être basées wr les résultats de l'évaluation. Si les recommandations doivent réellement être utiles pour l'amélioration de la durabilité, dans ce projet donné, elles doivent découler des données obtenues pendant le travail de terrain - de celles-ci et de rien d'autre. Rappelez-vous que les 'données sont sacrées' - les évaluateurs ne sont pas autorisés à falsifier ou à ignorer les données. . Leurs recommandations doivent être pratiques et réalisables, si elles visent à être utiles. Rappelez-vous que vous etes en train de recommander des processus d'action au NOTF qui a des pouvoirs et des capacités limités. Il ne sert à rien de recommander que 'le HIS national soit amélioré ou que 'le budget national de la santé soit augmenté' - cela peut être souhaitable, mais il est totalement peu pratique de demander au NOTF de le réaliser. . Les recommandations doivent être précises. * Pour chaque recommandation, une suggestion doit être faite, sur qui doit être responsable de son exécution. * Pour chaque recommandation, un délai ou un calendrier d'exécution doit être proposé. * Un ou plusieurs indicateurs simples de réalisation doivent être donnés pour chaque recommandation. . Les recommandations doivent avoir un ordre de priorité comme suit: * HAUTE: cette recommandation est d'une importance cardinale. Si elle n'est pas suivie, le projet ne sera pas maintenu. * MOYENNE: cette recommandation est importante mais pas essentielle. Sa mise en æuvre renforcera cependant l'autonomie du projet. * Il ne doit pas y avoir des recommandations de FAIBLE priorité. Cette priorisation a une grande valeur pratique. Vous ferez en tout 30-40 recommandations par projet, il est donc essentiel de monter aux NOTF par où vous pensez qu'ils doivent commencer. Nous proposons le format suivant pour la rédaction des recommandations sur un groupe d'indicateurs: Notez qu'avant que les équipes ne reçoivent vos recommandations, elles auront déjà fait les leurs, dans les plans qu'elles vont élaborer pendant les ateliers de'restitution/ planifrcation'. Il serait bon Recommandations: Titrp du groupe d' (ex: 'Planifïcation') Mise en æuvr€ t 2. Priarilé: 1. 2. I ndieqlv qrs dç réus ;i t s : I, ? fui daitagir; 1 3 Délüi d'achèvemenl: Tl, ,' 23 de parcourir ces recommandations car elles peuvent fournir des informations et des idées supplémentaires. 4,6 Notation de I'ensembte du projet Enfin, l'équipe doit noter l'ensemble du projet en termes de sa durabilité générale. Une telle notation est utile parce que: . elle donne aux décideurs une idée immédiate de la durabilité du projet dans son ensemble. . Elle définit une base par rapport à laquelle on peut mesurer les progrès vers la durabilité. Les équipes doivent résister à l'envie de donner une valeur numérique à la durabilité d'un projet, ex. en calculant la moyenne mathématique des notes pourtous les indicateurs à chaque niveau. Ce jugement 'global' est plutôt une notation del'ensemble du projet, basée sur toutes les preuves disponibles; et le 'calcul' est fait par des 'super-ordinateurs' que sont les cerveaux d'une équipe de personnes expérimentées. Nous recommandons deux étapes: (a) Faire un jugement du projet, concernant chacun des sept 'aspects' de la durabilité Âsp+ct Jugementr à quel degtË ret espert dde-t-il ou empêche-t-il ladurabilitÉ dan* ce projet? IntÉgratiou Ressources Efficienpe §implicité Aeveptatiorpar l$ per*onnel de santê (Attitudedu personnel dc sarrté) Appropriation csrnmunautairp Ëfficacité (b) Regardez ensuite les six aspects clés du projet - 'éléments essentiels'de la durabilité. Si ceux- ci ne sont pas présents, il est peu probable que le projet soit durable: Argenr: Y a-t.îl suflisamrnent d'argent pour m€ner strictement lBs tacher ,È nécessaires qui ont été minutîeusemÊnt peüB€eset planifiêes? (rninimum absolu d' activités résidueües). Transport: Une datation a-t-plle été faite pour Ie remplacemert ou la réperation des véhicules? Y a-t-iIune garantiç reisonnablç q$ç dës véhiculçs rontinuerÇrË être disponibles pour les activités rninirnales es*enticlles? (notez que 'vélucule' ne signifre pas nécessairunêflt'4x4' ou même unr'voiture'). Supervision: Unç dotationa-t-elLe é.téf,aite pour une supervision perfiateflteciblé d'appui? (le projet ne peut pas se pérenniser sans cela). Approvisionnement en Mectitæt Le système dnapprovisionnement est-il fiable? {te planolrerest que zufÏisammcnt de médisâments parviennent dans lcs villages au oromBnt choisi per les villageois). Ëngagement politiryte: - elfectivernenÏ dânontré pu Ia corrnaissançë du processus du TIDC par Ie* poliügu€s {€ntraînant un appui tangible); et un ssns dc I'appiopriation du * ,h rÿ lacornmunauté Version d'octobre 2003 24 * Dans ce cadre, l'équipe utilise la grille suivante pour noter le projet dans son ensemble Niyeau de durabilité Description Cornplèternent durable a Tous les a.speüts sont préÉent&, et tous lee éléments essefitiels existent (avec ôtrr une ou deux pefites irnperfections). Ce projet remplit par consêquent toute§ les conditious pour devenir durable, Fâit de§ progrès satisfaisents vers Ia dursbilitê . Un ou deux Wêcts ùbsoÉt pa$ présent§, ef ürt ou deux , ne sont pas r&lnis.. ' Ce projet n'est pas loin être durable. Avpc les ctitlgues de l'eguip+ d'évaluatiory les personuels nationatr et du projot dqiveflt pouvoir entreprendre les aotions de redrpssement nêcessaires. esstfitiels Nefait pas de progrès satisfaissnts vers lâ durebîlitê La moitié ou moins ûet aspects sont présentg et Ia ruoitié ou moins des éIéments e$eilaelc sont réurris. Ce projet fait face à de graves obstacles pôur &a durabilité. Il devra être repensé etbénéficisrde lamobilisation drappuis de haut niveau pCIur se rernettrg sur lÊ bon chemin, I 25 û 5. LES ATELIERS DE 'RBSTITUTION/ PLANIFICATION' Dans cette section, nous discutons de comment organiser les ateliers et les renions qui ont lieu pendant la deuxième partie de la visite d'évaluation. 5.1. Préparation des ateliers Cet exercice d'évaluation vise à ancrer les projets sur la voie de l'autonomie. Cela signifie que l'équipe doit faire plus qu'évaluer - elle doit aussi mettre en branle un processus de planification, basé sur ses résultats. Cela est fait à travers deux ou plusieurs événements de 'restitution/planification' -ateliers et réunions. Ces événements visent les objectifs suivants: Restitution Nous présentons les résultats de l'équipe d'évaluation à tout le personnel et les figures politiques compétentes, qui ont la responsabilité du programme de TIDC. Planification de la durabilité du projet Nous devons également permettre au personnel du projet et aux personnalités politiques à ces niveaux de travailler ensemble pour développer un plan réaliste visant à apporter la durabilité à leurs programmes TIDC. Le processus décrit ci-dessous est basé sur l'expérience acquise au cours d'évaluations précédentes. Les considérations pratiques suivantes sont importantes. La préparation des ateliers doit être faite par les directeurs de projet (Ministère et ONGD) et le 'scout', avant l'arrivée de l'équipe d'évaluation. Cela, parce que les invitations doivent être envoyées à temps. Des événements séparés sont organisés pour le niveau projet, le niveau district sanitaire/administration locale. L'atelier du niveau supérieur est organisé en premier lieu afin que le personnel à ce niveau se familiarise avec les concepts et les résultats. Cela signifie qu'ils seront en mesure d'aider dans l'organisation de l'atelier au niveau district. t Si nécessaire, un troisième atelier peut être tenu pour le niveau national (dans les cas où les bureaux national t de projet ne sont pas les mêmes). Il est très important de ne pas de trop faire pendant l'une de ces réunions, dans le temps limité disponible (habituellement trois jours).Un bon atelier de 'restitution/planification' dure deux jours. Nous suggérons donc deux types d'atelier, selon les circonstances: * Un atelier de 'restitution/ planiticution' .' un jour pour la restitution et la discussion, unjour pour la discussion, un jour pour la planification de la durabilité du projet. L'atelier au niveau projet doit être l'un de ceux-ci, étant donné que c'est ce niveau qui prendra la charge du processus de réalisation de la durabilité. Ils devront travailler avec le niveau district et les niveaux inférieurs pour élaborer des plans de 'durabilité' à leur tour. * Un atelier de restitution d'un jour: un jour pour la restitution et la discussion. C'est le minimum requis pour les districts qui doivent avoir une rétro-information sur les résultats de toutes façons- Ceux qui ont été échantillonnés et les autres. En ayant une telle réunion, nous les sensibilisons tous sur la question de la durabilité. S'il y a cependant, suffrsamment de temps (deux jours) et si le nombre de districts est petit, l'équipe d'évaluation peut décider d'organiser un atelier complet de 'restitution/ planification' au niveau district aussi. Version d'octobre 2003 26 a 5.2. Ateliers à différents niveaux 5.2.1. L'atelier du niveau projet Les personnes suivantes doivent participer à cet atelier: * Du service public de santé: - Le responsable du projet/ SOC. - Les cadres chargés du projet (ex: Directeur de la section dans laquelle travaille le responsable du projet; Secrétaire permanent). - Agents de terrain mettant en æuvre le projet à ce niveau / SOCT. * Des ONGD: le responsable détaché au projet. * Toute autre partie prenante qui contribue généralement à la planification à ce niveau. ex: membres du NOTF. Le programme de l'atelier est conçu pour atteindre les deux objectifs donnés ci-dessus. Un exemple d'un tel programme est donné au point 5.4.1, mais il devra évidemment être ajusté selon les circonstances. Les membres de l'équipe d'évaluation, facilitateurs de cet atelier 5.2.2. L'atelier du niveau districU administration locale Les personnes suivantes doivent participer à cet atelier. * Du service public de santé. - L'équipe cadre chargée de la gestion du service de santé à ce niveau; y compris la personne chargée des programmes de lutte contre les maladies. - Le responsable du programme TIDC à ce niveau. * Les autorités compétentes et les représentants des ONGD à ce niveau. * Toute autre partie prenante qui contribue généralement à la planification à ce niveau Comme indiqué ci-dessus, la nature de cet atelier dépend du temps disponible et du nombre de districts dans le projet. Notez qu'il est diflicile de gérer un bon atelier s'il y a plus de 40 participants. Par exemple: ' La situation: Un projet contient 16 districts. Dans chaque district, il y a 4-5 décideurs qui doivent participer à l'atelier (60-80 personnes au total). Il y a deux jours disponibles pour cela. ' La décision: Un atelier de 'restitution/ planification' ne peut faire face à 80 personnes. Nous allons donc tenir un atelier de 'restitution' d'un jour seulement. Le programme de l'atelier dépendra de sa nature. Un exemple d'un programme d'un atelier de 'restitution' d'un jour est donné au point 5.4.3 -encore une fois, il devra être adapté aux circonstances. Notez en particulier que les ateliers à ce niveau nous donnent l'occasion de réunir d'autres informations importantes sur l'autonomie ou durabilité. Cela est dû au fait que nous pouvons rencontrer les districts sanitaires / qui n'avaient pas été inclus dans notre échantillon. Un questionnaire peut donc leur être administré à un moment de la journée. Un modèle de questionnaire figure à l'Appendice 2. Les données obtenues de cette manière doivent être utilisées pour réviser les résultats et les conclusions auxquels on avait abouti après la première analyse des données collectées pendant le travail de terrain. Les facilitateurs à cet atelier sont: . L'équiped'évaluation 27 r Les personnes qui ont participé à l'atelier de haut niveau 5.2.3. L'atelier du niveau national Dans certains pays, le bureau national est chargé d'un certain nombre de programmes (ex : Cameroun, RDC, Nigeria). Ce bureau peut aussi être situé loin du site du projet. Dans ce cas, l'équipe doit envisager d'organiser un atelier à ce niveau aussi. Ce sera relativement une petite affaire, étant donné que le nombre de personnes impliquées est petit. Les personnes impliquées connaissent habituellement le programme et il suffit d'organiser un événement moins formel- comme une longue réunion. Tous les deux aspects (restitution et planification) doivent être toutefois traités. 5.3 Organisation des ateliers Il est important que l'atelier soit dirigé par une personne ayant de bonnes compétences en matière d'atelier- quelqu'un ayaît l'expérience de la conduite des ateliers. Vous devez désigner le membre de l'équipe le plus expérimenté dans ce domaine pour être responsable du programme de l'atelier. Ceux qui doivent voyager pour participer aux ateliers auront besoin de perdiems pour les frais de voyage et de logement.La direction de I'APOC a accepté de financer cela. Cependant, le chef d'équipe doit s'assurer qu'une demande est soumise pour les fonds et que des paiements en espèces seront disponibles pour les participants à la frn de chaque atelier. Il bénéficiera pour cela de l'assistance des responsables du projet et du NOC qui ont de l'expérience dans ces questions. Les participants doivent avoir du thé et le déjeuner.Encore une fois, l'APOC a accepté de financer ce volet aussi, mais le chef d'équipe doit s'assurer que les responsables du projet /NOC organisent cela. Il est très important que les repas soient prêts à temps. La salle dans laquelle l'atelier aura lieu doit être soigneusement choisie: ' Elle doit être sufftsamment grande pour recevoir le nombre prévu de participants. ' Cela doit être proche du bureau du projet (pour certains exercices, nous pouvons avoir besoin de la documentation du projet) mais pas si près qu'il y a des interruptions constantes (telles que les personnes qu'on vient appeler pour répondre au téléphone). ' Elle doit être calme - ex: pas à proximité d'une route très fréquentée ou d'un groupe électrogène. ' Elle ne doit pas être trop chaude - s'il n'y a pas de climatisation, il faudra peut-être prévoir des ventilateurs. Le matériel suivant doit aussi être préparé (encore une fois I'APOC paiera la facture): ' LJne chemise cartonnée pour chaque participant, contenant le programme et les documents de l'atelier, (ex : les résultats de la principale évaluation ; et aussi celle sur la 'durabilité'), du papier pour écrire, un stylo ou un crayon. ' L'équipement nécessaire, selon ce que l'équipe souhaite utiliser: flipchart, marqueurs, rétroprojecteur, transparents, stylos etc. Notez que plus vous accorderez de l'attention aux détails pratiques, mieux l'atelier se déroulera. A un certain moment au cours de la deuxième semaine, vous devez donner un feedback aux principaux responsables au Ministère (ou même au niveau du gouvernement). Cela signifie d'une petite équipe doit être prête à quitter l'atelier à un moment convenable aux personnes qu'elle va voir. Et souvenez-vous d'apporter une cravate pour l'occasion! On ne sait jamais, vous pouvez réussir à voir le Ministre de la Santé ou le Gouverneur de l'Etat en personne ! Version d'octobre 2003 28 5.4. Programme de I'atelier 5.4.1. Programmeglobal Voici un exemple de programme d'un atelier complet de 'restitution et planification' de deux jours pour le niveau projet. Il comprend les éléments les plus réussis de plusieurs ateliers. Chaque équipe d'évaluation doit l'adapter à ses besoins spécifiques. Ordre du jour pour le Jour 7: 'Restitution' *{ctivité TBmns Frcilitateur I Cérémonie d'üuvÊrture êt mots dehienvenue 2 PresBntæion des participants 3 Présentation: . Prügraffimedel'atelier . Questlgqs d'oIgçnisæion pratique dp I'atelier 4 Presentation: . Objectif de l'évaluatiofi. . Qu€ signifie 'dumbilité? 5 Presentation: de l*dvalustïon Panse café 6 Présentation des principaux résultats: . I.üiyÊfltrçommunautgirç ' Niveau FSPL/ sous-district . Niveau Distrietl adrninistration locale . Nivoaunæional/projet Chaque préseutation est suivie d'un temps pour des prdcisious çt une discussion ouvertg, Psuse déieaner 7 , Travaux de groupe: analyse §WOT dao+3 groupe§ la situ+tion rçlativc à la durabilitd daus votre projet?' r Groupe 1: Iæs niveauxrommunautairc etFSPL . Groupê 2: Niveau disrictladmirristration locale ;. Groupe 3; niveau 4g{pq4li projetI Présentatiorr des Êravaux de groupg zuivied'une dissussion en I Tr*yaux de Grouper 'quÊllespsuffaiênt ëtreles solutions eux ' faibless€s concertrant la durabilité de votre projet?' . Groufle 1: Planification, §uivi ot supervision . Groupe 2: Finanpes, Formetion€t ESPM . Groupe 3: Transport, aptrnovisionnçment çn Mectizan In*tructionsl c,onç€fltrez-rrous sur la. mtionelisation des dépenses; la nrobilisation des ressourcer; f iutégration. 10 des travaux de sroupB §urYre d'une discussion pn 1l Présentation: Rérumé destravaux de la 29 plênière journee. Ordre du jour pour le Jour 2: 'PlaniJication' 5.4.2. Détails des points du programme Le concept de 'durabilité' doit être discuté au début de l'atelier: la définition, les aspects, les niveaux. Cela est fait sous forme d'exposé suivi d'une discussion. Il serait bon de donner aux participants un document sur le sujet (voir l'Appendice 5). Ensuite, l'équipe d'évaluation donne une retro-information sur ses résultats: ' IJn résumé des résultats à tous les niveaux est présenté - mais l'équipe donne plus de temps au niveau des personnes pour lesquelles l'atelier est entrain de se dérouler. ' L'équipe doit donner d'abord les résultats positifs / acquis, avant de passer aux aspects négatifs /problèmes. ' Il sera utile que l'équipe prépare un petit document à distribuer sur les principaux résultats (la section du rapport préparée telle que décrite ci-dessus au point 4.2). ' Il est important de consacrer suflisamment de temps à la discussion sur les résultats. Le reste de l'atelier est conçu comme un processus logique, aboutissant à la construction d'un plan durable pour l'année qui suit la fin du financement de I'APOC. Ceci n'est pas un plan théorique Âctivité Tempg Faciliffiteur AccuBil 1r Présentetioo: . Resumé deg travaux dc [a veille . hogramme de lajorrrnée 12 Travaux de Groupe: 'quelles ressourçes sôEtmes-noils susceptibles d'avoir eux diflérent* du programme, pour 1es 3 prochaines annees?' . Groupe I; fugient et r€§*ourtçshumaines. ' Groupe 2: Moyens de transport etéquipempntsl matériels. 13 Pésentætion des trâvaux de groupe, suiviç d'une discuspion en plénière Paase c4fë 14 Travaux de Groupe: Ëlabçration d'un plen durable pour la proehaine arlilÊê ' 3 groupes éleborBnt chacun un plan sous forme de tableau(qu'est-ce qui doit ëtre fait, pourquoi; pâr qüi; d'ici quând; irtdicatcurs; csüts). .Le plan doit clrrtspondre tux ressoürces disponibles. Pquse l5 Présentæiou des travaux de groupe- suivie d'une disctrssion enj!éqiére l6 Discussion rnpléniêre: : . Elab+ration d'un 'plan cadre dursble' poilr Iê prdet, pour Ia Prqcheiqe annee, t7 Discu*sion en pt*nierel . Mesures pratiques pour m€Être er æuvr€ oleplan durable' 18 §êanse pléniere: questions d'ordre prâtlque Aô déroütèmfrrte I'atelier l9 Cerëmoniede clôture Version d'octobre 2003 30 iPqrffi Ëdfç pour réaliser la 'durabilité' - c'est un plan qui entre dans les limites des ressources disponibles et qui est par conséquent durable. Voici les étapes: . IJn exercice SWOT, conduit par rapport à la durabilité actuelle du projet à ses différents niveaux. . IJn exercice pour générer des idées pour surmonter les faiblesses et les menaces dans les activités de routine du projet, en ce qui concerne leur durabilité. . fJn exercice pour cartographier les ressources qui sont susceptibles d'être disponibles pour le programme au cours des prochaines années. . fJn exercice pour élaborer le plan durable mentionné ci-dessus (pour une année seulement). Il y a des instructions détaillées disponibles pour les séances de travaux de groupe (Appendice 4). Le dernier point à l'ordre du jour est l'élaboration des perspectives d'avenir. La principale question est la suivante: qu'est-ce-qui va arriver aux plans que les participants viennent tout juste de préparer? Elaborez avec chaque équipe de participants, ce qu'elle va faire de son plan. A qui va-t-elle le soumettre et quand? Où va-t-elle l'aflicher? Comment va-t-elle s'assurer de s'en tenir à ce plan? 5.4.3 Le court atelier de 'Restitution' d'un jour Les équipes d'évaluation doivent choisir les points du programme de deux jours qu'ils veulent inclure dans cet événement. Voici un exemple: Notez que l'analyse SWOT est utilisée ici pour permettre aux participants de digérer les résultats plus attentivement et non pour les aider à voir la nécessité de développer leurs propres plans de durabilité dans un proche avenir. 5.4.4. Rôle des facilitateurs de I'atelier Les participanls doivent être aussi actifs que possible. Cela signifie que les/acilitateurs doivent rester aussi calmes que possible. Ils doivent résister à la tentation de partager avec les participants de l'atelier leur vaste savoir! Ce sont les participants qui doivent élaborer leur plan - après tout, CÉrémoni e d' oilverture et accueil Présentetion des perticiprnts kêsentâtion: prosrsmme de Ia iournée; gue*tions pratiques d'organisation Administretion du questionnrire {Appen dice 37 aru( participanrs Pause café Préspntetion: l'objertif de I 'évaluctioul gll'CIsf.pe que la durabilite? Frêsentârion: Ie méthodologie dp l'évalætioo Présentetion des principaux ré*ultats aux quatre niveau4 suivie par dt clarificetiouset d'une discussion ouvefie.ufl Pause déjeuner ?ravaux de Groupe; analyse SlVCIT groupes * situation de Ia durabilité dansvotre est [a Prêsentàfion det travaux de groupe, suiviç d'uue discussion en pléniêre Pause café Discussion en plénière; les perspectives d'sveflir -çomm€û aider lp+ ppftiçip?g!§ à élaborer feurs propres plans de durabilité? T prttiqu€Séançc Cérémonie dç ctrôturc 3l urôiÉt?- c'est leur programme. Expliquez clairement qu'ils sont maintenant entrain d'élaborer leur plan de durabilité. Il est très important qu'ils aient le sentiment que ce 'plan de durabilité' leur appartient. Quand les participants sont en train d'élaborer leur plan, les facilitateurs doivent les aider à y mettre leur première activité planifiée (en utilisant le format proposé -voir l'Appendice 5). Après cela, le rôle des facilitateurs doit surtout consister à louer et à encourager. Pour beaucoup de participants, ce type de planification sera nouveau et ils peuvent facilement si le facilitateur insiste trop sur la nécessité de faire tout 'correctement'. Si un ou plusieurs groupes semblent avoir des diflicultés pour résoudre un problème, il serait utile que les facilitateurs demandent à d'autres groupes présents de dire à chacun comme ils envisagent de résoudre ce problème. Les facilitateurs peuvent même puiser dans leur propre expérience antérieure d'ateliers semblables pour donner quelques idées. Ils doivent cependant veiller à ne pas prescrire des solutions toutes faites. 5.5. Après les ateliers Assurez-vous que les participants aillent à la maison avec leurs plans. Vous devez cependant avoir des copies pour la personne responsable du projet, au niveau situé au-dessus de celui des personnes qui ont participé à l'atelier; et pour votre rapport d'évaluation. Les responsables du projet, le NOC et NOTF auront les responsabilités suivantes après les ateliers: ' Le NOTF (et les groupes de travail compétents aux niveaux inférieurs ) doivent se réunir pour discuter et approuver les plans de 'durabilité', et défrnir les manières de soutenir leur mise en oeuvre. . Les plans doivent être distribués à tous ceux qui ont un intérêt pour eux et en particulier à tous ceux qui ont la tache de les mettre en oeuvre. . Les plans devront être suivis. Des réunions régulières de suivi doivent être organisées pour suivre l'état d'avancement de la mise en oeuvre des plans. . Les équipes de projet et de district doivent être encouragées et enthousiasmées. . Les ressources doivent être trouvées pour des activités supplémentaires - ex: recyclage pour préparer chacun de manière optimale en le dotant des compétences dont il ou elle a besoin pour faire face au départ de I'APOC. . Dans les situations où I'atelier district ne comprendrait uniquement que la restitution, le personnel du projet devra achever le processus en organisant ses propres mini-ateliers pour les districts, afin de les aider à élaborer leurs propres plans. Version d'octobre 2003 32 6. REDACTION DU RAPPORT Une fois que les résultats ont été analysés comme suggéré ci-dessus, un rapport doit être écrit. Cela commence à se faire au moment de la première analyse des données et chaque membre de l'équipe doit être responsabilisé pour y participer. En rédigeant le rapport, on doit garder à l'esprit que ce ne sont pas tous ceux qui doivent le lire qui connaissent bien le processus d'évaluation de la'durabilité'. Il doit donc y avoir sufÏisamment de détails pour leur permettre de comprendre la logique de l'ensemble du processus. Les sections suivantes sont recommandées: . (Jn résumé analytique. . Introduction. une brève description du projet et de son histoire à ce jour. ' Méthodologie: un bref protocole (incluant la question /objectif de l'évaluation et l'échantillon); une brève description du processus; les problèmes qui ont été rencontrés; commentaires sur la performance des instruments; les membres de l'équipe. . Résultats et recommandations: * Pour chacun des niveaux la uence suivante doit être utilisée: Une discussion et un jugement de la durabilité générale du projet.* 'r Autres résultats d'intérêt. ' Rapport des ateliers de 'restitution/ planification' : une brève description de chacun des participants, le degré de participation, lesprochaines étapes envisagées ' Un rapport sur les visites de plaidoyer menées: quelles sont les personnes rencontrées, leur réponse ' Appendices: ex: autres données pertinentes, sources de données, agenda de l'évaluatiorÿcalendrier; programmes des ateliers; plans produits pendant les ateliers. Notez qu'un rapport séparé doit être rédigé pour le niveau National de chaque pays (sauf dans les cas où il n'y a qu'un seul projet par pays, quand les données Nationales sont jointes au rapport de projet). La même présentation est recommandée. La responsabilité ultime de finalisation du rapport repose sur le chef d'équipe. Il est suggéré qu'il/elle consulte un rapport d'une évaluation récente pour se guider dans la rédaction du rapport. Des copies du rapport final sont envoyées par voie électronique: . Au projet concerné. . Au NOC/ NOTF du pays concerné. . Au Bureau de I'APOC à Ouagadougou. * Un graphique de Ia notâtion moyenne glohale (sur une échelle de 0*4) des neuf groupçs d' irtdicatcurs * Description détaifleÊ des principaux resultflts positifs et négatifs au sein des negf gf,oupes, par rapport à Ia durabilité, * Recomrnsndetioos détaillees et spéoifiques basêe* stricternent zur les réxultats, par ordrê de prioritç, ayec des indicateurs, des ddlais d'exécution Êt des persûnne$ 33 APPENDICES Appendice 1: Lettre âux personnes à interviewer Ces informations peuvent être incluses dans une lettre oflicielle écrite au NOCP, adressée à toutes les personnes auxquelles on demandera de fournir des informations pendant l'évaluation à venir. Cher collègue, Informations sur l'évaluation à venir du Programme de Lutte contre l'Onchocercose (Cécité des rivières) Au cours de ces dernières années, vous avez aidé à gérer un programme de luue contre la cécité des rivières, en distribuant le médicament, l'ivermectine (Mectizan@), aux villageois dans votre zone. Le programme a bénéficié du soutien du Programme Africain de Lutte contre l'Onchocercose (APOC), de votre Ministère de la Santé et de quelques organisations non- gouvernementales. Ces donateurs veulent aujourd'hui savoir si le programme qu'ils ont lancé est devenu assez solide pour se poursuivre. La semaine prochaine ou dans deux semaines, I'APOC va envoyer une équipe pour étudier la durabilité du programme de lutte contre la cécité des rivières dans votre zone. -Comme vous jouez un rôle important dans le programme, l'équipe voudrait vous rencontrer pour vous parler des questions suivantes relatives au programme de lutte: ' Couverture: Quel est le degré de couverture de votre zoîe par le programme? . Planification: comment le programme est-il planifié chaque année? . Leadership: Qui assure le leadership du programme et comment? . Supervision et suivi: quel type de supervision et de suivi est fourni? ' Commande et distribution du Mectizan: Quel est le processus utilisé pour la commande et la distribution du Mectizan? ' Formation et sensibilisation/ mobilisation: Quelles sont les activités de formation et de mobilisation mises en oeuvre? ' Financement/ fonds: quels sont les financements disponibles actuellement et quels sont les fonds susceptibles d'être disponibles à l'avenir? ' Transport et autres ressources matérielles: qu'est-ce-qui est disponible maintenant et qu'est-ce qui pourrait être disponible à l'avenir? ' Ressources humaines: quels sont les agents disponibles pour gérer le programme et quel est le degré de qualifications de ces personnes? Vous n'avez pas besoin de faire des préparatifs compliqués pour la visite. Les membres de l'équipe veulent tout simplement connaître la situation actuèlle et vous ne devez rien changer dans vos habitudes avant leur arrivée! Ils veulent tout simplement vous parler, pour apprendre di vous ce qui se passe dans votre volet du programme. Nous vous serions irès reionnaiisants de leur consacrer un peu de votre temps à une date convenue. T- a personne qui vous remet ce document pourrait aussi vous demander de préparer quelques documents pour l'équipe qui viendra vous voir. Les informations contenuei dâns cejdocuments les aideront à bien comprendre votre situation. Nous vous serions reconnaissants de nous aider en tenant ces documents prêts le jour de Ia visite de l'équipe. Il se peut que vous ne disposiez pas de certains de ces documents - cela ne pose pas de problème. Tout ce que vous pourrei montrer à l'équipe sera utile. Nous vous remercions infiniment! Version d'octobre 2003 34 Appendice 2 Documents nécessaires pour la revue littéraire Documents nécessaires: niveau national/ zone/ provinciaU Etatique . Documents de politiques et plans stratégiques du TIDC du Ministère de la Santé . Plans nationaux/ de zonel étatiques/ régionaux/ provinciaux de lutte contre l'onchocercose de l'année en cours et des années précédentes . Rapports de la REMO y compris les listes de toutes les communautés endémiques /populations cibles . Budgets et rapports frnanciers nationaux/ de zonel étatiques/ régionaux/ provinciaux de l'année en cours et des années précédentes . Les plans annuels du paysl zone I Etat / région / province des deux dernières années: * Y compris les plans du TIDC (intégré dans le plan principal ou séparé) * Plans trimestriels ou mensuels aussi (s'ils existent) . Le budget annuel de la lutte contre l'onchocercose, pour les trois dernières années pour le p ay s I zonelBtatl r égion / provi nc e : * De toutes les sources: Ministère de la Santé à ce niveau, APOC, ONGD partenaires * Détails des salaires du personnel, dépenses d'investissement, frais de fonctionnement. . Documents de contrôles fïnanciers: fiches d'ordonnancement des dépenses, journaux, livres comptables etc. (notez que ces documents fourniront des informations sur le décaissement des financements promis) . Rapports du dernier cycle de TIDC dans le pays / zonelEtatl régionlprovince . Rapports (s'ils existent): * Des visites de supervision par les employés à ce niveau, au (x) niveau (x) au-dessous d'eaux * Auto-monitorage interne par les employés à ce niveau. . Toutes les fiches concernant les commandes, les sorties et les contrôles du Mectizan au niveau pay sl zonelBtatique/ régional/ provincial . Tous les programmes, matériels, calendrier, de formation, liste de présence et rapports relatifs à la formation pour le TIDC et la formation continue dans le pays/ zonelEtatl région/ province au cours de ces deux dernières années . Tous les rapports des activités de mobilisation/ sensibilisation dans le paysl zonelEtatl région/ province au cours de ces deux dernières années. . Toute la documentation relative au contrôle et à l'utilisation des moyens de transport officiels à ce niveau, au cours de ces dernières années. ordres de mission, allocations de carburant, carnets de bord etc. Documents nécessaires: niveau district sanitaire/ LGA Les rapports /tableaux de couverture du district sanitaire lLGApour les trois dernières années (par sous-district; par village) Rapports de REMO y compris les listes de toutes les communautés endémiques /populations cibles Les plans annuels du district ILGA des deux dernières années: * Y compris les plans du TIDC (intégré dans le plan principal ou séparé) * Plans trimestriels ou mensuels aussi (s'ils existent) Le budget annuel des trois dernières années ( de toutes les sources : le LGA lui-même, les niveaux supérieurs du gouvernement, APOC et ONGD partenaire) Documents de contrôle financier (ordonnancement des dépenses, journaux, livres comptables etc.) Rapports du dernier cycle de TIDC dans le district sanitaire |LGA 35 -t I t! Rapports (s'ils existent) des visites de supervision de routine par les membres de l'Equipe Cadre de District aux sous-districts Toutes les fiches concernant les commandes, les sorties et les contrôles du Mectizan au niveau district sanitaire lLGA Tous les programmes, matériels, calendrier, de formation, liste de présence et rapports relatifs à la formation pour le TIDC et la formation continue dans le district sanitaire lLGAau cours de ces deux dernières années Tous les rapports des activités de mobilisation/ sensibilisation dans le district sanitaire ILGL au cours de ces deux dernières années. Toute la documentation relative au contrôle et à l'utilisation des moyens de transport offrciels à ce niveau, au cours de ces dernières années: ordres de mission, allocations de carburant, carnets de bord etc. Documents nécessaires: niveau sous-districUstructure sanitaire de première ligne . Les rapports /tableaux de couverture du sous-district (par village) . Les plans annuels du sous-district des deux dernières années: * Y compris les plans du TIDC (intégré dans le plan principal ou séparé) * Plans trimestriels ou mensuels aussi (s'ils existent). ' Le budget annuel du sous-district pour les deux dernières années - de toutes les sources: district sanitaire/ LGA revenus propres du sous-district, autre (notez que ce budget peut être tenu au niveau du district sanitaire / LGA). ' Documents de contrôles financiers: fiches d'ordonnancement des dépenses, journaux, livres comptables etc. . Rapports du dernier cycle de TIDC dans le sous-district . Rapports (s'ils existent) des visites de supervision par les membres de l'équipe de sous-district aux villages ' Toutes les fiches concernant les commandes, les sorties et les contrôles du Mectizan au niveau sous-district ' Tous les programmes, matériels, calendrier, de formation, liste de présence et rapports relatifs à la formation pour le TIDC et la formation continue dans le sous-district au cours de ces deux dernières années ' Tous les rapports d'activités de mobilisation/ sensibilisation dans les villages du sous-district au cours de ces deux dernières années. ' Toute la documentation relative au contrôle et à l'utilisation des moyens de transport ofliciels à ce niveau, au cours de ces dernières années: ordres de mission, allocations de carburant, carnets de bord etc. Documents nécessaires: niveau village/ communautaire . Registres de traitement des DC ' Fiches récapitulatives montrant les données de couverture et l'utilisation du Mectizan pour le village au cours des trois dernières années. ' Copies des commandes de Mectizan pour le village au cours des trois dernières années. Version d'octobre 2003 36 I Appendice 3 :Questionnaire destiné aux personnels de district sanitaire/ LGA sur leur travail de TIDC Nom de votre district sanitaire/ LGA: Sur la couverture: est le taux de couverture dans votre district sanitaire ILGA? Sur la planification: ' Comment préparez-vous le plan de TIDC dans votre district I LGA chaque année? . Le plan est-il rédigé? contribue à l'élaboration du ? Sur Ie leadership: . Qui est responsable du TIDC dans votre district sanitaire ILGA? . Cette personne a-t-il suffisamment de temps pour le travail de TIDC? ' Pensez-vous que les responsables politiques dans votre district sanitaire ILGA soutiennent le TIDC? le vous? Sur la supervision et le monitorage: . Quelle est la fréquence de vos visites de suivi aux centres de santé /sous-districts? . Comment planifiez-vous vos visites de supervision aux centres de santé / sous-districts? ues sont-ils collectés. Comment les stati 37 des centres de santé / sous-districts? Sur le Mectizan: . Comment votre approvisionnement annuel de Mectizan vous parvient-il ? ' Comment le Mectizan parvient-il aux centres de santé / sous-district à partir de vous? . Avez-vous suffisamment de Mectizan annee ou avez-vous arfois des Sur la formation et la sensibilisation/ mobilisation: . Qui formez-vous chaque année? . Comment choisissez-vous les personnes que vous allez former? ' Décrivez la mobilisation que vous entreprenez chaque année. Qui visitez-vous et à quel intervalle? Sur les financements / fonds: . Avez-vous un budget annuel préparé par écrit pour votre travail de TIDC? . Qui fournit les fonds dont vous avez besoin pour faire votre travail de TIDC? ' Que comptez-vous faire pour obtenir d'autres fonds quand les fonds de l'APOC ne seront plus di les? Version d'octobre 2003 38 Sur le transport et autres ressources matérielles: ' Décrivez les moyens de transport mis à votre disposition pour faire votre travail. ' Vous arrive-t-il de ne pas avoir un moyen de transport quand vous avez besoin de faire une sortie ? A quel rÿhme cela arrive-t-il? . Les différents à votre niveau ils les de Sur les ressources humaines: ' Les membres concernés de l'équipe de votre district/ administration locale sont-ils bien formés? Savent-ils vraiment comment mener le TIDC? ' Quel est le degré de stabilité de votre équipe de soins de santé? Ses membres sont-ils affectés à d'autres unités ou as très souvent? 39 Appendice 4: Instructions pour les travaux de groupe dans les ateliers de 6restitution/ planifïcation' Séance 7: analyse SWOT de la situation actuelle concernant la durabilité Vous avez entendu les résultats de l'équipe d'évaluation concernant la durabilité de votre projet TIDC. Nous vous demandons maintenant de réfléchir plus profondément sur ces résultats, par rapport aux niveaux spécifiques auxquels le projet fonctionne. Nous suggérons que vous le fassiez à travers une analyse SWOT (Forces, Faiblesses, Opportunités, Menaces). Veuillez remplir le tableau suivant: Vous avez ... ....minutes pour terminer cet exercice. Vos facilitateurs de groupe sont: 1. ..... 2......... Veuillez nommer un rapporteur qui présentera le rapport de votre groupe en votre nom. Séance 9: Solutions aux faiblesses de notre projet par rapport à la durabilité Vous avez examiné les forces, les faiblesses, les opportunités et les menaces par rapport à la durabilité de notre projet TIDC: ' Maintenant, nous demandons à chaque groupe de regarder les aspects spécifiques du fonctionnement du projet. ' Vous avez déjà étudié les faiblesses du projet par rapport à la durabilité. Maintenant, nous vous demandons de faire des suggestions pour surmonter ces faiblesses et menaces. * Veuillez accorder une attention particulière à ce qui suit: rationalisation des dépenses; mobilisation des ressources; intégration plus complète du TIDC dans le système sanitaire. * Les idées innovatrices pour une 'porte de sortie' sont les bienvenues! . Veuillez présenter vos résultats dans un tableau: Les activités du et nous prenons en compte Faiblesses et menaces par rapport à la durabilité: Suggestions pour surmonter ces faiblesses et menaces l. 2. J. etc. I 2 J etc. Niveau (x) que nous enquêtons. Forces: quels sont les aspects du projet qui sont positifs pour la durabilité? 1.) J. etc. Faiblesses: quels sont les aspects du projet qui sont à I'encontre de la durabilité I 2 J etc. quelles Opportunités avons-nous pour rendre le projet plus durable? I 2 J etc Quelles Menaces existent sur les possibilités de rendre le projet plus durable? 1 2 J etc. Version d'octobre 2003 40 aVous avez ... ....minutes pour terminer cet exercice. Vos facilitateurs de groupe sont: 1........ 2........ Veuillez nommer un rapporteur qui présentera le rapport de votre groupe en votre nom Séance 12: nos futures ressources Afin de planifier la durabilité, nous devons absolument savoir quelles ressources nous aurons pour gérer le programme, dans les prochaines années. Vous travaillerez en deux groupes: L'un va examiner les ressources humaines et financieres et l'autre va examiner les moyens de transport/équipements et matériels. Veuillez le tableau suivant. Vous devez faire des tableaux similaires pour le 'Transport', 'Equipements/ matériels' et 'Ressources humaines' Vous pouvez avoir besoin de documents de votre bureau de projet pour faire cet exercice. Vous avez .......minutes pour terminer cet exercice. Vos facilitateurs de groupe sont: 1........) Veuillez nommer un rapporteur qui présentera le rapport de votre groupe en votre nom. Séance 14: un plan de TIDC durable pour I'année suivante A cette étape, vous devez avoir: . Trouvé les moyens de rationaliser les dépenses. . Listé les ressources qui seront disponibles l'année suivante (l'année après la fin du financement de I'APOC). Nous vous demandons maintenant de préparer un plan complet pour votre travail l'année suivante en utilisant le tableau ci-dessous. Le plan doit avoir les caractéristiques suivantes: . Le plan que nous faisons doit correspondre aux ressources que nous sommes certains d'avoir. . Si vous ne pouvez vraiment pas vous en sortir sans davantage de ressources, vous avez besoin d'un plan très clair, très précis pour trouver ces ressources. {. t Montant Niveau Projet Niveau District Autres niveaux Total Source de financementx Année prochaine Année d'après Financements* que nous sommes surs d'avoir L'année après cela Année prochaine L'année d'après Financements*que nous sommes raisonnablement certains d'obtenir L'année après cela Que devons- nous faire? (très spécifique) Justification: avons-nous vraiment besoin de faire cela? Qui doit le faire? Quand cela doit-il être fait? Comment saurons-nous que nous avons réussi? Combien cela va-t-il coûter ? (exactement) 1 2 J etc. 4t aVous avez ... ....minutes pour terminer cet exercice. Vos facilitateurs de groupe sont: 1... ..... 2........ Veuillez nommer un rapporteur qui présentera le rapport de votre groupe en votre nom. Version d'octobre 2003 42 ,Appendice 5 Prospectus sur la durabilité La durabilité - qu'est-ce que c'est? 'faire durer' quelque chose signifie 'la maintenir en état de marche' ou 's'assurer qu'elle continue de fonctionner'. 'Autosuffi sance' et'durabilité' Une organisation est 'autosufftsante' si elle compte sur ses propres ressources pour le travail qu'elle fait? Si cependant ses propres ressources ne sont pas suffisantes, l'organisation peut réussir à trouver des ressources de l'extérieur. Si ces ressources sont fiables, nous disons que l'organisation est 'durable' - ce qui est acceptable pour les programmes TIDC. Eléments de durabilité Nous estimons que les projets seront plus durables si les éléments suivants sont présents: ' EfJicacité:les projets qui fonctionnent effîcacement sont plus susceptibles d'être durables. ' Efficience'.les projets gérés de manière rentable sont plus susceptibles d'être durables. ' Simplicité'.les projets qui ont des habitudes et des procédures peu compliquées sont plus susceptibles d' être durables. ' Intégration: les projets qui se sont intégrés dans la gestion habituelle des services de santé sont plus susceptibles d'être durables. ' Acceptation par le personnel de santé (Attitude du personnel de santé) : les projets sont plus susceptibles d'être durables si le personnel de santé accepte le TIDC comme activité de routine qu'il continuera de mener même en l'absence d'une récompense matérielle supplémentaire; et s'il accepte qu'il doit adapter ses habitudes afin d'être plus eflicient. ' Ressources: les projets sont plus susceptibles d'être durables s'ils sont sufÏîsamment de ressources (humaines, matérielles, financières) pour soutenir ce qu'ils tentent de faire. ' Appropriation par la Commanauté: Les projets sont plus susceptibles d'être durables quand il y a une participation communautaire active à la planification et à l'exécution de la stratégie de lutte. 43