tr, -rJ Programme Africain de Lutte contre l'Onchocercose (APOC) Groupe de Travail National de Lutte contre l'Onchocercose (GTNO) du Nigéria Deuxième Réunion des Représentants des GTNO Abuja, l7-22juin 2002 GUIDE POUR LA REALISATION D'UNE EVALUATION DE L'AUTONOMIE D'UN PROJET D'APOC DrR/APOC 04t06t02 (@, Organisation Mondiale de la SantéProgramme Africain de Lutte contre I'Onchocercose Original: Anglais Guide pour la réalisation d'une évaluation de l'autonomie d'un projet d'APOC Mai 2002 t Organisation Mondiale de la Santé Programme Africain de Lutte contre l'Onchocercose Directives pour la réalisation d'une évaluation de l'autonomie d'un projet d,APOC Richard Gibson Detlef Prozesky Eleuther Tarimo N{ai2002 Les auteurs voudraient remercier les personnes suivantes pour leurs commentaires et leurs contributions utiles: . Prof Oladele Akogun . Dr Edith Nnoruka . Dr Joseph Okeibunor r ÿ1. Chukwu Okoronkwo 23 Ces directives doivent être lues attentivement par tous les membres des équipes d'évaluation (en particulier les chefs d'équipe) avant le démarrage d'une évaluation. Elles comprennent les sections suivantes: 1. lnformations de base Préparation d'une mission d'évaluation 2.1 La mission de 'déblayage du terrain' Gestion d'une mission d'évaluation 3.1 Echantillonnage 3.2 Les séquences de la mission 3.3 Calendrier de la mission 3.4 Utilisation de l'Outil sur le terrain 3.5 Données tirées de la revue documentaire Analyse des données collectées et recommandations 4.1 Résumé des données de terrain 4.2 Notation de chaque indicateur 4.3 Notation des groupes d'indicateurs 4.4 Description orale des principaux résultats 4.5 Recommandations 4.6 Notation de l'ensemble du projet 4.7 Les erreurs à éviter dans l'analyse Les ateliers de 'restitution' /planification 5.1 L'atelier au niveau supérieur (projet/Etat) 5.2 L'atelier au niveau intermédiaire (district sanitaire/ ADMINISTRATION LOCALE) 5.3 Commentaires généraux sur les ateliers 6. Rédaction du rapport 4 5 Appendice I Appendice 2 Appendice3 Appendice 4 Appendice 5 Appendice 6 Informations destinées aux personnes à interviewer Questionnaire pour le personnel de district sanitaire / ADMINISTRATION LOCALE participant aux ateliers de'restitution'/planification Programme d'ateliers de'restitution'/planification avec l'équipe du projet/nationale Programme d'ateliers de 'restitution'/planification avec l'équipe de district sanitaire /de LAG Instructions détaillées pour les travaux de groupe dans les ateliers de ' restitution'/planification Prospectus sur la durabilité pour les ateliers de 'restitution'/planification 2 I Informations de base Que signifie le terme'durabilité'? Nous entendons par 'durabilité' la probabilité qu'un projet continuera de fonctionner efficacement après que le soutien d'APOC soit venu à son terme. Deux autres concepts font partie de la'durabilité: * AutosufJisance: la capacité d'un projet de continuer à fonctionner efficacement, en utilisant seulement les ressources générées à I'intérieur du pays lui-même. * Autonomie; la capacité d'un projet de continuer à fonctionner efficacement en utilisant aussi bien ses propres ressources que celles fournies de l'extérieur - à condition que ces dernières soient fiables. Dans cet exercice, nous allons utiliser I'autonomie comme concept directeur. Aspects de la durabilité Nous pensons que les projets seront plus durables si les aspects suivants existent: * EfJicacité: Ies projets qui fonctionnent efficacement sont plus susceptibles d'être durables. * EfJicience: les projets gérés de manière rentable sont plus susceptibles d'être durables. * Simplicité: les projets qui ont des habitudes et des procédures peu compliquées sont plus susceptibles d'être durables. * Intégration: les projets qui se sont intégrés dans la gestion habituelle des services de santé sont plus susceptibles d'être durables. * Attitude: les projets sont plus susceptibles d'être durables si le personnel accepte le TIDC comme activité de routine qu'il continuera de mener même en l'absence d'une récompense matérielle supplémentaire; et s'il accepte qu'il doive adapter ses habitudes afin d'être plus efficient. * Ressources: les projets sont plus susceptibles d'être durables s'ils sont suffisamment de ressources (humaines, matérielles, financières) pour soutenir ce qu'ils tentent de faire. Vous noterez que les différents indicateurs de l'autonomie incluent ces éléments. Les trois derniers groupes d'indicateurs en particulier portent I'aspect 'Ressources'. Niveaux d'autonomie Nous allons évaluer l'autonomie à quatre niveaux, dans l'organisation des services de santé des pays concernés: A Sièee National du Ministère de la Santé Utilisez l'Outil no.1 B Province/ région/ Etat - un groupe de districts sanitaires C District sanitaire/ administration locale Utilisez l'Outil no.2 J I ID Sous-D istrict sanitaire/ formation sanitaire de première ligne Utilisez l'Outil no.3 E Villaee/ communauté Utilisez I'Outil no.4 Veuillez noter que la situation de ces niveaux varie d'un pays à I'autre: * Le niveau A est évidemment commun à tous les projets de ce pays. Il doit être évalué par lui-même en ce qui concerne son autonomie. Au Nigeria, ce niveau a des 'composantes' aussi bien 'Fédérales' que 'de zoîe'. * Nous évaluons les projets eux-mêmes aux niveaux B à E. Dans certains pays, le projet est basé au niveau B, dans d'autres, au niveau C. Dans le dernier cas, il peut ne pas y avoir de niveau B. Le plus important est de collecter des informations à chaque niveau du service de santé, là où le TIDC se déroule. * Nous avons élaboré 4 Outils de collecte de données sur I'autonomie. Le tableau ci-dessus montre quel Outil utiliser à chaque niveau. Indicateurs d' autonomie Ces indicateurs ont été choisis par l'équipe qui s'est réunie à Ouagadougou et tous figurent dans I'Outil. lls se regroupent en 9 catégories. Ces catégories portent sur: * Les résultats atteints dans le projet (1 groupe d'indicateurs) * Les activités de routine qui produisent les résultats (5 groupes d'indicateurs) * Les ressources fournies pour ces activités à mener (3 groupes d'indicateurs). Cela donne les groupes d'indicateurs suivants aux quatre niveaux: Niveau de fonctionnement Groupes d'indicateurs Siège/ province/ région/ Etat District /ADMI NISTR ATION LOCA LE, Sous- district/ Structure de première ligne Village/ Communaut é 1. Couverture t t t t Indtcateur s des résultats atteints 2. Planification t t. t l Indicateur s des activités favorables au TIDC 3. Fourniture de leadership t I t t 4. Supervision et SUIVI t t t t 5. Obtention et distribution du Mectizan t t t t 6. Formation et sensibilisatiorÿ mobilisation t t t t 4 7. Financement/ fonds t t t t Indicateur s des ressources fournies 8. Transport et autres ressources matérielles t t t t 9. Ressources humaines t t t t 5 a3. Gestion de la mission d'évaluation 3.1 Echantillonnage L'échantillonnage est fait de manière délibérée et non au hasard. La raison en est qu'un échantillon prélevé au hasard sur une petite population peut être facilement peu représentatif. Nous utilisons les critères suivants: ' Le crttère prtmatre estla couverture (géographique et thérapeutique). Cela parce qu'il s'agit d'une mesure de la perfo[nance de l'ensemble du système - et c'est l'autonomie de ce système que nous sommes en train d'évaluer. . Les critères secondatres suivants sont aussi pris en compte: * L'Endémicité: veiller dans la mesure du possible, à ce que l'échantillon comprenne aussi bien des zones hyper endémiques que des zones méso-endémiques (plus ou moins dans la même proportion que les résultats de REMO delazone de projet). * Etendue géographique: s'assurer dans la mesure du possible que l'échantillon inclut des zones qui représentent les différentes zones où le projet travaille et les communautés proches des villes et certaines qui sont isolées. Pour les projets comprenant beaucoup de districts/ Administrations locales (ex: le Nigeria) ' Pour chaque projet, vous échantillonnez au moins trois districts ( un district ayant une bonne couverture, un ayant une couverture moyenne et un ayant une faible couverture). . Pour chaque district/ ADMINISTRATION LOCALE, vous échantillonnez deux sous- districts (un sous-district ayant une bonne couverture, un ayant une faible couverture) . Pour chaque sous-district, vous échantillonnez deux villages (un village ayant une bonne couverture; un ayant une faible couverture). Pour les projets comprenant 1-2 districts (ex: L'Ouganda) . Pour chaque projet, vous échantillonnez l'un ou les deux districts. . S'il y a un seul district: * Vous échantillonnez quatre sous-districts (un sous-district ayant une bonne couverture, deux ayant une couverture moyenne et un ayant une faible couverture). * Pour chaque sous-district, vous échantillonnez deux villages (un village ayant une bonne couverture et un ayant une faible couverture) . S'tl y a deux districts: * Vous échantillonnez trois sous-districts dans chacun d'eux (un sous-district ayant une bonne couverture, un ayant une couverture moyenne et un ayant une faible couverture). * Pour chaque sous-district vous échantillonnez deux villages (un ayant une bonne couverture et un ayant une faible couverture) Dans tous ces deux exemples, vous vous efforcez de remplir les critères secondaires. Cela signifie que s'il y a deux éléments ayantplus ou moins la même couverture, vous choisissez entre les deux de sorte que l'ensemble de l'échantillon remplisse les critères secondaires. 6 aEtant donné que nous avons peu de temps pour faire le travail de terrain, nous devons aussi tenir compte de I'accessibilité et du caractère pratique des échantillons à choisir. S'il y a deux ou plusieurs zones qui se ressemblent beaucoup, nous choisissons celle qui est la plus facile à atteindre. 3.2 Les séquences de la mission Les membres de l'équipe de déplacent sur le site du siège du projet, arrivent un samedi avant que le travail de terrain ne commence (le lundi suivant). Ils doivent se familiariser avec les documents suivants avant leur arrivée: * Le présent document sur les 'directives'. * Les quatre Outils. * Le calendrier provisoire. Ces documents seront envoyés par courrier électronique à chaque membre de l'équipe. a I I L'équipe passe le dimanche à planifier le travail à faire. Elle lit les directives et les Outils en même temps, ajuste le calendrier provisoire en cas de besoin et forme les équipes qui feront le travail de terrain. Les sorties sur le terrain commencent à partir de lundi et durent jusqu'au vendredi: * Les données du projet sont collectées à tous les niveaux, sur les sites échantillonnés. * Le bureau du NOCP au Ministère doit aussi être évalué. Ce bureau sert tous les projets dans le pays et doit donc être évalué une fois. Cette évaluation sera le travail de la première équipe d'évaluation qui visitera ce pays. Ils doivent mettre en place une petite équipe qui retoumera au Ministère à un moment donné pendant la première ou la deuxième semaine pour faire la collecte des données nécessaires (interviews et rewe documentaire). Notez que ce rapport est rédigé séparément (sauf dans les pays ayant un seul projet, où il fera partie du rapport du projet). Le week-end suivant est consacré au travail suivant: * Analyse des données collectées systématiquement - en tirant les conclusions nécessaires et en faisant des recommandations. * Rédaction du projet de rapport. * Planification des ateliers de 'restitution'/planification du lundi au mercredi. Du lundi au mercredi de la deuxième semaine, les ateliers de 'restitution'/planification sont tenus: * Lundi: atelier pour le niveau projet * Mardi et mercredi: ateliers pour le niveau district sanitaire/ Administration Locale. Il ne s'agit pas d'avoir trop de participants à un atelier, sinon l'atelier devient difficile à gérer. Donc si le projet a beaucoup de districts sanitaires/ /Administration Locales, la moitié de ceux-ci sera invitée à participer le mardi et I'autre moitié le mercredi. Il est important de noter que l'équipe d'évaluation aura une meilleure perception des choses pendant ces ateliers, qu'il n'a pas eue pendant le travail de terrain. Ces informations supplémentaires devront être prises en compte dans I'analyse des données car elles peuvent bien influencer les recommandations que l'équipe va faire. 1 aI :t :t Tout au long de [a mission, nous recommandons que l'équipe se réunisse chaque soir pour discuter de l'état d'avancement de la journée et des problèmes rencontrés et planifier les travaux de la journée suivante. Le dernier soir, l'équipe évalue l'ensemble du processus d'évaluation et fait des recommandations sur les futures recommandations. Celles-ci sont transmises à tous les membres de l'équipe centrale (y compris Dr Amazigo). Un autre aspect important de la mission est d'ordre politique. Il s'agit du plaidoyer auprès des décideurs aux niveaux local et national. Le fait est que pour que les projets soient soutenus, ils auront besoin de contributions régulières et financières substantielles de la part du Ministère de la Santé etlou de l'administration locale. Les étrangers sont souvent en mesure de dire cette vérité évidente avec plus d'autorité que les agents locaux. Chaque équipe doit donc rendre une visite de courtoisie aux fonctionnaires compétents et aux dirigeants politiques vers la fin de la mission. Les membres de l'équipe doivent essayer d'aller au niveau le plus haut possible: chez le Ministre de la Santé elle/lui-même ou le gouverneur de l'Etat (au Nigeria). Le point à mettre en exergue pendant ces visites est le suivant: le Ministère comporte en son sein un projet qui fonctionne vraiment bien; une somme d'argent relativement petite lui permeffra de continuer à marcher; et si on ne le finance pas, cela signifiera le retour à la misère pour des milliers de personnes. I 3.3 Calendrier de la mission Nous proposons que vous passiez [ 1 jours à chaque projet - Nous avons trouvé à Taraba (la deuxième évaluation, après l'essai à Kaduna) que cela était suffisant. Vous serez six dans chaque équipe. Vous devez vous diviser en trois équipes - Appelons-les [, II et II[: Equipe I: Elle doit comprendre le chef d'équipe et quelqu'un d'autre. Cette équipe doit travailler avec le personnel au niveau du Ministère (au cas où il s'agirait de la première évaluation dans ce pays). A la fin de sa tache, il /elle rejoint les autres équipes pour le travail au niveau district. Equipes II et III: Deux personnes chacune, avec un mélange d'expertises et d'expériences. Voici un calendrier éventuel Samedi Jour de voyage - toutes les équipes vont voyager pour aller au siège du proiet Dimanche Journée d'Orientation au siège du projet Lundi Toutes les équipes: visites de courtoisie au Minsan et à la direction des ONGD Equipe I: collecte des données au siège du projet (Minsan et ONGD) Equipes II et III: collecte des données sur le terrain: au niveau district sanitaire/ ADMINISTRATION LOCALE et au-dessous Mardi collecte des données aua @ipell 8 T rl Mercredi Jeudi Toutes les équipes: collecte des dorurées sur le terrain: au niveau district sanitaire / ADMINISTRATION LOCALE et au-dessous Au cas où cela serait la première mission à ce pays, I'Equipe I se rend au Ministère pour collecter les données pour le niveau national Vendredi Tqutqs les équipes: retro information aux districts sanitaires/ Administrations Locales visités Samedi- Dimanche Toutes les équipes: . analyse des données, élaboration des recommandations, rédaction du projet de rapport . planification des prochains ateliers de'restitution'/planification Lundi Atelier de 'restitution'/ planification pour le niveau proJ Mardi Atelier de 'restitution'/planification pour le niveau district / Administration Locale (premier cycle) Mercredi Atelier de 'restitution'/planification pour le niveau district / Administration Locale (deuxième cycle, en cas de besoin) Jeudi Départ à la maison Vous aurez certainement besoin d'adapter ce calendrier selon les spécificités de chaque situation. * Le nombre de visites et d'interviews qu'une équipe peut gérer par jour variera certainement d'un pays à l'autre et d'un projet à I'autre. * Notez encore que dans chaque pays, une seule visite est rendue au Ministère. Cela signifie que s'il y a deux ou plusieurs projets à évaluer dans un pays, le niveau Siège devra être évalué pendant l'une de ces deux missions d'évaluation. Les informations obtenues là-bas seront ensuite mises à la disposition de l'équipe de la deuxième mission d'évaluation 9 4. des données collectées et recommandations Toute l'équipe se réunit pour analyser les données. Cela se passe surtout le samedi et le dimanche, mais peut commencer plus tôt, dans les soirées au cours de la semaine. Le chef d'équipe préside les discussions. Les collègues venus du projet doivent être encouragés à être présents. Le processus ci-après est suivi: 4.1 Résumé des données de terrain I Vous faites l'analyse pour chaque niveau à la fois. La première étape consiste à rassembler toutes les informations qui ont été collectées à ce niveau donné - à travers les interviews, la revue documentaire et les observations. L'équipe traite les indicateurs un par un. Chaque élément d'information collecté pour cet indicateur est présenté par la personne qui l'a collecté. Le président utilise un exemplaire vierge de l'outil (sur papier ou en version électronique) et le remplit avec chacun des éléments d'information présentés. Ces données devront en fin de compte être saisies dans le format de l'outil pour chaque niveau et feront partie du rapport final. Notez que pour des contraintes de temps, il peut être nécessaire de diviser ce travail entre deux équipes en donnant à chaque équipe ces données d'un niveau différent à résumer. Essayez de faire un niveau ensemble pour voir à quelle vitesse vous allez. Si vous divisez les forces, chaque équipe doit avoir les données de toutes les sources sur ce niveau à sa disposition. Chaque équipe présente ses résultats à l'autre pour vérification. 4.2 Notation de chaque indicateur Une fois que toutes les preuves ont été réunies pour un indicateur donné à un niveau donné, l'équipe prend une décision commune sur: 'Cela est-il bon pour la durabilité?'. La notation suivante est utilisée: Les indicateurs dans le Group 1 ont une modification de ce système comme suit: I t I Notation Signification Valeur Numérique Totalement Le critère est pleinement rempli / satisfait. 4 Très !q eft!èfe est presque rempli - il y a un petit déficit. J Moyennement Le critère est à moitié rempli environ 2 Légèrement Le critère est marginalement rempli 1 Pas du tout Le critère n'est pas (qlgq[gmpli. 0 Non applicable !g14itère n'est pas pertinq4!pour ce cas précis. l0 I I a* rt Pour la couverture Pour la couverture Projet de Kaduna : Autonomie au niveau de la "LGA" 4.3 Notation des groupes d'indicateurs Une fois que tous les indicateurs ont été notés par l'équipe, une note peut être facilement donnée pour chaque groupe d'indicateurs. Cela se fait en obtenant une moyenne mathématique - par exemple: Pour le groupe d'indicateurs de la'Planification' alt niveau District/ Adrninistratiort Locale ily a trois indicateurs. Supposez que les notes de ces trois sont 3, 3 et 2. La note générale de la'Planification'à ce niveau est donc (3+3+2)/3 : 2,7 Notez toutefois que la 'valeur numérique moyenne' n'est qu'une représentation des séries nl tf c o o E op o o. 4 3.5 3 2.5 2 1.5 1 0.5 0 ^.Q,ct' --o. \' .§ irâ ""t" ::-"1...:""""'::""."t Notation Valeur Numérique Totalement (100% de couverture) 4 Très (problème avec les nomades seulement) 3 Moyennement (quelques villages/ hameaux non couverts) 2 Ligèrement (beaucoup de villages/ hameaux non couverts) I Notation Valeur Numérique Totalement (>85% de couverture) 4 Très (75-84olo de couverture) 3 Moyennem ent (65 -7 4Yo de couverture) 2 Légèrement (moins de 65% de couverture) 1 ./ o"§ indicateurs de groupe De cette manière, les principaux domaines problématiques pour la durabilité apparaissent clairement. 4.4 Description orale des principaux résultats Après avoir noté un groupe d'indicateurs (ex: 'Leadership') le contenu factuel de ce groupe doit être résumé en un paragraphe. Les résultats aussi bien positifs que négatifs sont donnés de manière à ce que tous conviennent que la totalité des données est représentée. Le résultat de ce processus consiste en neufparagraphes de longueurs différentes. Notez que cela constitue une étape très importante de l'évaluation. L'exercice de notation indique les domaines où il y a une grande faiblesse - un squelette- alors que cette analyse produit la chair du rapport. Les recommandations qui suivent sont principalement basées sur cette analyse. 4.5 Recommandations Enfin, le groupe doit faire des recommandations sur les mesures que les projets et les pays doivent prendre pour atteindre I'autonomie. Ces recommandations sont faites pour chacun des quatre niveaux et doivent avoir les caractéristiques suivantes: . Elles doivent être strictement basées sur les résultats du travail de terrain. Elles portent sur les domaines de faible autonomie que l'étude n'a pas pris en compte. . Elles doivent être pratiques et réalisables: * Pour chaque recommandation, une suggestion doit être faite quant à la personne qui doit être responsable de sa mise en æuvre. * Pour chaque recommandation, un délai d'exécution doit être proposé. * Un ou plusieurs indicateurs de réalisation doivent être donnés pour chaque recommandation. . Un ordre de priorité doit être établi dans les recommandations comme suit: * HAUTE: Cette recommandation est très importante. Si elle n'est pas mise en æuvre, le projet ne pourra pas être maintenu. 'i MOYENNE: Cette recommandation est importante mais pas décisive. Son exécution renforcera cependant l'autonomie du projet. * Il ne doit exister aucune recommandation de FAIBLE priorité. 4.6 Notation de l'ensemble du projet Enfin, l'équipe doit noter le projet dans son ensemble, en termes d'autonomie. La réunion du groupe d'experts a estimé qu'il serait peut-être nécessaire de noter chaque projet pour les raisons suivantes: . Cela donne une idée immédiate de l'autonomie du projet dans son ensemble. . Cela donne une base par rapport à laquelle mesurer les progrès accomplis dans la réalisation de l'autonomie. t2 t aCette évaluation est faite en utilisant toutes les informations disponibles obtenues au cours de l'évaluation. Il est recommandé que les équipes résistent à l'envie d'affecter une valeur numérique à la durabilité d'un projet - la notation est une impression générale et non une note récapitulative mathématique des éléments individuels de la durabilité. En notant le projet dans son ensemble, il est important de garder à l'esprit qu'il y a un certain nombre d'éléments critiques de durabilité, sans lesquels il est peu probable qu'un projet quelconque puisse être autonome: ' L'Argent -ll doit y avoir des fonds suffisants disponibles pour entreprendre les tâches incontournables qui ont été minutieusement pensées et planifiées (minimum absolu d' activités résiduelles). ' Le Transport - des dispositions doivent être prises pour le remplacement et l'entretien des véhicules. Il doit y avoir une assurance minimale qu'un véhicule sera disponible pour des activités minimales essentielles. Notez qu'un 'véhicule' ne signifie pas obligatoirement une '4x4' ou même une'voiture'. ' Superviston -Le projet ne pourra pas vivre sans une mobilisation opportune et une supervision d' appui ciblée. . Approvisionnement en Mectizan -le système d'approvisionnement doit être fiable. Le minimum est que les médicaments arrivent en quantité suffisante obligatoirement dans les villages au moment choisi par les villageois. . Engagement Politique - effectivement montré par une connaissance du processus de TIDC chez les politiques (permettant un soutien tangible); et un sens d'appropriation du programme par la communauté. D'autres indicateurs restent importants et doivent être pris en compte avec les éléments critiques énumérés ci-dessus. Avec les éléments ci-dessus en toile de fond, le calendrier suivant peut être utilisé pour noter le projet dans son ensemble: 4,7 Les erreurs à éviter dans I'analyse Les domaines problématiques suivants ont été notés dans l'analyse des deux premiers projets: . L'analyse (et les recommandations) doivent sur centrer sur le fonctionnement du projet, et non sur sa durabilité. Niveau de durabilité Description Excellent Ce projet est complètement durable. Elevé Ce projet n'est pas loin d'être durable. Avec des critiques de l'équipe avant le départ, le personnel du projet doit être en mesure d'entreprendre les actions de redressement nécessaires. Moyen Ce projet a un potentiel de durabilité, mais il faudra le repenser et obtenir une mobilisation d'appui de haut niveau pour le remettre sur la bonne voie. Faible Ce projet est très peu durable- il y a un doute quant à la probabilité qu'il ne devienne jamais durable. Il a besoin de l'encadrement immédiat d'un expert. l3 IL'analyse pourrait être incomplète en ne prenant pas en compte des éléments importants des données de terrain. ' Les recommandations pourraient être superficielles, peu précises et peu réalistes. ' Parfois, les résultats à un niveau ne correspondaient pas à ceux d'unautre niveau. Le chef d'équipe doit s'assurer que ces erreurs sont évitées. t4 a5. Les ateliers de'restitution'/ ation Cet exercice d'évaluation vise à ancrer les projets sur la voie de I'autonomie. Cela signifie que l'équipe doit faire plus qu'évaluer - elle doit aussi mettre en branle un processus de planification, basé sur ses résultats. Cela est fait à travers deux ou plusieurs ateliers de'restitution' /planification qui doivent se tenir à chacun des niveaux où des décisions importantes sur le programme de TIDC sont prises. Ces ateliers visent les buts suivants: . Restitution Dans l'atelier, nous présentons les résultats de l'équipe d'évaluation à tous les agents et les figures politiques pertinents, qui ont une responsabilité dans le cadre du programme de TIDC. L'équipe doit les informer de ce qui s'est passé - elle doit leur présenter ses résultats. . Planification Nous devons aussi permettre au personnel du projet et aux politiques à ces niveaux de travailler ensemble pour élaborer un programme réaliste pour les prochaines années, sur la base des résultats de l'évaluation. Ce plan doit dans la mesure du possible, garantir la durabilité du propre programme TIDC des participants. Le processus décrit ci-dessous est basé sur l'expérience acquisejusqu'ici à travers les évaluations de Taraba et Kaduna. A partir d'elles, nous avons tiré les leçons suivantes: . Lapréparation des ateliers doit être faite par les directeurs de projet (Ministère et ONGD) et la personne qui a débtayé le terrain (l'éclaireur). Ils doivent inviter les participants à temps. Des lettres d'invitations doivent être envoyées aux personnes qui doivent participer, au moins une semaine avant l'atelier. . Des ateliers séparés sont tenus pour le niveau projet/ Etat, et le niveau district / ADMINISTRATION LOCALE. L'atelier au niveau supérieur est tenu en premier lieu étant donné qu'il familiarise le personnel à ce niveau avec le processus d'ateliers - qu'ils vont aider à animer le (s) jour (s) suivant (s) pour le niveau moyen. Les ateliers doivent être tenus au siège du projet. . Si l'on le juge nécessaire, un troisième atelier peut être tenu pour le niveau national. . Chaque atelier doit durer 7-8 heures. 5.3 L'atelier du niveau supérieur (projet/ Etat) Les suivantes doivent à cet atelier: Le programme de l'atelier est conçu pour atteindre les deux objectifs ci-dessus. Un modèle ae irogra*me est donné à I'Appendice 3. Ce programme peut être utilisé comme exemple, Du service public de santé: - Le responsable du projet/ SOC. - Les cadres chargés du projet (ex: Directeur de la section dans laquelle travaille le responsable du projet; Secrétaire permanent). - Agents de terrain mettant en cÊuwe le projet à ce niveau / SOCT. Des ONGD: le responsable détaché au projet.* * * Toute autre e a ce nrveau.àlacontribue I l5 a5.4 I mais il devra être évidemment ajusté selon les circonstances. D'autres détails sur le programme sont fournis au point 5.3 ci-dessous. Les membres de l'équipe d'évaluation jouent le rôle de facilitateurs dans cet atelier L'atelier du niveau moyen (intermédiaire) (district sanitaire/ ADMINISTRATION LOCALE) Les suivantes doivent à cet atelier: Un ou deux de ces ateliers peuvent être tenus - cela doit du nombre de personnes qui vont participer. Il est difficile de gérer un atelier s'il y a plus de 40 participants. Au Nigeria par exemple, un projet peut inclure jusqu'à 16 Administrations Locales, qui sont toutes invitées à envoyer 4-5 délégués. Dans une telle situation, il faut nécessairement organiser deux ateliers identiques pendant des journées consécutives. Une fois encore, le programme de l'atelier est conçu pour atteindre les deux objectifs donnés ci-dessus. Un exemple de programme figure à l'Appendice 4. Ce programme peut être utilisé comme exemple mais il devra évidemment être ajusté selon les circonstances. De plus amples détails sont donnés au point 5.3 ci-dessous. Notez en particulier que les ateliers à ce niveau nous donnent l'occasion de réunir d'autres informations importantes sur l'autonomie. Cela est dû au fait que nous pouvons rencontrer les districts sanitaires / qui n'avaient pas été inclus dans notre échantillon. Un questionnaire peut donc leur être administré à un moment de la journée. Un modèle de questionnaire figure à I'Appendice 2. Les données obtenues de cette manière doivent être utilisées pour réviser les résultats et les conclusions auxquels on avait abouti après la première analyse des données collectées pendant le travail de terrain. . Les facilitateurs de cet atelier sont: " L'équiped'évaluation * Les personnes qui ont participé à I'atelier du niveau supérieur 5.3 Commentaires généraux sur les ateliers Dans certaines situations, le district sanitaire et le projet sont les mêmes. Dans ce cas, un seul atelier doit être tenu. Il est important que I'atelier soit dirigé par une personne ayant de bonnes compétences en matière d'atelier- quelqu'un ayant l'expérience de la conduite des ateliers. Vous devez Du service public de santé: - L'équipe cadre chargée de la gestion du service de santé à ce niveau; y compris la personne chargée des programmes de lutte contre les maladies. - Le responsable du programme TIDC à ce niveau. Les autorités compétentes à ce niveau. * * * a ce ruveauToute autre contribue àla l6 I adésigner le membre de l'équipe le plus expérimenté dans ce domaine pour être responsable du programme de l'atelier. t1 aAppendice 5 Instructions détaillées pour les travaux de groupe dans les ateliers de « Restitution/ lanifïcation »> ITAC'HE r '. :'iElâ-borpr un plan pour le reste de I'année Il y a trois ÿpes d'activité que nous devons exécuter:l. Nous devons faire tout ce qui est nécessaire pour nous assurer que la distribution de cette année sera achevée avec succès. 2. Nous devons corriger les problèmes qui existent pendant qu'il nous reste des fonds supplémentaires pour le faire. 3. Nous devons entreprendre des activités qui vont mobiliser des ressources supplémentaires pour notre travail l'année prochaine étant donné que nous n'aurons plus les fonds de I'APOC en ce moment. Nous allons rédiger notre plan dans le format donné ci-dessous: TACHE 2: Elaboration d'un plan pour I'année prochaine Il y a deux ÿpes d'activités que nous devons exécuter: 1. Nous devons faire tout ce qui est nécessaire pour nous assurer que la distribution de cette année sera achevée avec succès. Nous aurons cependant moins d'argent et par conséquent les activités que nous prévoyons doivent aussi peu coûteuses que possible. 2. Encore une fois, nous devons entreprendre des activités qui vont mobiliser des ressources supplémentaires pour notre travail l'année prochaine. Nous rédigeons notre plan en utilisant le même format que ci-dessus. fnGnE:içÉætâÈîiation ile la'liste des ressources dont nous aurons bésoin r,dfiTiib ÉrôÈn;iiiô:r : Pour mener à bien notre prograrnme de travail pour 2003 nous devons avoir des ressources: personnel, transport, argent, fournitures de bureau etc. Nous devons réfléchir attentivement pour voir où nous pouvons obtenir ces ressources. Nous faisons une liste en utilisant le format suivant 3 No. Activité/ tâche (très précise) Pourquoi devons-nous faire cela? Qui doit exécuter la tâche? Quand la tâche doit- elle être exécutée? Quel résultat espérons-nous voir? 1 2. l8 No Le genre de ressources dont nous âvons besoin Où pouvons- nous obtenir ces ressources? Comment pouvons- nous obtenir ces ressources? A quel point sommes-nous sûrs d'obtenir ces ressources? 1 2. J l9 o at pendice 6 Prospectus sur la durabilité pour les ateliers de 6 restitution /planifTcation La durabilité - qu'est-ce que c'est? 'faire durer' quelque chose signifie 'la maintenir en état de marche' ou 's'assurer qu'elle continue âe fonctionner'. 'Autosuffisance' et'autonomie' Une organisation est 'autosuffisante' si elle compte sur ses propres ressources pour le travail qu'elle fait? Si cependant ses propres ressources ne sont pas suffisantes, l'organisation peut réussir à trouver des ressources de l'extérieur. Si ces ressources sont fiables, nous disons que l'organisation est 'autonome' - ce qui est acceptable pour les programmes TIDC. Eléments de durabilité Nous estimons que les projets seront plus durables si les éléments suivants sont présents: EfJicacité: les projets qui fonctionnent efficacement sont plus susceptibles d'être durables. Efficience: les projets gérés de manière rentable sont plus susceptibles d'être durables. Sintplictté: les projets qui ont des habitudes et des procédures peu compliquées sont plus susceptibles d'être durables. Intégration: les projets qui se sont intégrés dans Ia gestion habituelle des services de santé sont plus susceptibles d'être durables. Attttude: les projets sont plus susceptibles d'être durables si le personnel accepte le TIDC comme activité de routine qu'il continuera de mener même en l'absence d'une récompense matérielle supplémentaire; et s'il accepte qu'il doive adapter ses habitudes afin d'être plus efhcient. Ressources: les projets sont plus susceptibles d'être durables s'ils sont suffisamment de ressources (humaines, matérielles, financières) pour soutenir ce qu'ils tentent de faire. 20
tr, -rJ Programme Africain de Lutte contre l'Onchocercose (APOC) Groupe de Travail National de Lutte contre l'Onchocercose (GTNO) du Nigéria Deuxième Réunion des Représentants des GTNO Abuja, l7-22juin 2002 GUIDE POUR LA REALISATION D'UNE EVALUATION DE L'AUTONOMIE D'UN PROJET D'APOC DrR/APOC 04t06t02 (@, Organisation Mondiale de la SantéProgramme Africain de Lutte contre I'Onchocercose Original: Anglais Guide pour la réalisation d'une évaluation de l'autonomie d'un projet d'APOC Mai 2002 t Organisation Mondiale de la Santé Programme Africain de Lutte contre l'Onchocercose Directives pour la réalisation d'une évaluation de l'autonomie d'un projet d,APOC Richard Gibson Detlef Prozesky Eleuther Tarimo N{ai2002 Les auteurs voudraient remercier les personnes suivantes pour leurs commentaires et leurs contributions utiles: . Prof Oladele Akogun . Dr Edith Nnoruka . Dr Joseph Okeibunor r ÿ1. Chukwu Okoronkwo 23 Ces directives doivent être lues attentivement par tous les membres des équipes d'évaluation (en particulier les chefs d'équipe) avant le démarrage d'une évaluation. Elles comprennent les sections suivantes: 1. lnformations de base Préparation d'une mission d'évaluation 2.1 La mission de 'déblayage du terrain' Gestion d'une mission d'évaluation 3.1 Echantillonnage 3.2 Les séquences de la mission 3.3 Calendrier de la mission 3.4 Utilisation de l'Outil sur le terrain 3.5 Données tirées de la revue documentaire Analyse des données collectées et recommandations 4.1 Résumé des données de terrain 4.2 Notation de chaque indicateur 4.3 Notation des groupes d'indicateurs 4.4 Description orale des principaux résultats 4.5 Recommandations 4.6 Notation de l'ensemble du projet 4.7 Les erreurs à éviter dans l'analyse Les ateliers de 'restitution' /planification 5.1 L'atelier au niveau supérieur (projet/Etat) 5.2 L'atelier au niveau intermédiaire (district sanitaire/ ADMINISTRATION LOCALE) 5.3 Commentaires généraux sur les ateliers 6. Rédaction du rapport 4 5 Appendice I Appendice 2 Appendice3 Appendice 4 Appendice 5 Appendice 6 Informations destinées aux personnes à interviewer Questionnaire pour le personnel de district sanitaire / ADMINISTRATION LOCALE participant aux ateliers de'restitution'/planification Programme d'ateliers de'restitution'/planification avec l'équipe du projet/nationale Programme d'ateliers de 'restitution'/planification avec l'équipe de district sanitaire /de LAG Instructions détaillées pour les travaux de groupe dans les ateliers de ' restitution'/planification Prospectus sur la durabilité pour les ateliers de 'restitution'/planification 2 I Informations de base Que signifie le terme'durabilité'? Nous entendons par 'durabilité' la probabilité qu'un projet continuera de fonctionner efficacement après que le soutien d'APOC soit venu à son terme. Deux autres concepts font partie de la'durabilité: * AutosufJisance: la capacité d'un projet de continuer à fonctionner efficacement, en utilisant seulement les ressources générées à I'intérieur du pays lui-même. * Autonomie; la capacité d'un projet de continuer à fonctionner efficacement en utilisant aussi bien ses propres ressources que celles fournies de l'extérieur - à condition que ces dernières soient fiables. Dans cet exercice, nous allons utiliser I'autonomie comme concept directeur. Aspects de la durabilité Nous pensons que les projets seront plus durables si les aspects suivants existent: * EfJicacité: Ies projets qui fonctionnent efficacement sont plus susceptibles d'être durables. * EfJicience: les projets gérés de manière rentable sont plus susceptibles d'être durables. * Simplicité: les projets qui ont des habitudes et des procédures peu compliquées sont plus susceptibles d'être durables. * Intégration: les projets qui se sont intégrés dans la gestion habituelle des services de santé sont plus susceptibles d'être durables. * Attitude: les projets sont plus susceptibles d'être durables si le personnel accepte le TIDC comme activité de routine qu'il continuera de mener même en l'absence d'une récompense matérielle supplémentaire; et s'il accepte qu'il doive adapter ses habitudes afin d'être plus efficient. * Ressources: les projets sont plus susceptibles d'être durables s'ils sont suffisamment de ressources (humaines, matérielles, financières) pour soutenir ce qu'ils tentent de faire. Vous noterez que les différents indicateurs de l'autonomie incluent ces éléments. Les trois derniers groupes d'indicateurs en particulier portent I'aspect 'Ressources'. Niveaux d'autonomie Nous allons évaluer l'autonomie à quatre niveaux, dans l'organisation des services de santé des pays concernés: A Sièee National du Ministère de la Santé Utilisez l'Outil no.1 B Province/ région/ Etat - un groupe de districts sanitaires C District sanitaire/ administration locale Utilisez l'Outil no.2 J I ID Sous-D istrict sanitaire/ formation sanitaire de première ligne Utilisez l'Outil no.3 E Villaee/ communauté Utilisez I'Outil no.4 Veuillez noter que la situation de ces niveaux varie d'un pays à I'autre: * Le niveau A est évidemment commun à tous les projets de ce pays. Il doit être évalué par lui-même en ce qui concerne son autonomie. Au Nigeria, ce niveau a des 'composantes' aussi bien 'Fédérales' que 'de zoîe'. * Nous évaluons les projets eux-mêmes aux niveaux B à E. Dans certains pays, le projet est basé au niveau B, dans d'autres, au niveau C. Dans le dernier cas, il peut ne pas y avoir de niveau B. Le plus important est de collecter des informations à chaque niveau du service de santé, là où le TIDC se déroule. * Nous avons élaboré 4 Outils de collecte de données sur I'autonomie. Le tableau ci-dessus montre quel Outil utiliser à chaque niveau. Indicateurs d' autonomie Ces indicateurs ont été choisis par l'équipe qui s'est réunie à Ouagadougou et tous figurent dans I'Outil. lls se regroupent en 9 catégories. Ces catégories portent sur: * Les résultats atteints dans le projet (1 groupe d'indicateurs) * Les activités de routine qui produisent les résultats (5 groupes d'indicateurs) * Les ressources fournies pour ces activités à mener (3 groupes d'indicateurs). Cela donne les groupes d'indicateurs suivants aux quatre niveaux: Niveau de fonctionnement Groupes d'indicateurs Siège/ province/ région/ Etat District /ADMI NISTR ATION LOCA LE, Sous- district/ Structure de première ligne Village/ Communaut é 1. Couverture t t t t Indtcateur s des résultats atteints 2. Planification t t. t l Indicateur s des activités favorables au TIDC 3. Fourniture de leadership t I t t 4. Supervision et SUIVI t t t t 5. Obtention et distribution du Mectizan t t t t 6. Formation et sensibilisatiorÿ mobilisation t t t t 4 7. Financement/ fonds t t t t Indicateur s des ressources fournies 8. Transport et autres ressources matérielles t t t t 9. Ressources humaines t t t t 5 a3. Gestion de la mission d'évaluation 3.1 Echantillonnage L'échantillonnage est fait de manière délibérée et non au hasard. La raison en est qu'un échantillon prélevé au hasard sur une petite population peut être facilement peu représentatif. Nous utilisons les critères suivants: ' Le crttère prtmatre estla couverture (géographique et thérapeutique). Cela parce qu'il s'agit d'une mesure de la perfo[nance de l'ensemble du système - et c'est l'autonomie de ce système que nous sommes en train d'évaluer. . Les critères secondatres suivants sont aussi pris en compte: * L'Endémicité: veiller dans la mesure du possible, à ce que l'échantillon comprenne aussi bien des zones hyper endémiques que des zones méso-endémiques (plus ou moins dans la même proportion que les résultats de REMO delazone de projet). * Etendue géographique: s'assurer dans la mesure du possible que l'échantillon inclut des zones qui représentent les différentes zones où le projet travaille et les communautés proches des villes et certaines qui sont isolées. Pour les projets comprenant beaucoup de districts/ Administrations locales (ex: le Nigeria) ' Pour chaque projet, vous échantillonnez au moins trois districts ( un district ayant une bonne couverture, un ayant une couverture moyenne et un ayant une faible couverture). . Pour chaque district/ ADMINISTRATION LOCALE, vous échantillonnez deux sous- districts (un sous-district ayant une bonne couverture, un ayant une faible couverture) . Pour chaque sous-district, vous échantillonnez deux villages (un village ayant une bonne couverture; un ayant une faible couverture). Pour les projets comprenant 1-2 districts (ex: L'Ouganda) . Pour chaque projet, vous échantillonnez l'un ou les deux districts. . S'il y a un seul district: * Vous échantillonnez quatre sous-districts (un sous-district ayant une bonne couverture, deux ayant une couverture moyenne et un ayant une faible couverture). * Pour chaque sous-district, vous échantillonnez deux villages (un village ayant une bonne couverture et un ayant une faible couverture) . S'tl y a deux districts: * Vous échantillonnez trois sous-districts dans chacun d'eux (un sous-district ayant une bonne couverture, un ayant une couverture moyenne et un ayant une faible couverture). * Pour chaque sous-district vous échantillonnez deux villages (un ayant une bonne couverture et un ayant une faible couverture) Dans tous ces deux exemples, vous vous efforcez de remplir les critères secondaires. Cela signifie que s'il y a deux éléments ayantplus ou moins la même couverture, vous choisissez entre les deux de sorte que l'ensemble de l'échantillon remplisse les critères secondaires. 6 aEtant donné que nous avons peu de temps pour faire le travail de terrain, nous devons aussi tenir compte de I'accessibilité et du caractère pratique des échantillons à choisir. S'il y a deux ou plusieurs zones qui se ressemblent beaucoup, nous choisissons celle qui est la plus facile à atteindre. 3.2 Les séquences de la mission Les membres de l'équipe de déplacent sur le site du siège du projet, arrivent un samedi avant que le travail de terrain ne commence (le lundi suivant). Ils doivent se familiariser avec les documents suivants avant leur arrivée: * Le présent document sur les 'directives'. * Les quatre Outils. * Le calendrier provisoire. Ces documents seront envoyés par courrier électronique à chaque membre de l'équipe. a I I L'équipe passe le dimanche à planifier le travail à faire. Elle lit les directives et les Outils en même temps, ajuste le calendrier provisoire en cas de besoin et forme les équipes qui feront le travail de terrain. Les sorties sur le terrain commencent à partir de lundi et durent jusqu'au vendredi: * Les données du projet sont collectées à tous les niveaux, sur les sites échantillonnés. * Le bureau du NOCP au Ministère doit aussi être évalué. Ce bureau sert tous les projets dans le pays et doit donc être évalué une fois. Cette évaluation sera le travail de la première équipe d'évaluation qui visitera ce pays. Ils doivent mettre en place une petite équipe qui retoumera au Ministère à un moment donné pendant la première ou la deuxième semaine pour faire la collecte des données nécessaires (interviews et rewe documentaire). Notez que ce rapport est rédigé séparément (sauf dans les pays ayant un seul projet, où il fera partie du rapport du projet). Le week-end suivant est consacré au travail suivant: * Analyse des données collectées systématiquement - en tirant les conclusions nécessaires et en faisant des recommandations. * Rédaction du projet de rapport. * Planification des ateliers de 'restitution'/planification du lundi au mercredi. Du lundi au mercredi de la deuxième semaine, les ateliers de 'restitution'/planification sont tenus: * Lundi: atelier pour le niveau projet * Mardi et mercredi: ateliers pour le niveau district sanitaire/ Administration Locale. Il ne s'agit pas d'avoir trop de participants à un atelier, sinon l'atelier devient difficile à gérer. Donc si le projet a beaucoup de districts sanitaires/ /Administration Locales, la moitié de ceux-ci sera invitée à participer le mardi et I'autre moitié le mercredi. Il est important de noter que l'équipe d'évaluation aura une meilleure perception des choses pendant ces ateliers, qu'il n'a pas eue pendant le travail de terrain. Ces informations supplémentaires devront être prises en compte dans I'analyse des données car elles peuvent bien influencer les recommandations que l'équipe va faire. 1 aI :t :t Tout au long de [a mission, nous recommandons que l'équipe se réunisse chaque soir pour discuter de l'état d'avancement de la journée et des problèmes rencontrés et planifier les travaux de la journée suivante. Le dernier soir, l'équipe évalue l'ensemble du processus d'évaluation et fait des recommandations sur les futures recommandations. Celles-ci sont transmises à tous les membres de l'équipe centrale (y compris Dr Amazigo). Un autre aspect important de la mission est d'ordre politique. Il s'agit du plaidoyer auprès des décideurs aux niveaux local et national. Le fait est que pour que les projets soient soutenus, ils auront besoin de contributions régulières et financières substantielles de la part du Ministère de la Santé etlou de l'administration locale. Les étrangers sont souvent en mesure de dire cette vérité évidente avec plus d'autorité que les agents locaux. Chaque équipe doit donc rendre une visite de courtoisie aux fonctionnaires compétents et aux dirigeants politiques vers la fin de la mission. Les membres de l'équipe doivent essayer d'aller au niveau le plus haut possible: chez le Ministre de la Santé elle/lui-même ou le gouverneur de l'Etat (au Nigeria). Le point à mettre en exergue pendant ces visites est le suivant: le Ministère comporte en son sein un projet qui fonctionne vraiment bien; une somme d'argent relativement petite lui permeffra de continuer à marcher; et si on ne le finance pas, cela signifiera le retour à la misère pour des milliers de personnes. I 3.3 Calendrier de la mission Nous proposons que vous passiez [ 1 jours à chaque projet - Nous avons trouvé à Taraba (la deuxième évaluation, après l'essai à Kaduna) que cela était suffisant. Vous serez six dans chaque équipe. Vous devez vous diviser en trois équipes - Appelons-les [, II et II[: Equipe I: Elle doit comprendre le chef d'équipe et quelqu'un d'autre. Cette équipe doit travailler avec le personnel au niveau du Ministère (au cas où il s'agirait de la première évaluation dans ce pays). A la fin de sa tache, il /elle rejoint les autres équipes pour le travail au niveau district. Equipes II et III: Deux personnes chacune, avec un mélange d'expertises et d'expériences. Voici un calendrier éventuel Samedi Jour de voyage - toutes les équipes vont voyager pour aller au siège du proiet Dimanche Journée d'Orientation au siège du projet Lundi Toutes les équipes: visites de courtoisie au Minsan et à la direction des ONGD Equipe I: collecte des données au siège du projet (Minsan et ONGD) Equipes II et III: collecte des données sur le terrain: au niveau district sanitaire/ ADMINISTRATION LOCALE et au-dessous Mardi collecte des données aua @ipell 8 T rl Mercredi Jeudi Toutes les équipes: collecte des dorurées sur le terrain: au niveau district sanitaire / ADMINISTRATION LOCALE et au-dessous Au cas où cela serait la première mission à ce pays, I'Equipe I se rend au Ministère pour collecter les données pour le niveau national Vendredi Tqutqs les équipes: retro information aux districts sanitaires/ Administrations Locales visités Samedi- Dimanche Toutes les équipes: . analyse des données, élaboration des recommandations, rédaction du projet de rapport . planification des prochains ateliers de'restitution'/planification Lundi Atelier de 'restitution'/ planification pour le niveau proJ Mardi Atelier de 'restitution'/planification pour le niveau district / Administration Locale (premier cycle) Mercredi Atelier de 'restitution'/planification pour le niveau district / Administration Locale (deuxième cycle, en cas de besoin) Jeudi Départ à la maison Vous aurez certainement besoin d'adapter ce calendrier selon les spécificités de chaque situation. * Le nombre de visites et d'interviews qu'une équipe peut gérer par jour variera certainement d'un pays à l'autre et d'un projet à I'autre. * Notez encore que dans chaque pays, une seule visite est rendue au Ministère. Cela signifie que s'il y a deux ou plusieurs projets à évaluer dans un pays, le niveau Siège devra être évalué pendant l'une de ces deux missions d'évaluation. Les informations obtenues là-bas seront ensuite mises à la disposition de l'équipe de la deuxième mission d'évaluation 9 4. des données collectées et recommandations Toute l'équipe se réunit pour analyser les données. Cela se passe surtout le samedi et le dimanche, mais peut commencer plus tôt, dans les soirées au cours de la semaine. Le chef d'équipe préside les discussions. Les collègues venus du projet doivent être encouragés à être présents. Le processus ci-après est suivi: 4.1 Résumé des données de terrain I Vous faites l'analyse pour chaque niveau à la fois. La première étape consiste à rassembler toutes les informations qui ont été collectées à ce niveau donné - à travers les interviews, la revue documentaire et les observations. L'équipe traite les indicateurs un par un. Chaque élément d'information collecté pour cet indicateur est présenté par la personne qui l'a collecté. Le président utilise un exemplaire vierge de l'outil (sur papier ou en version électronique) et le remplit avec chacun des éléments d'information présentés. Ces données devront en fin de compte être saisies dans le format de l'outil pour chaque niveau et feront partie du rapport final. Notez que pour des contraintes de temps, il peut être nécessaire de diviser ce travail entre deux équipes en donnant à chaque équipe ces données d'un niveau différent à résumer. Essayez de faire un niveau ensemble pour voir à quelle vitesse vous allez. Si vous divisez les forces, chaque équipe doit avoir les données de toutes les sources sur ce niveau à sa disposition. Chaque équipe présente ses résultats à l'autre pour vérification. 4.2 Notation de chaque indicateur Une fois que toutes les preuves ont été réunies pour un indicateur donné à un niveau donné, l'équipe prend une décision commune sur: 'Cela est-il bon pour la durabilité?'. La notation suivante est utilisée: Les indicateurs dans le Group 1 ont une modification de ce système comme suit: I t I Notation Signification Valeur Numérique Totalement Le critère est pleinement rempli / satisfait. 4 Très !q eft!èfe est presque rempli - il y a un petit déficit. J Moyennement Le critère est à moitié rempli environ 2 Légèrement Le critère est marginalement rempli 1 Pas du tout Le critère n'est pas (qlgq[gmpli. 0 Non applicable !g14itère n'est pas pertinq4!pour ce cas précis. l0 I I a* rt Pour la couverture Pour la couverture Projet de Kaduna : Autonomie au niveau de la "LGA" 4.3 Notation des groupes d'indicateurs Une fois que tous les indicateurs ont été notés par l'équipe, une note peut être facilement donnée pour chaque groupe d'indicateurs. Cela se fait en obtenant une moyenne mathématique - par exemple: Pour le groupe d'indicateurs de la'Planification' alt niveau District/ Adrninistratiort Locale ily a trois indicateurs. Supposez que les notes de ces trois sont 3, 3 et 2. La note générale de la'Planification'à ce niveau est donc (3+3+2)/3 : 2,7 Notez toutefois que la 'valeur numérique moyenne' n'est qu'une représentation des séries nl tf c o o E op o o. 4 3.5 3 2.5 2 1.5 1 0.5 0 ^.Q,ct' --o. \' .§ irâ ""t" ::-"1...:""""'::""."t Notation Valeur Numérique Totalement (100% de couverture) 4 Très (problème avec les nomades seulement) 3 Moyennement (quelques villages/ hameaux non couverts) 2 Ligèrement (beaucoup de villages/ hameaux non couverts) I Notation Valeur Numérique Totalement (>85% de couverture) 4 Très (75-84olo de couverture) 3 Moyennem ent (65 -7 4Yo de couverture) 2 Légèrement (moins de 65% de couverture) 1 ./ o"§ indicateurs de groupe De cette manière, les principaux domaines problématiques pour la durabilité apparaissent clairement. 4.4 Description orale des principaux résultats Après avoir noté un groupe d'indicateurs (ex: 'Leadership') le contenu factuel de ce groupe doit être résumé en un paragraphe. Les résultats aussi bien positifs que négatifs sont donnés de manière à ce que tous conviennent que la totalité des données est représentée. Le résultat de ce processus consiste en neufparagraphes de longueurs différentes. Notez que cela constitue une étape très importante de l'évaluation. L'exercice de notation indique les domaines où il y a une grande faiblesse - un squelette- alors que cette analyse produit la chair du rapport. Les recommandations qui suivent sont principalement basées sur cette analyse. 4.5 Recommandations Enfin, le groupe doit faire des recommandations sur les mesures que les projets et les pays doivent prendre pour atteindre I'autonomie. Ces recommandations sont faites pour chacun des quatre niveaux et doivent avoir les caractéristiques suivantes: . Elles doivent être strictement basées sur les résultats du travail de terrain. Elles portent sur les domaines de faible autonomie que l'étude n'a pas pris en compte. . Elles doivent être pratiques et réalisables: * Pour chaque recommandation, une suggestion doit être faite quant à la personne qui doit être responsable de sa mise en æuvre. * Pour chaque recommandation, un délai d'exécution doit être proposé. * Un ou plusieurs indicateurs de réalisation doivent être donnés pour chaque recommandation. . Un ordre de priorité doit être établi dans les recommandations comme suit: * HAUTE: Cette recommandation est très importante. Si elle n'est pas mise en æuvre, le projet ne pourra pas être maintenu. 'i MOYENNE: Cette recommandation est importante mais pas décisive. Son exécution renforcera cependant l'autonomie du projet. * Il ne doit exister aucune recommandation de FAIBLE priorité. 4.6 Notation de l'ensemble du projet Enfin, l'équipe doit noter le projet dans son ensemble, en termes d'autonomie. La réunion du groupe d'experts a estimé qu'il serait peut-être nécessaire de noter chaque projet pour les raisons suivantes: . Cela donne une idée immédiate de l'autonomie du projet dans son ensemble. . Cela donne une base par rapport à laquelle mesurer les progrès accomplis dans la réalisation de l'autonomie. t2 t aCette évaluation est faite en utilisant toutes les informations disponibles obtenues au cours de l'évaluation. Il est recommandé que les équipes résistent à l'envie d'affecter une valeur numérique à la durabilité d'un projet - la notation est une impression générale et non une note récapitulative mathématique des éléments individuels de la durabilité. En notant le projet dans son ensemble, il est important de garder à l'esprit qu'il y a un certain nombre d'éléments critiques de durabilité, sans lesquels il est peu probable qu'un projet quelconque puisse être autonome: ' L'Argent -ll doit y avoir des fonds suffisants disponibles pour entreprendre les tâches incontournables qui ont été minutieusement pensées et planifiées (minimum absolu d' activités résiduelles). ' Le Transport - des dispositions doivent être prises pour le remplacement et l'entretien des véhicules. Il doit y avoir une assurance minimale qu'un véhicule sera disponible pour des activités minimales essentielles. Notez qu'un 'véhicule' ne signifie pas obligatoirement une '4x4' ou même une'voiture'. ' Superviston -Le projet ne pourra pas vivre sans une mobilisation opportune et une supervision d' appui ciblée. . Approvisionnement en Mectizan -le système d'approvisionnement doit être fiable. Le minimum est que les médicaments arrivent en quantité suffisante obligatoirement dans les villages au moment choisi par les villageois. . Engagement Politique - effectivement montré par une connaissance du processus de TIDC chez les politiques (permettant un soutien tangible); et un sens d'appropriation du programme par la communauté. D'autres indicateurs restent importants et doivent être pris en compte avec les éléments critiques énumérés ci-dessus. Avec les éléments ci-dessus en toile de fond, le calendrier suivant peut être utilisé pour noter le projet dans son ensemble: 4,7 Les erreurs à éviter dans I'analyse Les domaines problématiques suivants ont été notés dans l'analyse des deux premiers projets: . L'analyse (et les recommandations) doivent sur centrer sur le fonctionnement du projet, et non sur sa durabilité. Niveau de durabilité Description Excellent Ce projet est complètement durable. Elevé Ce projet n'est pas loin d'être durable. Avec des critiques de l'équipe avant le départ, le personnel du projet doit être en mesure d'entreprendre les actions de redressement nécessaires. Moyen Ce projet a un potentiel de durabilité, mais il faudra le repenser et obtenir une mobilisation d'appui de haut niveau pour le remettre sur la bonne voie. Faible Ce projet est très peu durable- il y a un doute quant à la probabilité qu'il ne devienne jamais durable. Il a besoin de l'encadrement immédiat d'un expert. l3 IL'analyse pourrait être incomplète en ne prenant pas en compte des éléments importants des données de terrain. ' Les recommandations pourraient être superficielles, peu précises et peu réalistes. ' Parfois, les résultats à un niveau ne correspondaient pas à ceux d'unautre niveau. Le chef d'équipe doit s'assurer que ces erreurs sont évitées. t4 a5. Les ateliers de'restitution'/ ation Cet exercice d'évaluation vise à ancrer les projets sur la voie de I'autonomie. Cela signifie que l'équipe doit faire plus qu'évaluer - elle doit aussi mettre en branle un processus de planification, basé sur ses résultats. Cela est fait à travers deux ou plusieurs ateliers de'restitution' /planification qui doivent se tenir à chacun des niveaux où des décisions importantes sur le programme de TIDC sont prises. Ces ateliers visent les buts suivants: . Restitution Dans l'atelier, nous présentons les résultats de l'équipe d'évaluation à tous les agents et les figures politiques pertinents, qui ont une responsabilité dans le cadre du programme de TIDC. L'équipe doit les informer de ce qui s'est passé - elle doit leur présenter ses résultats. . Planification Nous devons aussi permettre au personnel du projet et aux politiques à ces niveaux de travailler ensemble pour élaborer un programme réaliste pour les prochaines années, sur la base des résultats de l'évaluation. Ce plan doit dans la mesure du possible, garantir la durabilité du propre programme TIDC des participants. Le processus décrit ci-dessous est basé sur l'expérience acquisejusqu'ici à travers les évaluations de Taraba et Kaduna. A partir d'elles, nous avons tiré les leçons suivantes: . Lapréparation des ateliers doit être faite par les directeurs de projet (Ministère et ONGD) et la personne qui a débtayé le terrain (l'éclaireur). Ils doivent inviter les participants à temps. Des lettres d'invitations doivent être envoyées aux personnes qui doivent participer, au moins une semaine avant l'atelier. . Des ateliers séparés sont tenus pour le niveau projet/ Etat, et le niveau district / ADMINISTRATION LOCALE. L'atelier au niveau supérieur est tenu en premier lieu étant donné qu'il familiarise le personnel à ce niveau avec le processus d'ateliers - qu'ils vont aider à animer le (s) jour (s) suivant (s) pour le niveau moyen. Les ateliers doivent être tenus au siège du projet. . Si l'on le juge nécessaire, un troisième atelier peut être tenu pour le niveau national. . Chaque atelier doit durer 7-8 heures. 5.3 L'atelier du niveau supérieur (projet/ Etat) Les suivantes doivent à cet atelier: Le programme de l'atelier est conçu pour atteindre les deux objectifs ci-dessus. Un modèle ae irogra*me est donné à I'Appendice 3. Ce programme peut être utilisé comme exemple, Du service public de santé: - Le responsable du projet/ SOC. - Les cadres chargés du projet (ex: Directeur de la section dans laquelle travaille le responsable du projet; Secrétaire permanent). - Agents de terrain mettant en cÊuwe le projet à ce niveau / SOCT. Des ONGD: le responsable détaché au projet.* * * Toute autre e a ce nrveau.àlacontribue I l5 a5.4 I mais il devra être évidemment ajusté selon les circonstances. D'autres détails sur le programme sont fournis au point 5.3 ci-dessous. Les membres de l'équipe d'évaluation jouent le rôle de facilitateurs dans cet atelier L'atelier du niveau moyen (intermédiaire) (district sanitaire/ ADMINISTRATION LOCALE) Les suivantes doivent à cet atelier: Un ou deux de ces ateliers peuvent être tenus - cela doit du nombre de personnes qui vont participer. Il est difficile de gérer un atelier s'il y a plus de 40 participants. Au Nigeria par exemple, un projet peut inclure jusqu'à 16 Administrations Locales, qui sont toutes invitées à envoyer 4-5 délégués. Dans une telle situation, il faut nécessairement organiser deux ateliers identiques pendant des journées consécutives. Une fois encore, le programme de l'atelier est conçu pour atteindre les deux objectifs donnés ci-dessus. Un exemple de programme figure à l'Appendice 4. Ce programme peut être utilisé comme exemple mais il devra évidemment être ajusté selon les circonstances. De plus amples détails sont donnés au point 5.3 ci-dessous. Notez en particulier que les ateliers à ce niveau nous donnent l'occasion de réunir d'autres informations importantes sur l'autonomie. Cela est dû au fait que nous pouvons rencontrer les districts sanitaires / qui n'avaient pas été inclus dans notre échantillon. Un questionnaire peut donc leur être administré à un moment de la journée. Un modèle de questionnaire figure à I'Appendice 2. Les données obtenues de cette manière doivent être utilisées pour réviser les résultats et les conclusions auxquels on avait abouti après la première analyse des données collectées pendant le travail de terrain. . Les facilitateurs de cet atelier sont: " L'équiped'évaluation * Les personnes qui ont participé à I'atelier du niveau supérieur 5.3 Commentaires généraux sur les ateliers Dans certaines situations, le district sanitaire et le projet sont les mêmes. Dans ce cas, un seul atelier doit être tenu. Il est important que I'atelier soit dirigé par une personne ayant de bonnes compétences en matière d'atelier- quelqu'un ayant l'expérience de la conduite des ateliers. Vous devez Du service public de santé: - L'équipe cadre chargée de la gestion du service de santé à ce niveau; y compris la personne chargée des programmes de lutte contre les maladies. - Le responsable du programme TIDC à ce niveau. Les autorités compétentes à ce niveau. * * * a ce ruveauToute autre contribue àla l6 I adésigner le membre de l'équipe le plus expérimenté dans ce domaine pour être responsable du programme de l'atelier. t1 aAppendice 5 Instructions détaillées pour les travaux de groupe dans les ateliers de « Restitution/ lanifïcation »> ITAC'HE r '. :'iElâ-borpr un plan pour le reste de I'année Il y a trois ÿpes d'activité que nous devons exécuter:l. Nous devons faire tout ce qui est nécessaire pour nous assurer que la distribution de cette année sera achevée avec succès. 2. Nous devons corriger les problèmes qui existent pendant qu'il nous reste des fonds supplémentaires pour le faire. 3. Nous devons entreprendre des activités qui vont mobiliser des ressources supplémentaires pour notre travail l'année prochaine étant donné que nous n'aurons plus les fonds de I'APOC en ce moment. Nous allons rédiger notre plan dans le format donné ci-dessous: TACHE 2: Elaboration d'un plan pour I'année prochaine Il y a deux ÿpes d'activités que nous devons exécuter: 1. Nous devons faire tout ce qui est nécessaire pour nous assurer que la distribution de cette année sera achevée avec succès. Nous aurons cependant moins d'argent et par conséquent les activités que nous prévoyons doivent aussi peu coûteuses que possible. 2. Encore une fois, nous devons entreprendre des activités qui vont mobiliser des ressources supplémentaires pour notre travail l'année prochaine. Nous rédigeons notre plan en utilisant le même format que ci-dessus. fnGnE:içÉætâÈîiation ile la'liste des ressources dont nous aurons bésoin r,dfiTiib ÉrôÈn;iiiô:r : Pour mener à bien notre prograrnme de travail pour 2003 nous devons avoir des ressources: personnel, transport, argent, fournitures de bureau etc. Nous devons réfléchir attentivement pour voir où nous pouvons obtenir ces ressources. Nous faisons une liste en utilisant le format suivant 3 No. Activité/ tâche (très précise) Pourquoi devons-nous faire cela? Qui doit exécuter la tâche? Quand la tâche doit- elle être exécutée? Quel résultat espérons-nous voir? 1 2. l8 No Le genre de ressources dont nous âvons besoin Où pouvons- nous obtenir ces ressources? Comment pouvons- nous obtenir ces ressources? A quel point sommes-nous sûrs d'obtenir ces ressources? 1 2. J l9 o at pendice 6 Prospectus sur la durabilité pour les ateliers de 6 restitution /planifTcation La durabilité - qu'est-ce que c'est? 'faire durer' quelque chose signifie 'la maintenir en état de marche' ou 's'assurer qu'elle continue âe fonctionner'. 'Autosuffisance' et'autonomie' Une organisation est 'autosuffisante' si elle compte sur ses propres ressources pour le travail qu'elle fait? Si cependant ses propres ressources ne sont pas suffisantes, l'organisation peut réussir à trouver des ressources de l'extérieur. Si ces ressources sont fiables, nous disons que l'organisation est 'autonome' - ce qui est acceptable pour les programmes TIDC. Eléments de durabilité Nous estimons que les projets seront plus durables si les éléments suivants sont présents: EfJicacité: les projets qui fonctionnent efficacement sont plus susceptibles d'être durables. Efficience: les projets gérés de manière rentable sont plus susceptibles d'être durables. Sintplictté: les projets qui ont des habitudes et des procédures peu compliquées sont plus susceptibles d'être durables. Intégration: les projets qui se sont intégrés dans Ia gestion habituelle des services de santé sont plus susceptibles d'être durables. Attttude: les projets sont plus susceptibles d'être durables si le personnel accepte le TIDC comme activité de routine qu'il continuera de mener même en l'absence d'une récompense matérielle supplémentaire; et s'il accepte qu'il doive adapter ses habitudes afin d'être plus efhcient. Ressources: les projets sont plus susceptibles d'être durables s'ils sont suffisamment de ressources (humaines, matérielles, financières) pour soutenir ce qu'ils tentent de faire. 20