Organisation mondiale de la santé (OMS) · Technical Documents

Mesurer la disponibilité et la capacité opérationnelle des services (SARA): un outil d'évaluation des établissements de santé : guide pratique

24 août 2015 Organisation mondiale de la santé

Le texte intégral est hébergé par l’organisation qui le publie. lawenc.com indexe les métadonnées et renvoie vers la source officielle.

Texte intégral

HEALTH FACILITY ASSESSMENT OF SERVICE AVAILABILITY AND READINESS

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) Un outil d’évaluation des établissements de santé

Guide pratique

WHO/HIS/HSI/2015.5

© Organisation mondiale de la Santé 2015 Tous droits réservés. Les publications de l’Organisation mondiale de la Santé sont disponibles sur le site Web de l'OMS (www.who.int) ou peuvent être achetées auprès des Editions de l'OMS, Organisation mondiale de la Santé, 20 avenue Appia, 1211 Genève 27 (Suisse) (téléphone : +41 22 791 3264 ; télécopie : +41 22 791 4857 ; courriel : bookorders@who.int . Les demandes relatives à la permission de reproduire ou de traduire des publications de l’OMS – que ce soit pour la vente ou une diffusion non commerciale – doivent être envoyées aux Editions de l'OMS via le site Web de l'OMS à l'adresse http://www.who.int/about/licensing/copyright_form/en/index.html Les appellations employées dans la présente publication et la présentation des données qui y figurent n’impliquent de la part de l’Organisation mondiale de la Santé aucune prise de position quant au statut juridique des pays, territoires, villes ou zones, ou de leurs autorités, ni quant au tracé de leurs frontières ou limites. Les traits discontinus formés d’une succession de points ou de tirets sur les cartes représentent des frontières approximatives dont le tracé peut ne pas avoir fait l'objet d'un accord définitif. La mention de firmes et de produits commerciaux ne signifie pas que ces firmes et ces produits commerciaux sont agréés ou recommandés par l’Organisation mondiale de la Santé, de préférence à d’autres de nature analogue. Sauf erreur ou omission, une majuscule initiale indique qu’il s’agit d’un nom déposé. L’Organisation mondiale de la Santé a pris toutes les précautions raisonnables pour vérifier les informations contenues dans la présente publication. Toutefois, le matériel publié est diffusé sans aucune garantie, expresse ou implicite. La responsabilité de l'interprétation et de l'utilisation dudit matériel incombe au lecteur. En aucun cas, l'Organisation mondiale de la Santé ne saurait être tenue responsable des préjudices subis du fait de son utilisation. Crédits photographiques pour la couverture: OMS/Evelyn Hockstein

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) Un outil d’évaluation des services de santé

Guide pratique

Version 2.2 Septembre 2015

Remerciements La méthodologie d’évaluation de la disponibilité et de la capacité opérationnelle des services (SARA) a été élaborée dans le cadre d’une collaboration entre l’Organisation mondiale de la Santé (OMS) et l’Agence des États-Unis pour le développement international (USAID). Cette méthodologie se fonde sur les approches antérieures et actuelles conçues pour l’évaluation de la prestation des services, notamment l’outil de Cartographie des services disponibles (SAM) développé par l’OMS, et l’outil d’évaluation des prestations de services (SPA) élaboré par ICF International dans le cadre du projet MEASURE DHS (suivi et évaluation visant à juger les résultats et à les utiliser, enquêtes démographiques et de santé) financé par l’USAID, entre autres. Elle s’inspire des meilleures pratiques et des enseignements de l’expérience des nombreux pays qui ont mis en œuvre des évaluations des établissements de santé, ainsi que des lignes directrices et des normes élaborées par les programmes techniques de l’OMS, et des travaux de l’International Health Facility Assessment Network (IHFAN). Nous souhaitons remercier tout particulièrement tous ceux qui ont contribué à l’élaboration des indicateurs, indices et questionnaires relatifs à la préparation des services pendant l’atelier consacré au renforcement du suivi de la préparation des services de santé (Strengthening Monitoring of Health Services Readiness) qui s’est tenu à Genève les 22 et 23 septembre 2010. Nous remercions l’Agence norvégienne pour le développement international (NORAD) pour son soutien à l’institut national de la statistique de la Norvège dans le développement des outils SARA. Cela a contribué au développement et à la mise en œuvre d’un nouveau questionnaire électronique dans le logiciel CSPro ainsi qu’à la mise en place de directives pour la vérification des données. Nous tenons à exprimer notre gratitude à l’unité Information pharmaceutique et bases factuelles à l’appui des politiques de l’OMS pour sa contribution à l’élaboration des matériaux de formation SARA, ainsi qu’à l’Unidad de Calidad y Seguridad de la Atención Médica-Hospital General de México, qui a communiqué les photographies pour le guide à l’intention des enquêteurs SARA.

Groupe de direction du projet

L’outil et la méthodologie SARA ont été élaborés sous la direction de Kathy O’Neill et Ashley Sheffel, avec la participation inestimable de Ties Boerma et Marina Takane.

Carla AbouZahr, Maru Aregawi Weldedawit, Sisay Betizazu, Paulus Bloem, Krishna Bose, Maurice Bucagu, Alexandra Cameron, Daniel Chemtob, Meena Cherian, Richard Cibulskis, Mario Dal Poz, Sergey Eremin, Jesus Maria Garcia Calleja, Sandra Gove, Neeru Gupta, Teena Kunjumen, Thierry Lambrechts, Richard Laing, Blerta Maliqi, Shanthi Mendis, Claire Preaud, Andrew Ramsay, Leanne Riley, Cathy Roth, Willy Urassa, Adriana Velasquez Berumen, Junping Yu, Nevio Zagaria, and Evgeny Zheleznyakov.

Groupe consultatif du projet

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

Sommaire Remerciements..................................................................................................................4 CHAPITRE 1 | PLANIFICATION ET METHODOLOGIE .............................................................7 1.1 Contexte .........................................................................................................................................9 1.2 Objectifs .........................................................................................................................................9 1.3 Principaux domaines de l’évaluation ...........................................................................................10 1.4 Méthodologie...............................................................................................................................11 1.5 Rôles et responsabilités ...............................................................................................................12 1.6 Étapes de l’enquête .....................................................................................................................13 1.7 Ressources nécessaires ................................................................................................................15 1.8 Budget ..........................................................................................................................................18 Annexes ..................................................................................................................................................19

CHAPITRE 2 | ECHANTILLONNAGE .................................................................................... 29 2.1 Stratégies d’échantillonnage........................................................................................................31 2.2 Estimations nationales .................................................................................................................32 2.3 Échantillonnage probabiliste avec Excel ......................................................................................40 Annexe 1 | Calculer la taille de l’échantillon pour l’enquête SARA .......................................................43

CHAPITRE 3 | ADAPTATION DU QUESTIONNAIRE ............................................................. 45 3.1 3.2 3.3 3.4 3.5 Adaptation au pays ......................................................................................................................47 Apporter des modifications à la structure du questionnaire.......................................................48 Conseils importants .....................................................................................................................48 Administration du questionnaire .................................................................................................49 Ajouter des modules ....................................................................................................................49

CHAPITRE 4 | CSPRO POUR SARA + VERIFICATION DES DONNEES .................................... 51 CHAPITRE 5 | GUIDE DE L’ENQUETEUR ............................................................................ 55 5.1 5.2 5.3 5.4 5.5 Aperçu des méthodes de collecte des données ..........................................................................57 Compétences des enquêteurs .....................................................................................................62 Remplir le questionnaire SARA ....................................................................................................66 Saisir les données avec CSPro ......................................................................................................74 Relever les coordonnées géographiques au moyen d’un GPS.....................................................77

CHAPITRE 6 | GUIDE DU SUPERVISEUR ............................................................................ 83 6.1 6.2 6.3 Rôles et responsabilités ...............................................................................................................85 Mener les activités de terrain ......................................................................................................85 Utiliser CSPro pour contrôler et valider les données ...................................................................92

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

CHAPITRE 7 | TRAITEMENT DES DONNES ........................................................................ 97 7.1 7.2 7.3 7.4 7.5 7.6 Concaténation ..............................................................................................................................99 Apurement des données ............................................................................................................100 Vérifier que les données sont complètes...................................................................................104 Calculer les poids d’échantillonnage..........................................................................................104 Calculer les indicateurs SARA .....................................................................................................106 Exporter les données de CSPro ..................................................................................................106

CHAPITRE 8 | ANALYSE ET RESULTATS (TEXTE EN ANGLAIS) ........................................... 107 Introduction..........................................................................................................................................109 8.1 Calculating SARA results.............................................................................................................110 8.2 Alternative method of calculations ............................................................................................124 8.3 Sample weights ..........................................................................................................................125 8.4 Importing data to the SARA analysis tool ..................................................................................132 8.5 Data visualization .......................................................................................................................134 8.6 Survey report .............................................................................................................................147 8.7 Results dissemination ................................................................................................................148

1. Planification et méthodologie

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

1.1

Contexte

L’une des principales fonctions d’un système de santé est d’assurer l’accès à des services de santé de qualité. La gestion, le suivi et l’évaluation des systèmes de santé requièrent des informations fiables sur l’offre et la qualité des services de santé. Les mesures prises pour atteindre les objectifs du Millénaire pour le développement (OMD) et renforcer les interventions liées au VIH/sida, à la tuberculose, au paludisme, à la maternité sans risque, à la santé des enfants et aux maladies non transmissibles ont attiré l’attention sur la nécessité d’un solide suivi national des services de santé et de leur capacité à mettre en œuvre les interventions essentielles. L’évaluation de la disponibilité et de la capacité opérationnelle des services (SARA) est conçue comme un outil systématique à l’appui de la vérification annuelle des données et de la fourniture des services dans les établissements. Elle est destinée à couvrir aussi bien les établissements de santé publics que les établissements privés et confessionnels. L’enquête a pour but de fournir des données factuelles sur les progrès du système de santé aux fins de l’examen annuel du secteur de la santé, de recenser les insuffisances et les faiblesses responsables de l’inadéquation de la fourniture des services et de la couverture des interventions auxquelles il convient de remédier, et de définir les bases pour la planification et le suivi des interventions de renforcement destinées à améliorer la fourniture des services. Dans cette perspective, l’outil SARA sert à surveiller et évaluer la stratégie sanitaire nationale et fournit des informations essentielles sur les progrès du renforcement du système de santé au fil du temps. L’outil SARA est mis en œuvre en association avec un module de vérification des données qui permet d’examiner les données des établissements de santé couverts par l’enquête. L’objectif du module de vérification des données est de fournir des informations essentielles sur la qualité des données incluses dans les rapports mensuels présentés par les établissements de santé au niveau supérieur/suivant du système (écarts entre les données de la source principale et du rapport mensuel). Ces informations indispensables complètent la fiche d’information sur la qualité des données du système habituel, en fournissant des renseignements importants sur la fiabilité des données utilisées pour analyser les progrès et les résultats du système de santé. Il est recommandé d’analyser annuellement la qualité des données systématiques et d’inclure les résultats dans le rapport de situation et les carnets de statistiques annuels.

1.2

Objectifs

L’objectif général de l’évaluation de la disponibilité et de la capacité opérationnelle des services est d’évaluer régulièrement la fourniture des services (disponibilité et capacité opérationnelle) et de procéder à la vérification des données dans les établissements publics et privés. Ces informations factuelles recueillies au titre d’une vérification indépendante visent à fournir des informations régulières et fiables sur les progrès et les résultats du système de santé. L’évaluation doit s’inscrire dans le cycle de planification national pour fournir des informations essentielles ponctuelles sur la fourniture des services et la qualité des données du système d’information pour la gestion sanitaire (HMIS) : vérification des données et fiche d’information sur la qualité des données) aux fins de l’examen du secteur de la santé. Les objectifs particuliers de l’enquête SARA et de l’évaluation de la qualité des données sont les suivants : • détecter les changements et mesurer les progrès du renforcement du système de santé au fil du temps ; • planifier et suivre le renforcement des interventions importantes pour la réalisation des OMD, telles les interventions destinées à faire reculer la mortalité maternelle et infantile, le VIH/sida, la tuberculose et le paludisme, et à combattre la charge croissante des maladies non transmissibles ; • produire les données factuelles qui serviront de base aux examens annuels du secteur de la santé, faciliteront l’élaboration des plans opérationnels annuels et aideront les pays et leurs partenaires à effectuer des investissements plus efficaces ;

1. Planification et méthodologie

• aider les responsables nationaux à planifier et à gérer les systèmes de santé (estimer la distribution équitable et appropriée des services et des ressources humaines et la disponibilité des médicaments et des fournitures, par exemple) ; • assurer l’évaluation systématique de l’exhaustivité et de la cohérence (interne et externe) des données présentées et des taux de couverture des interventions ; • recenser les problèmes liés à la qualité des données qui font partie du système de suivi systématique et auxquels il convient de remédier.

1.3

Principaux domaines de l’évaluation

L’outil d’évaluation de la disponibilité et de la capacité opérationnelle des services est conçu pour produire un ensemble d’indicateurs de base sur les ressources et les résultats essentiels du système de santé, qui serviront à mesurer les progrès du renforcement du système de santé au fil du temps. Les indicateurs dits « marqueurs » visent à indiquer objectivement si un établissement remplit ou non les conditions requises pour soutenir la fourniture de services de base ou de services particuliers d’une qualité et en quantité constantes. Les indicateurs synthétiques ou composites, aussi appelés indices, peuvent être utilisés pour résumer et communiquer des informations sur plusieurs indicateurs et domaines d’indicateurs. Les indices peuvent être appliqués à la disponibilité et à la capacité opérationnelle des services en général ou de services particuliers. L’enquête SARA porte sur trois grands domaines : I. La disponibilité des services fait référence à la présence physique de la fourniture des services et recouvre l’infrastructure sanitaire, les personnels de santé de base et des aspects de l’utilisation des services. La capacité opérationnelle des services en général fait référence à la capacité globale des établissements de santé à fournir des services de santé généraux. La capacité opérationnelle est définie comme la disponibilité des composantes nécessaires pour fournir les services, tels les structures essentielles, le matériel de base, les précautions usuelles pour prévenir les infections, des moyens de diagnostic et les médicaments essentiels. La capacité opérationnelle de services particuliers fait référence à la capacité des établissements de santé à proposer un service particulier, la capacité de fournir ce service étant mesurée moyennant l’examen de marqueurs qui incluent les personnels qualifiés, les directives, le matériel, les moyens de diagnostic et les médicaments et les produits de base.

II.

III.

Principaux sujets et capacités opérationnelles de base examinés : • Désignation, localisation et administration de l’établissement de santé (public ou privé) • État général de l’établissement (approvisionnement en eau, télécommunications, électricité, lits, par exemple) • Matériel médical de base (équipement de radiologie, oxygène, pèse-personnes, par exemple) • Disponibilité de personnels de santé (groupe de ressources humaines, formation du personnel et directives, par exemple) • Médicaments et produits de base – disponibilité de médicaments généraux

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

• Moyens de diagnostic – disponibilité d’examens de laboratoire (VIH, paludisme, tuberculose, autres, par exemple) • Précautions usuelles – disponibilité de matériel d’injection, de stérilisation, d’élimination et pratiques d’hygiène • Services spécialisés, notamment santé de la mère, du nouveau-né et de l’enfant, planification familiale, santé de l’enfant et de l’adolescent, maladies transmissibles (VIH, tuberculose, paludisme, par exemple), maladies non transmissibles (diabète, maladies cardio-vasculaires, par exemple) • Services chirurgicaux standard et spécialisés et transfusion sanguine L’évaluation des établissements au moyen de l’outil SARA est d’ordinaire associée à un examen des données à des fins de vérification des données fournies par les établissements de santé sur les maladies ou les interventions. Le module de vérification des données vise à vérifier la qualité des données fournies systématiquement en comparant les données d’un établissement (issues des registres, des feuilles de pointage, par exemple) aux rapports agrégés envoyés au niveau du district. Les informations issues des données recueillies seront intégrées dans les fiches d’information sur la qualité des données, pour évaluer la qualité des données du système habituel aux niveaux national et infranational.

1.4

Méthodologie

L’enquête SARA nécessite des visites dans les établissements de santé et la collecte de données moyennant des entretiens avec des informateurs clés et l’observation des points essentiels. Il peut s’agir d’une enquête par sondage ou d’une enquête de recensement ; le choix entre ces méthodes dépendra de plusieurs éléments, notamment les ressources du pays, les objectifs de l’enquête et la disponibilité d’une liste de référence des établissements. Si, par exemple, l’objectif de l’enquête est d’obtenir des estimations représentatives à l’échelle nationale, une enquête par sondage conviendra. Toutefois, s’il s’agit d’obtenir des estimations à l’échelle du district, la méthode d’échantillonnage devra être ajustée et il faudra utiliser un échantillon plus grand ou, dans certains cas, procéder à un recensement complet. Une liste de référence des établissements nationale et une base de données de tous les établissements publics et privés constituent la source de données recommandée pour obtenir des informations sur la disponibilité des services. Il est en général nécessaire de procéder à un recensement des établissements pour établir et maintenir la liste de référence des établissements et la base de données. Les données relatives à la disponibilité des services doivent être actualisées annuellement au moyen des rapports systématiques communiqués par les établissements et validées tous les cinq ans environ au moyen d’un recensement des établissements. Les données relatives à la capacité opérationnelle des services peuvent être obtenues au moyen d’enquêtes par sondage. L’échantillonnage est effectué de manière systématique pour obtenir des résultats représentatifs du pays ou de l’État/de la province où l’enquête est réalisée. Il est important d’intégrer la capacité opérationnelle des services de base dans les examens du secteur de la santé et les enquêtes par sondage devraient être organisées chaque année, 4 à 6 mois environ avant l’examen annuel. La base de données nationale des établissements de santé devrait être utilisée pour constituer le cadre d’échantillonnage. Là où une base de données nationale des établissements n’est pas disponible ou n’a pas été actualisée, l’enquête sur la capacité opérationnelle des services et le recensement des établissements peuvent être effectués simultanément pour évaluer la disponibilité des services.

1. Planification et méthodologie

FIGURE 1.4.1: ECHEANCIER DE LA MISE EN ŒUVRE

1.5

Rôles et responsabilités

L’enquête est généralement menée sous la direction générale du ministère de la Santé. Cette section présente brièvement les rôles et responsabilités des partenaires clés impliqués dans les activités de mise en œuvre du SARA et de l’évaluation de la qualité des données de routine. Ministère de la santé : il est charge d’identifier les personnes clés qui prendront part à l’ensemble du processus, y compris durant la formation et le teste pilote des outils sur le terrain, les contrôles pour la validation des données, l’analyse et la rédaction du rapport final, l’organisation de réunions pour l’interprétation et la validation des résultats ainsi que leur dissémination. Groupe de coordination de l’enquête : Le groupe de coordination, mené par le Ministère de la Santé, devrait inclure les instituts nationaux et les parties prenantes clés du secteur de la santé. Ce groupe assurera la direction et la supervision durant tout le processus, de l’adaptation du questionnaire à la dissémination des résultats. Organisme de mise en œuvre : il est responsable de la collecte des données sur le terrain pour le SARA et la vérification des données dans le cadre de la Revue de la Qualité des Données de routine. Il est recommandé que les institutions nationales, tel que l’Institut National des Statistiques, les Ecoles de Santé Publique ou d’autres institutions ayant de l’expérience dans la conduite d’enquêtes sur le terrain, mène ce processus si proposé/approuvé par le Ministère de la Santé. Entité pour l’assurance de qualité et appui technique : afin d’assurer la supervision technique générale et l’assurance de qualité de l’enquête, y compris le bon suivi des procédures, il est fortement recommandé d’avoir une partie tierce impliquée dans la mise en œuvre de l’enquête (consultant ou institution). Il est également recommandé que l’organisme en charge de l’assurance de qualité soit responsable de la Revue de la Qualité des Données de routine (y compris l’analyse de la vérification des données et la revue documentaire menée au niveau national).

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

1.6

Étapes de l’enquête

Une évaluation de la disponibilité et de la capacité opérationnelle des services (SARA) doit être planifiée de façon à coïncider avec le cycle de planification sanitaire national et produire les données requises. Le temps nécessaire pour mener à bien une évaluation SARA dépend de la dimension du pays et de la nécessité éventuelle de procéder à un recensement complet des établissements. Entre l’adaptation initiale de l’outil d’évaluation au pays et la diffusion des données et l’établissement des rapports de pays, l’ensemble du processus requiert généralement de trois à six mois. Le tableau ci-après donne un aperçu des étapes de l’enquête et des activités requises à chaque étape.

1. Planification et méthodologie

Étapes 1. Planification et élaboration de l’enquête

Activités pour l’enquête •

•

• • •

• •

2. Collecte des données sur le terrain

• • • • • • • • • •

3. Traitement, analyse et interprétation des données

• • • •

•

Constituer un groupe de coordination de l’enquête composé d’acteurs nationaux, chargé de superviser et de faciliter le travail concernant les objectifs, la portée, la conception, la mise en œuvre et l’analyse Obtenir la liste des sites de tous les établissements de santé (publics et privés, organisations non gouvernementales (ONG) et organisations confessionnelles, y compris les codes nationaux d’enregistrement des établissements Déterminer la méthode de conception appropriée (recensement ou sondage), élaborer un plan de mise en œuvre et un budget, et obtenir des fonds Examiner et adapter les questionnaires aux besoins particuliers du pays Recruter le personnel de l’enquête (responsable de l’enquête, superviseurs de terrain, personnes chargées de la collecte des données, agents chargés de la saisie/du traitement des données, analystes des données) Établir le calendrier de l’enquête Déterminer les sites de l’enquête (cadre d’échantillonnage). Choisir la taille de l’échantillon et l’échantillon d’établissements de santé (si la méthode par sondage a été retenue) Se procurer les moyens logistiques, notamment le matériel et les moyens de transport, compte tenu du nombre de sites à visiter, du nombre d’équipes de collecte des données, de chauffeurs, de véhicules, de la quantité de carburant, etc. Planifier et organiser des cours de formation pour les enquêteurs et les superviseurs de terrain Procéder à un essai pilote dans un certain nombre d’établissements de santé, évaluer les résultats et apporter les modifications éventuellement nécessaires Planifier les visites de collecte des données (rédiger une lettre de présentation, contacter chaque site, établir un calendrier de visites) Préparer les matériels et les outils pour les personnes chargées de la collecte des données Organiser le transport et les communications régulières pendant le travail de terrain Réunir les matériels nécessaires pour la collecte locale des données Confirmer les rendez-vous avec les établissements de santé Se rendre dans les établissements de santé et recueillir les données pour l’évaluation SARA en équipe (d’ordinaire deux enquêteurs et un chauffeur) À la fin de l’entretien, vérifier le questionnaire et résoudre tout problème d’information manquante ou peu fiable Remettre les formulaires remplis et/ou transférer les dossiers électroniques au superviseur de terrain en fin de journée Remettre les formulaires (format papier et/ou électronique) au responsable de l’enquête une fois la collecte des données achevée Mener des visites de validation dans les établissements enquêtés (10%) afin d’assurer la qualité de l’information collectée. 1 Saisir les données au moyen du logiciel CSPro (dans l’établissement durant l’enquête ou à la fin de la journée) Réviser, valider et mettre en ordre l’ensemble de données, vérifier leur cohérence et leur exactitude Exporter l’ensemble de données à analyser (indicateurs SARA) Analyser les données SARA au moyen des indicateurs de base standard (outil SARA automatique pour la présentation des résultats en tableaux et graphiques) et de tout indicateur d’intérêt relatif au pays Mener l’analyse de l’information collectée avec le module de verification des données ainsi qu’une revue documentaire au niveau national (données SNIS) pour la revue de la qualité des données de routine. Rencontrer le groupe de coordination de l’enquête pour analyser et interpréter les résultats de l’enquête et finaliser les recommandations Rédiger le rapport final Planifier et mettre en œuvre les activités de diffusion. Les résultats devraient être utilisés à l’appui des examens annuels du secteur de la santé et intégrés dans la plate-forme de suivi et d’évaluation du plan de santé national Enregistrer et archiver l’enquête suivant les normes applicables aux métadonnées

4. Diffusion des résultats

• • •

•

1 http://www.census.gov/population/international/software/cspro/csprodownload.html

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

1.7

Ressources nécessaires

La phase de la planification de la collecte des données doit prendre en considération les besoins logistiques des équipes de collecte des données et inclure une évaluation du matériel et des logiciels requis pour la collecte des données.

1.7.1 Ressources nécessaires pour l’enquête SARA et l’évaluation de la qualité des données I. Sources de données Liste de référence des établissements de santé (MFL) Documents de référence nationaux •

Liste de tous les établissements de santé du pays (secteur privé inclus)

• • • •

Classification officielle des personnels de santé Politiques pharmaceutiques nationales (médicaments essentiels, stratégie relative aux traitements ARV, par exemple) Paquet des services de santé offerts par type d’établissement (liste de référence de la fourniture de services) Achats/approvisionnement Registres standard, feuilles de pointage et formulaires de notification Les domaines suivants de l’outil SARA doivent toujours être adaptés au contexte national : − Types d’établissements − Directives nationales relatives aux services − Catégories de personnel − Médicaments antituberculeux − Médicaments contre le VIH et le sida − Vaccination (selon calendrier national) − Autres médicaments pour le pays Choix de 4 ou 5 indicateurs dans la liste des indicateurs proposés dans le module Pour établir les fiches d’information sur la qualité des données, les données du système d’information pour la gestion sanitaire (HMIS) suivantes devront être disponibles : (données mensuelles pour les indicateurs sélectionnés de santé maternelle, vaccination, VIH, TB et paludisme) − Totaux annuels au niveau du district pour les mêmes indicateurs pour les 3 années précédentes − Autres indicateurs spécifiques pour le pays (selon les indicateurs choisis pour la vérification des données) − Dénominateurs estimés pour les indicateurs ci-dessus (pour l’année de l’examen annuel du secteur de la santé et, si possible, les années précédentes) − Données relatives au nombre des établissements présentant des rapports et au nombre des établissements dans le district (pour chaque district) − Données relatives au nombre des districts présentant un rapport mensuel/trimestriel − Données les plus récentes des enquêtes sur les ménages

Outils du système d’information pour la gestion sanitaire (HMIS) Questionnaire adapté au pays

• •

Module de vérification des données adapté au pays Données nécessaires pour l’établissement des fiches d’information sur la qualité des données

• •

1. Planification et méthodologie

II. Ressources humaines Responsable de l’enquête Superviseurs de terrain Personnes chargées de la collecte des données Personnel chargé de la saisie des données Analystes des données III. Logistique Transport pour les activités de collecte des données sur le terrain Hébergement des personnes chargées de la collecte des données sur le terrain IV. Ressources pour la formation Lieu de la formation Hébergement journalier pour les participants Transport • •

Nombre dépend de la taille de l’échantillon et de l’échéancier Nombre dépend de la taille de l’échantillon et de l’échéancier

•

Principaux spécialistes de l’équipe d’enquête, services techniques et partenaires à associer à l’enquête

Véhicules et chauffeurs

• •

Véhicules et chauffeurs Y compris le transport aller et retour jusqu’au lieu de formation et pour l’essai pilote

V. Matériel électronique Ordinateur • • • •

Dispositifs électroniques de collecte des données portables

• • • • •

Dispositifs GPS (si utilisés en complément des dispositifs électroniques de collecte des données principaux

• • •

Matériel de communication

• • • •

Logiciel de collecte/saisie des données

•

Ordinateur (PC) : pour la saisie et le traitement des données Chargeur Batterie de rechange Appareil portable pour la collecte des données (ordinateur de poche, tablette, ordinateur portable), pour les besoins de la formation, un par participant ; pour les besoins de l’enquête, un par équipe de collecte des données plus deux appareils de secours Chargeur/batterie : deux chargeurs par appareil, deux jeux de batteries par appareil Sacoche pour ordinateur portable : une par appareil Câble de raccordement pour PC/appareil portable : un par appareil Carte mémoire (le cas échéant) : une par appareil Dispositif GPS : pour les besoins de la formation, un appareil par participant ; pour les besoins de l’enquête, un appareil par équipe de collecte des données plus deux appareils de secours Chargeur/batterie : deux chargeurs par appareil, deux jeux de batteries par appareil Sacoche pour GPS : une par appareil Câble de raccordement pour PC/GPS : un par appareil Téléphones portables : un par équipe de collecte des données Chargeurs : un par appareil Crédit pour les téléphones portables Le Census and Survey Processing System (CSPro) est recommandé à moins que le pays n’utilise déjà un autre logiciel. CSPro est un logiciel du domaine public utilisé pour la saisie, la mise au point rédactionnelle, la mise en tableaux et la diffusion des données issues des recensements et des enquêtes. Il peut être téléchargé à l’adresse www.census.gov/ipc/www/cspro/index.html. Le Tableau 2 donne de plus amples informations sur les caractéristiques techniques du matériel et du logiciel. Manuel du logiciel : un par équipe de collecte des données

Programme d’analyse des données

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

VI. Fournitures Impression • • • •

Stylos, crayons Projecteur et écran de projection Rallonge multiprise Adaptateurs secteur universels Clés USB (1GB)

Imprimante/photocopieuse (en un même appareil ou deux machines distinctes) : Câble de raccordement PC/imprimante : un par paire Cartouches d’encre : Papier pour imprimante : format standard A4

1.7.2 Caractéristiques techniques du matériel et du logiciel Données techniques relatives à l’ordinateur et au logiciel • • • • • • • •

Données techniques relatives à l’ordinateur de poche (PDA) et spécifications • • • •

Ordinateur de bureau ou ordinateur portable Processor Intel Pentium 512 MB de Ram Moniteur SVGA Souris 100MB d’espace libre de disque dur Microsoft Windows 98se, Me, NT, 4.0, 2000, XP, Vista ou Windows 7.0 CSPro Version 6.0 (ou 4.1 si des ordinateurs de poche sont utilisés)

Ordinateur personnel de poche (Pocket PC) Windows Mobile 5.0 ou 6.0 Câble ou station d’accueil USB pour raccorder le Pocket PC à l’ordinateur de bureau ou à l’ordinateur portable. Microsoft ActiveSync 4.2 ou ultérieur. En principe livré avec votre Pocket PC mais peut aussi être téléchargé à l’adresse http://www.microsoft.com/windowsmobile/enus/help/synchronize/device-synch.mspx CSPro Mobile. Système d’installation du Pocket PC, distinct du système d’installation de la « version standard » de CSPro sur un ordinateur de bureau. Il est disponible sur le CD CSPro ou peut être téléchargé sur le site Web CSPro.

•

1. Planification et méthodologie

1.8 Domaine d’activité 1. Préparation et formation des personnes chargées de la collecte des données

Budget Activités Adaptation du/des questionnaire(s) et du logiciel de saisie de données Traduction du questionnaire (le cas échéant) Atelier de formation pour les superviseurs de terrain et les personnes chargées de la collecte des données (xx personnes chargées de la collecte des données & xx superviseurs): - indemnité journalière xx USD * nombre de personnes * nombre de jours (8 à 10 jours) - frais de voyage des participants (le cas échéant) - lieu de la formation, déjeuner Essai pilote dans au moins 3 établissements - indemnité journalière xx USD * nombre de personnes * 1 jour - transport xx USD * 3 établissements * 1 jour Impression des documents pour la formation Assistance technique (voyage, rémunération & indemnité journalière pour 2 animateurs) Sous-total

Coût unitaire

Coût de l’activité

2. Enquête sur le terrain

Indemnité journalière des personnes chargées de la collecte des données (indemnité journalière xx USD * nombre de personnes * nombre de jours) Indemnité journalière des superviseurs de terrain (indemnité journalière xx USD * nombre de personnes * nombre de jours) Visites de validation (10% des sites) Chauffeur, véhicule et carburant@ xx USD * nombre de jours Matériel ; Dispositifs de collecte des données * nombre nécessaire Fournitures (formulaires papier, téléphone mobile + appareils, …) Sous-total

3. Traitement, analyse et diffusion des données

Traitement et analyse des données - responsable/analyste * 6 semaines - statisticien/analyste * 6 semaines Production du rapport d’analyse Atelier d’analyse - indemnité journalière xx USD * nombre de personnes * 1 jour - frais de voyage des participants (le cas échéant) - lieu de la réunion, déjeuner Atelier de validation - indemnité journalière xx USD *nombre de personnes * nombre de jours Diffusion des résultats (impression du rapport, publication sur Internet,…) Sous-total Total pour les activités Coûts imprévus/imprévisibles (environ 10%) TOTAL GÉNÉRAL Nombre d’établissements

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

Annexe 1 | Modèle Excel: budget pour la mise en œuvre d’une enquête SARA ACTIVITÉ 1. ACTIVITÉS PRÉPARATOIRES Adaptation des documents techniques et du logiciel de saisie des données Traduction du questionnaire (le cas échéant - 12$ la page) Formation des superviseurs de terrain et des personnes chargées de la collecte des données (8 à 10 jours) Indemnité journalière d’une personne chargée de la collecte des données (par pers.) Indemnité journalière d’un superviseur (par pers.) Indemnité journalière d’un animateur (par pers.) Frais de voyage (le cas échéant) Lieu de la formation Pause café Déjeuner Véhicules (essai pilote) Carburant pour le véhicule Fournitures Impression des documents • questionnaire SARA • module de vérification des données • jeu de la personne chargée de la collecte des données • jeu du superviseur Sous-total 2. COLLECTE DES DONNÉES SUR LE TERRAIN Indemnité journalière des personnes chargées de la collecte des données Indemnité journalière du superviseur Visites de validation (10% des sites) Transport •Véhicule •Carburant •Chauffeur Matériel électronique •Ordinateurs portables/tablette/ordinateur de poche •Cartes mémoire USB (1 par superviseur) Impression des documents pour la collecte des données •Questionnaire •Jeu de la personne chargée de la collecte des données Nombre/quantité Fréquence Coût unitaire 5925 Total 4 1 50 200 25 1 45 1125 23 10 20 4600 Nombre/quantité 1 Fréquence Coût unitaire 1000

Total

1. Planification et méthodologie | Annexes

ACTIVITÉ Sous-total 3. TRAITEMENT, ANALYSE & DIFFUSION DES DONNÉES Traitement et analyse des données Responsable/analyste (pour 6 semaines) Statisticien/analyste (pour 6 semaines) Nombre/quantité Fréquence Coût unitaire 6 000 Total

Atelier d’analyse Indemnité journalière des participants Frais de voyage des participants (le cas échéant) Lieu de réunion Pause café Déjeuner Atelier de validation Indemnité journalière des participants Frais de voyage des participants (le cas échéant) Lieu de réunion Pause café Déjeuner Diffusion des résultats Impression du rapport Sous-total Total pour les activités Coûts imprévus/imprévisibles (environ 10%) TOTAL GÉNÉRAL •

13 926 1 393 15 319

Ce modèle de budget correspond aux coûts de la mise en oeuvre. Il est recommandé qu’un budget séparé pour l’appui technique/assurance de qualité soit établi. La matrice Excel existante, comprenant un onglet à cet effet.

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

Annexe 2 | Modèle: programme de la formation des personnes chargées de la collecte des données et des superviseurs Objectifs 1. Compréhension commune de l’évaluation de la disponibilité et de la capacité opérationnelle des services (SARA) pour tous les participants ;

2. Former les superviseurs de terrain aux méthodes d’enquête SARA et les initier à leur rôle et leurs responsabilités pendant l’enquête ;

3. Former les personnes chargées de la collecte des données à l’utilisation du questionnaire SARA et du

module de vérification des données (notamment les versions électroniques) et les initier à leur rôle et leurs responsabilités pendant la collecte des données ;

4. Élaborer un calendrier détaillé et un plan de mise en œuvre sur le terrain ; Formation des enquêteurs (présents : enquêteurs, superviseurs et équipe technique SARA)

PREMIERE SEMAINE Jour 1: Date 8:30 – 9:00 9:00 – 10:00 10:00 – 10:30 10:30 – 13:00 13:00 – 14:00 14:00 – 18:00 Enregistrement et ouverture Présentation et description générale de SARA Objectifs et résultats escomptés Pause Examen des questions et des réponses possibles • Déjeuner Examen des questions et des réponses possibles • questionnaire SARA questionnaire SARA

Jour 2: Date 8:30 – 10:30 10:30 – 11:00 11:00 – 13:00 13:00 – 14:00 14:00 – 18:00 Examen des questions et des réponses possibles • Pause Examen des questions et des réponses possibles • Déjeuner Comprendre les questions et les réponses possibles • Vérification des données/évaluation du système questionnaire SARA questionnaire SARA

1. Planification et méthodologie | Annexes

Jour 3: Date 8:30 – 10:30 10:30 – 11:00 11:00 – 12:30 Rôle et responsabilités des personnes chargées de la collecte des données Procédure – avant, pendant et après les visites de terrain Pause Administrer le questionnaire SARA • • 12:30 – 1:30 1:30 – 3:30 3:30 – 5:30 5:30 – 6:00 Déjeuner Saisie des données sur les ordinateurs de poche Pratique de l’administration du questionnaire SARA Revue des procédures et du matériel pour la collecte des données Préparation du test pilote Compétences des enquêteurs Organiser les enquêtes dans les établissements

Jour 4: Date 8:00 – 1:30 Test pilote • • 1:30 – 2:30 2:30 – 6:00 Déjeuner Compte rendu du test pilote et aide en cas de difficultés Fin de la formation des personnes chargées de la collecte des données SARA Procéder à un essai dans au moins 3 établissements de santé (différents types et instances gestionnaires) Les superviseurs accompagnent leurs équipes- pratiquent revue des questionnaires, données électroniques et modifications en cas de besoin

Formation des superviseurs SARA (superviseurs et équipe technique SARA)

Jour 5: Date 8:30 – 9:30 9:30 – 11:00 11:00 – 11:30 11:30 – 12:30 12:30 – 1:30 1:30 – 2:30 2:30 – 4:30 Enseignements retirés du test pilote (suite) Responsabilités des superviseurs de terrain et leçons tirées de l’expérience Procédures pour la supervision des activités de terrain Pause Transfert des données des ordinateurs de poche/tablettes/ordinateurs portables Utilisation de CSPro (vérification des données et correction des réponses) Déjeuner Planification de la logistique, des équipes et des itinéraires pour la collecte des données

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

DEUXIEME SEMAINE Formation sur le terrain/première semaine de collecte officielle des données Jour 1 et 2 Chaque équipe se rend dans une formation pour la collecte d’information Les superviseurs sont assignés aux équipes qu’ils suivront ensuite dans les régions • • Faire une vérification aléatoire des réponses après que l’équipe a rempli plusieurs sections du questionnaire Revue et modification sur le terrain

Les responsables de l’enquête et de l’appui technique se déplacent entre les établissements afin de s’assurer que les équipes fonctionnent de façon adéquate Jour 2 Responsables de l’enquête/appui technique • • Jour 3 Revue des questionnaires/fichiers du jour précédent afin d’identifier les problèmes éventuels liés au travail des enquêteurs et/ou des superviseurs Résoudre les questions/problèmes liées à la cohérence et précision des données collectées et qui se retrouvent à travers les différentes équipes

Chaque équipe se rend dans une formation pour la collecte d’information Le groupe des superviseurs rencontre les responsables de l’enquête/appui technique et discutent des problèmes identifiés et questions en suspens. Si possible selon les arrangements logistiques, les responsables de l’enquête/superviseurs rejoignent les équipes sur le terrain dans l’après-midi.

Jour 4

Chaque équipe se rend dans une formation pour la collecte d’information Les superviseurs sont assignés aux équipes qu’ils suivront ensuite dans les régions • • Faire une vérification aléatoire des réponses après que l’équipe a rempli plusieurs sections du questionnaire Revue et modification sur le terrain

Les responsables de l’enquête et de l’appui technique accompagnent les équipes ayant rencontré le plus de problèmes afin de leur fournir un appui Jour 5 Instructions finales aux équipes, revue des problèmes et derniers éléments de préparation avant le travail de terrain (si aucune salle n’est disponible pour accueillir tout le groupe, des réunions en petits groupes peuvent être organisées)

1. Planification et méthodologie | Annexes

Annexe 3 | Modèle, atelier d’analyse des données SARA et d’évaluation de la qualité des données du système d’information pour la gestion sanitaire (HMIS) Pays SARA, année, analyse des données et de l’évaluation de la qualité des données du système d’information pour la gestion sanitaire (HMIS) -------Lieu – Date

Objectifs • Renforcer les compétences du service technique XXX du ministère de la santé responsable de l’enquête SARA et de l’évaluation de la qualité des données concernant la production et l’analyse des données SARA pour année et l’élaboration de la fiche d’information sur la qualité des données sur la base des données du système d’information pour la gestion sanitaire. • Soutenir l’institutionnalisation de l’enquête SARA moyennant la diffusion et l’utilisation des résultats de l’évaluation SARA par les acteurs concernés dans le contexte de l’examen annuel du secteur de la santé.

Résultats escomptés • L’équipe technique nationale a été formée aux méthodes de calcul des indicateurs SARA et à l’utilisation de CSPro et de l’outil Excel SARA pour la production automatique des résultats en tableaux et graphiques et au calcul manuel des besoins particuliers des pays ; • L’équipe nationale a été formée à l’utilisation de la fiche d’information sur la qualité des données pour une évaluation de la qualité des données du système d’information pour la gestion sanitaire, et aux méthodes d’analyse des données recueillies au moyen du module de vérification des données ; • Les tableaux et graphiques « standard » des résultats de l’évaluation SARA sont produits et une première analyse des résultats est effectuée ; • Projets de description générale et de synthèse des résultats de l’évaluation SARA année par les services de santé ; • Un projet de fiche d’information sur la qualité des données du système d’information pour la gestion sanitaire est élaboré ; • L’utilisation des résultats de l’évaluation SARA dans la préparation de l’examen annuel du secteur de la santé pour année est clairement définie ; • Les cadres du ministère de la santé et les partenaires techniques et financiers du secteur de la santé sont informés au sujet de l’utilisation potentielle et de l’intérêt de l’évaluation SARA pour le suivi et l’évaluation des réformes du secteur de la santé.

Conditions préalables • Collecte des données SARA et module de vérification des données achevés ; • Collecte, saisie et nettoyage des données achevées ; • Disponibilité de données systématiques mensuelles du système d’information pour la gestion sanitaire pour l’année de l’examen annuel du secteur de la santé (année) et des données démographiques et des informations sur l’exhaustivité des rapports.

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

Participants (maximum 15 participants) • Équipe nationale [Nom du département/service du ministère de la santé] du ministère de la santé responsable de l’enquête SARA et du système d’information pour la gestion sanitaire. • Personnes clefs dans les domaines de l’organisation du système de santé du pays, de la santé de la mère ème et de l’enfant, des maladies transmissibles et des médicaments (à compter du 2 jour après le début de l’analyse des données).

Programme Jour 1 - Date 8:00 – 8:30 8:30 – 10h30 Objectifs de l’atelier et résultats escomptés Enquête de terrain et collecte des données 10:30 – 10:45 10 :45 – 11 :15 11 :15 – 13 :00 Pause Présentation générale du traitement et de l’analyse des données SARA/évaluation de la qualité des données Autres étapes du traitement des données 13:00 – 14:00 14:00 – 18:00 Déjeuner Calcul des indicateurs SARA ₋ ₋ ₋ ₋ Adaptation du logiciel « batch edit » dans CSPro (caractéristiques techniques de SARA) Calcul des indicateurs SARA Utilisation de l’outil Excel pour la production automatique des tableaux et graphiques SARA « standard » Calcul manuel des résultats Validation par les superviseurs de terrain Calcul des coefficients de pondération Collecte, saisie et nettoyage des données Taux de réponses Enseignements retirés de l’expérience du terrain : points forts et domaines à améliorer

1. Planification et méthodologie | Annexes

Jour 2 - Date 8:00 – 8:30 8:30 – 13:00 Résultats escomptés (présentation générale et rapport succinct) Disponibilité et capacité opérationnelle des services généraux résultats et analyse ₋ Production de tableaux et de graphiques ₋ Analyse (pause de 10:30 à 10:45) 13:00 – 14:00 14:00 – 18:00 Déjeuner Élaboration des projets de documents d’analyse SARA (présentation générale et rapport succinct) Disponibilité et capacité opérationnelle des services généraux résultats et analyse ₋ ₋ ₋ ₋ – Groupes de travail I, II, III & IV –

Groupe de travail I : production et analyse des tableaux/graphiques Groupe de travail II : production et analyse des tableaux/graphiques Groupe de travail III : production et analyse des tableaux/graphiques Groupe de travail IV : production et analyse des tableaux/graphiques

(pause de 16:00 à 16h15)

Jour 3 - Date 8:00 – 10:00 Séance plénière sur le travail de groupe : présentation des résultats des analyses SARA ₋ ₋ 10:00 – 10:15 10:15 – 13:00 Discussion Présentation des résultats pour le pays (tableaux et graphiques) Rapporteurs des groupes Groupe entier

Pause Production manuelle de tableaux et de graphiques Élaboration et analyse des tableaux et des graphiques pour le pays Interprétation Séance parallèle I Groupe entier

13:00 – 14:00 14:00 – 16:30

Déjeuner Évaluation de la qualité des données du système d’information pour la gestion sanitaire – vérification des données ₋ ₋ Présentation – vérification des données du système d’information pour la gestion sanitaire Traitement des données recueillies (module de vérification des données) Séance parallèle II

14:00 – 16:30

Élaboration des projets de documents d’analyse SARA (présentation générale et rapport succinct) (suite) Disponibilité et capacité opérationnelle de certains services – résultats et analyse ₋ ₋ ₋ ₋ Groupe de travail I : production et analyse des tableaux/graphiques Groupe de travail II : production et analyse des tableaux/graphiques Groupe de travail III : production et analyse des tableaux/graphiques Groupe de travail IV : production et analyse des tableaux/graphiques

16:30 – 18:00

Séance plénière sur le travail de groupe : présentation des résultats Discussion, analyse des résultats

Groupe entier

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

Jour 4 - Date 8:00 – 10:30 Évaluation de la qualité des données du système d’information pour la gestion sanitaire (HMIS) ₋ Introduction et présentation de l’outil Excel pour la fiche d’information sur la qualité des données, pour l’évaluation de la qualité des données du système d’information pour la gestion sanitaire Travail de groupe

10:30 – 10:45 10:45 – 13:00

Pause Évaluation de la qualité des données du système d’information pour la gestion sanitaire ₋ Élaboration et analyse de la fiche d’information sur la qualité des données Travail de groupe

13:00 – 14:00 14:00 – 16:30

Déjeuner Évaluation de la qualité des données du système d’information pour la gestion sanitaire Élaboration et analyse de la fiche d’information sur la qualité des données (suite)

16:30 – 16:45 16:45 – 18:00

Pause Communication en plénière des résultats des travaux de groupe ₋ Discussion, analyse des résultats Groupe entier

Jour 5 - Date 8:00 – 10h30 Élaboration du rapport SARA et préparation en vue de l’examen annuel du secteur de la santé ₋ ₋ ₋ 10:30 – 11:00 11:00 – 13:00 Modèle de rapport SARA et meilleures pratiques d’autres pays Utilisation des données SARA et de l’évaluation de la qualité des données en vue de l’examen annuel du secteur de la santé Discussions Département responsable de SARA Groupe entier

Pause Présentation des résultats de l’enquête SARA et de la fiche d’information sur la qualité des données aux acteurs concernés du ministère de la santé et aux partenaires techniques et financiers (objectifs, méthodologie, résultats préliminaires, étapes suivantes) et discussion. Déjeuner Appui technique nécessaire et questions particulières Département responsable de SARA Département responsable de SARA Département responsable de SARA

13:00 – 14:00 14:00 – 16:15

16:15 – 16:45

Étapes suivantes

16:45 – 17:00

Synthèse et clôture

2. Échantillonnage

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

2.1

Stratégies d’échantillonnage

La détermination de la taille de l’échantillon et la sélection de l’échantillon pour une enquête sur les établissements de santé sont une tâche complexe, qui variera sensiblement selon le cas en fonction de la précision et du type d’estimations souhaités, du nombre d’établissements dans le pays et des objectifs particuliers de l’évaluation. Une enquête SARA qui vise à obtenir des estimations nationales, par exemple, nécessitera un échantillon de bien plus petite taille que s’il s’agit d’obtenir des estimations à l’échelon du district. Avant d’arrêter une stratégie d’échantillonnage, il convient de décider si une ventilation par catégorie, région, type d’établissement, autorité responsable, milieu urbain/rural par exemple, est souhaitable. Pour s’assurer que l’échantillon est représentatif, il est préférable de consulter un spécialiste de l’échantillonnage ou un statisticien pour le choix d’une méthode d’échantillonnage appropriée. La stratégie d’échantillonnage la plus couramment utilisée pour l’enquête SARA est l’option 1 du tableau ci-dessous – échantillon représentatif à l’échelle nationale obtenu en sélectionnant un échantillon aléatoire simple d’établissements dans chaque strate (type d’établissement et autorité responsable) au niveau national. Le tableau ci-après présente différentes options d’échantillonnage utilisables pour la réalisation d’une enquête SARA, selon le niveau souhaité des estimations et les ressources disponibles. Domaines d’estimation Option 1: Estimations nationales seulement Estimations nationales avec ventilation par type d’établissement (3 niveaux) et autorité responsable (public/privé) Méthode d’échantillonnage Petit pays Stratification par type d’établissement et autorité responsable, échantillonnage aléatoire simple/systématique dans chaque strate avec recensement ou surreprésentation des hôpitaux (effet de structure = 1) Pays moyen Échantillonnage mixte sur liste et par zone: échantillonnage sur liste pour les grands établissements de santé, et échantillonnage par zone pour les petits établissements (recensement des établissements dans les unités primaires d’échantillonnage de la zone 2 d’échantillonnage ) (effet de structure = 1,2) Option 2: Estimations sousnationales Estimations régionales et nationales avec ventilation par type d’établissement (3 niveaux) et autorité responsable (public/privé) Petit pays Stratification par région, type d’établissement et autorité responsable, échantillonnage aléatoire simple/systématique dans chaque strate, avec recensement ou surreprésentation des hôpitaux (effet de structure = 1) Pays moyen/grand Échantillonnage mixte sur liste et par zone: échantillonnage sur liste pour les grands établissements de santé, et échantillonnage par zone pour les petits établissements (recensement des établissements dans les unités 1 2

Taille de l’échantillon 1 (estimation) 150 – 250 établissements

Coût approximatif

$60K-100K

250 – 500 établissements

$100K-200K

5 régions: 250 – 500 établissements 10 régions: 500 – 800 établissements

$100K-130K $130K-180K

Pays moyen 4 régions: 300 – 500 établissements Grand pays 4 régions: 400 – 800 établissements

$120K-200K $180K-360K

Les estimations de la taille de l’échantillon ont une marge d’erreur de 0,1 et un niveau de confiance de 95% Les unités administratives qui constituent les unités primaires d’échantillonnage pour l’échantillon par zone devraient chacune inclure de 1 à 5 établissements de santé environ (communes, sous-comtés, villages)

2. Echantillonnage

Domaines d’estimation

Méthode d’échantillonnage primaires d’échantillonnage de la zone 3 sélectionnée ) (effet de structure = 1,2)

Taille de l’échantillon 1 (estimation)

Coût approximatif

Option 3: Estimations sousnationales Estimations régionales pour un sous-ensemble de régions, avec ventilation par type d’établissement (3 niveaux) et autorité responsable (public/privé) pour certaines régions; pas d’estimations nationales Option 4: Échantillon de districts Estimations par district pour les districts retenus; estimations nationales si les établissements inclus dans l’échantillon sont en nombre suffisant

Grand pays Échantillon raisonné de régions; dans les régions, stratification par type d’établissement et autorité responsable, échantillonnage aléatoire simple/systématique dans chaque strate avec surreprésentation des hôpitaux pour chaque région (effet de structure = 1)

4 régions (150 établissements par région): 600 établissements

$60-100K par région

Pays petits, moyens et grands Échantillonnage sur liste pour les hôpitaux régionaux et nationaux plus échantillonnage de districts (échantillonnage en grappes à deux niveaux: sélection des districts comme premier niveau, sélection des établissements dans ces districts comme deuxième niveau (effet de structure = 2)

Petit pays 300-500 établissements (10-30 4 districts ) Pays moyen 400-800 établissements (20+ districts) Grand pays 600-1000 établissements (30+ districts)

$100K-200K $160K-320K $270K-470K

Option 5: Recensement des établissements Tous les domaines d’estimation possibles

Pays petits, moyens et grands Recensement de tous les établissements

Très cher

Petit pays: 50 – 100 hôpitaux, 1000 – 2000 établissements de santé au total, 10 – 80 districts (Sierra Leone, Togo, Burkina Faso, par exemple) Pays moyen: 100-500 hôpitaux, 2000 – 5000 établissements de santé au total, 80 – 500 districts (Ouganda, Tanzanie, par exemple) Grand pays: 500 – 1000 hôpitaux, 5000 – 10000 établissements de santé au total, 500 – 1000 districts (République démocratique du Congo, Nigéria, par exemple)

2.2

Estimations nationales

La méthode d’échantillonnage recommandée pour l’enquête SARA est un échantillon stratifié par type d’établissement de santé et autorité responsable représentatif à l’échelle nationale. Avantages de cette méthode d’échantillonnage: (1) la simplicité relative du choix de l’échantillon si une liste de tous les établissements est disponible (2) l’absence d’effets de grappe, et Les unités administratives qui constituent les unités primaires d’échantillonnage pour l’échantillon par zone devrait chacune inclure environ de 1 à 5 établissements de santé (communes, sous-comtés, villages) 4 Le nombre des districts dans l’échantillon dépend du nombre d’établissements par district 3

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

(3) la possibilité de contrôler précisément la taille de l’échantillon par type d’établissement et autorité responsable. Le plan d’échantillonnage pour l’enquête sur les établissements sera différent pour chaque pays ; la sélection d’un échantillon stratifié par type d’établissement et par autorité responsable représentatif à l’échelle nationale inclut toutefois généralement les cinq étapes suivantes : (1) détermination des établissements qui remplissent les conditions requises (2) établissement de la liste de base (3) détermination des domaines et/ou des strates (4) détermination de la taille de l’échantillon, et (5) sélection de l’échantillon dans la liste. Des précisions sur les différentes étapes sont données dans la présente section.

Étape 1. Détermination des établissements qui remplissent les conditions requises La première étape consiste à déterminer les caractéristiques des établissements qui constituent la population de l’étude. La base d’échantillonnage sera composée de tous les établissements qui remplissent les critères d’admissibilité définis dans un pays. Exemples de critères d’admissibilité : (1) l'autorité responsable; (2) le type d’établissement (des centres de soins de santé primaires aux hôpitaux du niveau tertiaire); ou (3) les établissements situés dans une certaine zone géographique. Plusieurs de ces critères sont souvent utilisés conjointement. Pour l’enquête SARA, il est recommandé d’inclure dans la base d’échantillonnage des établissements de santé de tous les types, quelle qu’en soit l’autorité responsable (public, privé avec but lucratif, ONG, organisations confessionnelles, etc.). Des établissements de santé spécialisés comme des hôpitaux ophtalmologiques, des dispensaires dentaires, etc. peuvent être exclus.

Étape 2. Construction de la base d’échantillonnage Lorsqu’une liste de base est élaborée pour une enquête, notamment l’échantillonnage pour une enquête sur les établissements, il convient de tenir compte de trois principes. La base, dans toute la mesure possible, doit être : (1) complète, (2) exacte, et (3) actuelle. Une liste complète est une liste qui inclut tous les établissements d’un pays (publics et privés) et contient un identifiant unique ainsi que des informations sur la région/le district, le type d’établissement, l’autorité responsable, et la désignation urbain/rural pour chaque établissement. S’il existe une liste de référence des établissements pour un pays, elle peut servir de base d’échantillonnage.

2. Echantillonnage

Il n’existe pas souvent une liste de base qui soit complète, exacte et actuelle, et couvre les secteurs public et privé. Aussi faut-il élaborer une telle liste avant de sélectionner un échantillon. À moins qu’un pays ne tienne une liste de référence complète des établissements, les autorités ne disposent pas toujours de données à jour sur les établissements de santé opérationnels dans le pays. La couverture des établissements privés est souvent irrégulière et périmée ; ils peuvent avoir fermé ou déménagé, et il n’existe généralement pas de définition standard du type d’établissement dans le secteur privé. Une liste initiale fournie par le ministère de la santé a d’ordinaire besoin d’être complétée au moyen d’informations provenant de plusieurs autres sources, comme par exemple les organismes de coordination du secteur privé, les ministères sociaux auprès desquels les ONG enregistrent leurs activités, ou directement d’organisations confessionnelles, privées ou paraétatiques. Dans les situations où il est impossible d’obtenir une liste d’établissements servant de base d’échantillonnage fiable, une méthode d’échantillonnage utilisant 5 deux bases peut être utilisée. Cette méthode associe un échantillon aléatoire simple d’hôpitaux et de grands établissements et un échantillon de zones géographiquement définies dans le pays. L’exactitude de la liste peut poser un problème concernant des détails importants tels que la localisation, le type et l’autorité responsable d’un établissement donné. Une liste, enfin, peut comporter des informations périmées, comme par exemple des établissements qui ne sont peut-être pas opérationnels au moment de l’enquête. L’établissement de la liste des établissements nécessitera probablement la coordination et la vérification des informations recueillies auprès de plusieurs sources. Il est recommandé de contacter en premier lieu le ministère national de la santé, pour obtenir une liste complète des établissements publics. La liste du ministère de la santé peut toutefois être incomplète ou périmée, auquel cas il faudra la compléter au moyen d’informations provenant d’autres sources, des fondations privées, des ONG et des organisations confessionnelles, par exemple. Ces sources secondaires devront être utilisées pour corriger ou actualiser les informations du ministère de la santé. Il y aura probablement plus de chances de recenser les hôpitaux privés et les autres dispensaires spécialisés à l’aide des sources secondaires que par l’intermédiaire du ministère de la santé. En fonction des délais fixés et des ressources budgétaires, on pourra aussi faire appel à d’autres sources pour affiner la base. Il pourra s’agir d’ONG locales et des bureaux locaux de donateurs extérieurs qui pourront être en mesure de compléter et d’actualiser la liste du ministère de la santé dans les régions du pays où ils travaillent. Les listes préliminaires peuvent aussi être vérifiées avec les responsables du secteur de la santé au niveau des régions ou des districts. Des informateurs communautaires peuvent aussi constituer des ressources précieuses dans certains cas, notamment pour vérifier si les établissements figurant dans les listes 6 institutionnelles centrales sont actuellement opérationnels. Le document Creating a master facility list décrit une méthode plus complète pour dresser une liste incluant tous les établissements d’un pays.

Étape 3. Détermination des domaines et/ou des strates Une fois la base d’échantillonnage établie, la sélection des établissements à inclure dans l’évaluation est effectuée suivant les principes de l’échantillonnage probabiliste. Un plan d’échantillonnage stratifié ou en plusieurs phases est d’ordinaire suivi pour garantir une représentation appropriée des divers domaines des établissements remplissant les conditions requises. Dans l’échantillonnage aléatoire stratifié, la base d’échantillonnage (ou population) est divisée en strates (ou sous-populations), dans lesquelles sont ensuite sélectionnés des échantillons indépendants (en général un échantillon aléatoire simple ou systématique dans chaque strate). Les résultats des différentes strates sont ensuite regroupés pour constituer des estimations pour l’ensemble de la population.

Sampling manual for facility surveys for population, maternal health, child health and STD programs in developing countries. North Carolina, MEASURE Evaluation, 2001 (MEASURE Evaluation Manual Series, No.3) http://www.cpc.unc.edu/measure/publications/pdf/ms-01-03.pdf, consulté le 17 décembre 2011). Creating a master facility list. Projet de document. Genève, Organisation mondiale de la Santé, 2013

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

Plusieurs raisons militent en faveur de l’utilisation d’un échantillon stratifié pour l’enquête SARA de préférence à un échantillon aléatoire simple de tous les établissements. Premièrement, un échantillon stratifié garantit l’évaluation d’un nombre prescrit d’établissements de chaque strate (sous-population), alors que la sélection d’un échantillon aléatoire simple de tous les établissements peut entraîner une sous-représentation de certains types d’établissements. Par ailleurs, le nombre des hôpitaux d’un pays étant en général inférieur au nombre des établissements de soins primaires, un échantillon aléatoire simple de tous les établissements d’un pays n’inclura probablement qu’un très petit nombre d’hôpitaux, ou les exclura purement et simplement. En stratifiant l’échantillon par type d’établissement, il est possible de contrôler le nombre des hôpitaux et des établissements de soins primaires pour s’assurer que l’échantillon contient un nombre d’hôpitaux suffisant. Deuxièmement, des estimations plus précises peuvent être obtenues dans les cas où les établissements dans chaque strate sont relativement homogènes et où les écarts entre les strates sont relativement importants. La méthode d’échantillonnage recommandée pour l’enquête SARA consiste à sélectionner tous les établissements ou les hôpitaux du niveau tertiaire d’un pays plus un échantillon aléatoire simple d’établissements du niveau inférieur stratifié simultanément par région, type d’établissement, autorité responsable et distribution entre milieu urbain et rural. Si une allocation disproportionnée est utilisée, des pondérations de l’échantillon devront être appliquées lors de l’analyse des données pour calibrer la représentation nationale. Pour de plus amples informations sur le calcul des pondérations, voir le chapitre 8 du guide pratique SARA sur l’analyse et les résultats. Il est souvent souhaitable de disposer d’estimations distinctes par région, type d’établissement ou autres groupes d’établissements appelés domaines. Les domaines sont les groupes constitués à des fins d’analyse, qu’ils soient géographiques ou catégoriels, pour lesquels des estimations distinctes sont demandées lors de l’analyse des résultats (établissements de soins primaires par opposition à hôpitaux, zones urbaines par opposition à zones rurales, établissements du secteur public par opposition à établissements du secteur privé, différentes régions, par exemple). Domaines et strates sont souvent synonymes mais tel n’est pas toujours le cas, les premiers dépendant de considérations analytiques, tandis que les derniers servent à améliorer l’efficacité de l’échantillonnage. Pour l’enquête SARA, les domaines d’intérêt sont en général les mêmes que les strates, et constituent d’ordinaire un sous-ensemble des éléments suivants : région, type d’établissement, autorité responsable et milieu urbain-rural. Plus les domaines sont nombreux, plus l’échantillon doit être de grande taille pour donner des estimations satisfaisantes.

Étape 4. Détermination de la taille de l’échantillon La détermination de la taille de l’échantillon est une tâche complexe quelle que soit l’enquête. La taille globale de l’échantillon pour une enquête sur les établissements variera d’un pays à un autre, en fonction de la situation, de la précision requise, et du besoin d’estimations par domaine. Plus l’échantillon est grand, plus les estimations seront précises ; la taille globale de l’échantillon dépendra toutefois aussi du budget, du temps disponible et d’autres contraintes 7. Étant donné un niveau de précision (ou de marge d’erreur) et un niveau de confiance souhaités, il est relativement aisé de déterminer la taille nécessaire de l’échantillon au moyen de formules mathématiques bien connues, à condition de pouvoir faire des hypothèses raisonnables concernant les paramètres inconnus. L’enquête SARA produit des centaines d’estimations, dont chacune nécessiterait un échantillon de taille différente selon les formules utilisées pour déterminer la taille de l’échantillon. On a coutume, en pareil cas, de choisir un petit nombre des estimations les plus importantes, puis de calculer la taille nécessaire de l’échantillon pour chacune d’entre elles et de choisir la plus grande. Une formule couramment utilisée pour calculer la taille de l’échantillon pour l’enquête SARA est présentée à l’annexe 1.

D’après MEASURE Evaluation (2001). Sampling Manual for Facility Surveys for population, maternal health, child health and STD programs in developing countries, MEASURE Evaluation Manual Series, No.3, July 2001. http://www.cpc.unc.edu/measure/publications/pdf/ms-01-03.pdf

2. Echantillonnage

Ajuster la taille de l’échantillon en fonction du nombre de domaines Le plan de l’enquête nécessitera très vraisemblablement une ventilation des estimations entre les domaines d’estimation importants – régions, types d’établissements, milieu urbain-rural. Si l’on souhaite en particulier obtenir des données très fiables pour un domaine donné, il pourra être nécessaire d’accroître la taille de l’échantillon dans ce domaine. Si l’on souhaite par exemple obtenir des données également fiables pour les zones urbaines et pour les zones rurales séparément, il faudra sélectionner des échantillons disproportionnés des deux domaines pour garantir une même taille d’échantillon. À titre d’illustration, l’utilisation d’un système d’échantillonnage proportionné lorsque la distribution milieu urbain-milieu rural est de 65 et 35 pour cent respectivement donnera un échantillon deux fois plus grand pour la partie urbaine que pour la partie rurale, auquel cas l’échantillon urbain sera beaucoup plus fiable que l’échantillon rural. Une fiabilité égale étant souhaitée dans ce cas, la taille de l’échantillon rural devra être accrue proportionnellement. L’échantillon le plus efficace est obtenu lorsque les deux groupes sont de taille égale. En règle générale, pour obtenir la taille d’échantillon requise lorsqu’une fiabilité égale est demandée pour chaque domaine, il faut multiplier la taille voulue de l’échantillon calculée pour un domaine par le nombre de catégories incluses dans le domaine. Par conséquent, si des estimations également fiables sont demandées pour cinq régions, par exemple, la taille de l’échantillon correspondra à cinq fois la valeur calculée au moyen de l’équation ci-dessus. Le budget de l’enquête exclura probablement un échantillon de si grande taille, et des compromis seront nécessaires. Il faudra notamment assouplir le critère de l’intervalle de confiance pour les estimations des domaines. Il sera aussi possible de choisir les domaines les plus importants pour la fiabilité la plus rigoureuse et permettre que les autres domaines soient mesurés quelle que soit la fiabilité résultant d’un échantillon proportionné. Une autre possibilité pour déterminer la taille des domaines et celle de l’échantillon global consiste à utiliser pour les calculs la formule présentée dans l’annexe 1 séparément pour chaque domaine d’intérêt. La taille globale de l’échantillon sera alors la somme des échantillons des domaines. L’échantillonnage pour mesurer le changement Les enquêtes sur les établissements ont souvent pour but le suivi des changements au fil du temps. La nécessité de mesurer le changement influe sur les opérations des enquêtes et le plan d’échantillonnage d’une enquête sur les établissements. Trois méthodes peuvent être envisagées lorsqu’il s’agit de sélectionner l’échantillon pour la répétition d’une enquête SARA dans un pays : (a) l’utilisation du même échantillon d’établissements à chaque occasion, (b) l’utilisation des groupes d’établissements par roulement ou de groupes de remplacement, ou (c) l’utilisation, chaque fois, de nouveaux échantillons différents. Du point a) au point c), le biais d’échantillonnage augmente pour les estimations du changement. Le biais d’échantillonnage est le plus faible lorsque le même échantillon d’établissements est utilisé à chaque occasion, la corrélation entre les observations étant la plus élevée. Ajustement pour non-réponses Le calcul de la taille de l’échantillon part du principe que tous les établissements dans l’échantillon seront couverts par l’évaluation. L’exhaustivité des réponses est cependant rarement atteinte sur le terrain, de sorte que la taille calculée de l’échantillon doit être accrue par un facteur reflétant le taux prévu de non-réponse. En l’absence d’autres informations préalables, il est recommandé d’augmenter d’au moins 10% la taille de l’échantillon pour compenser les non-réponses. Ajustement de la taille de l’échantillon pour une population finie Lorsqu’il y a peu d’établissements dans l’univers à évaluer, la taille de l’échantillon représente une proportion significative (5 pour cent ou plus, par exemple) de ce total. La taille calculée (n) de l’échantillon doit alors être réduite par le facteur 1-n/N, où N est le nombre total des établissements d’un pays.

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

Résumé de la méthode de calcul de la taille de l’échantillon 1. 2. 3. 4. 5. 6. 7. 8. S’assurer des principales estimations d’intérêt. Choisir celles qui sont le plus proches de zéro ou de 100 pour cent : celles qui ont une petite ou une grande valeur de p. Utiliser la formule présentée à l’annexe 1 pour calculer la taille de l’échantillon (n). Choisir la valeur de n la plus élevée. Ajuster n à la hausse pour compenser les non-réponses. Ajuster n à la hausse pour tenir compte des domaines d’estimation. Évaluer l’inclusion d’établissements précédemment retenus pour la répétition d’une enquête SARA. Évaluer n relativement aux contraintes budgétaires et du terrain ; réviser le cas échéant.

Étape 5. Sélection de l’échantillon Échantillonnage stratifié Une fois la stratification et la taille de l’échantillon choisies, l’étape ultime consiste à sélectionner l’échantillon des établissements à évaluer dans la liste de base. La stratégie d’échantillonnage la plus simple est l’allocation proportionnée, qui consiste à utiliser pour chaque strate la même fraction d’échantillonnage. Si, par exemple, il y a 1000 établissements de santé dans un pays, et que la taille de l’échantillon est de 150, il faudra sélectionner 150/1000 = 15% des établissements dans chaque strate. Il est parfois souhaitable d’utiliser une fraction d’échantillonnage différente pour chaque strate. Les hôpitaux représentent par exemple en général un petit pourcentage du nombre total d’établissements dans un pays, mais il est souvent souhaitable de communiquer des résultats pour ce sous-groupe. Si la même fraction d’échantillonnage est utilisée pour les hôpitaux et pour d’autres types d’établissements, le nombre des hôpitaux inclus dans l’échantillon sera faible, et les estimations reposant sur un échantillon aussi petit ne seront pas suffisamment fiables pour figurer dans un rapport. La solution à ce problème peut être une surreprésentation des hôpitaux dans l’échantillon pour réduire l’erreur associée. C’est ce qui est appelé l’échantillonnage disproportionné, des fractions d’échantillonnage différentes étant utilisées pour différentes strates, et cela nécessite l’application de pondérations d’échantillonnage dans l’analyse des données pour compenser le déséquilibre de l’échantillonnage. Il est recommandé, dans la mesure du possible, d’inclure dans l’échantillon tous les hôpitaux figurant dans la liste de base. S’il est impossible de couvrir tous les hôpitaux en raison des contraintes budgétaires et autres, tous les hôpitaux du niveau tertiaire doivent être inclus dans l’échantillon, et un échantillon des autres hôpitaux doit être sélectionné. La proportion des hôpitaux à inclure dans l’échantillon dépend dans une large mesure des ressources disponibles, et ils doivent être surreprésentés par rapport aux autres types d’établissements de santé.

2. Echantillonnage

Échantillonnage en grappes L’échantillonnage en grappes s’effectue en deux étapes. Une zone géographique est d’abord sélectionnée. Puis des établissements sont sélectionnés dans cette zone. L’utilisation de ce type d’échantillonnage a pour principale raison la réduction de la distance entre les établissements sélectionnés et, partant, la réduction des coûts. Cette approche peut être utilisée dans des pays très grands ou dans des pays où les déplacements, pour d’autres raisons, prennent beaucoup de temps. En règle générale, la procédure recommandée dans la plupart des pays serait l’utilisation d’un échantillon d’établissements sélectionné en une étape. Si le nombre approximatif d’établissements dans une zone primaire d’échantillonnage (province, district ou administration locale) est connu, la sélection de zones proportionnelles au nombre d’établissements dans chaque zone est recommandée. Cela signifie que des zones qui comptent un grand nombre d’établissements auront plus de chances de faire partie de l’échantillon. Un nombre égal d’établissements dans chaque zone devrait alors être sélectionné. Des informations relatives à la zone dont un établissement dépend seront généralement disponibles grâce à une liste de référence des établissements. Pour sélectionner les zones, suivre la même démarche que pour l’échantillonnage des établissements, à la différence près que c’est le nom des zones sélectionnées qui est retenu, et non pas le nom de l’établissement. La procédure d’échantillonnage sera ensuite être répétée pour la sélection des établissements dans les zones géographiques sélectionnées. La méthode d’échantillonnage aléatoire avec Excel est décrite dans la section 1.4. L’utilisation de l’approche décrite pour l’échantillonnage en grappes n’influera pas sur les chances d’un établissement donné de figurer dans l’échantillon. Aussi les pondérations utilisées pour les établissements resteront-elles inchangées. L’utilisation de l’échantillonnage en grappes oblige à accroître la taille de l’échantillon. La structure d’un échantillon en grappes le rend moins représentatif, les établissements situés à proximité les uns des autres tendant à être relativement égaux par rapport à d’autres établissements. C’est ce qui est décrit comme l’effet de structure, que l’on peut ajuster en gonflant l’échantillon par le facteur de l’effet de structure. L’effet de structure est décrit plus en détail dans l’annexe 1. Échantillonnage mixte sur liste et par zone On trouvera de plus amples détails sur la méthode mixte d’échantillonnage sur liste et par zone dans le document Sampling Manual for Facility Surveys for Population, Maternal Health, Child Health and STD 8 Programs in Developing Countries . Établissements de remplacement Des établissements de remplacement devront être sélectionnés pour les cas où un établissement de l’échantillon ne peut être couvert par l’enquête (l’établissement a été fermé, ou a déménagé, par exemple). Les établissements de remplacement seront sélectionnés dans la feuille de calcul Excel utilisée pour choisir les établissements inclus dans l’échantillon. En règle générale, choisir les 10 établissements de la liste suivant les établissements dans l’échantillon pour chaque strate. Ils constitueront les établissements de remplacement en cas de besoin.

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

Exemple 1: Déterminer la taille de l’échantillon L’exemple suivant décrit les étapes du calcul de la taille de l’échantillon pour un échantillon représentatif à l’échelle nationale stratifié par type d’établissement et autorité responsable. Remarque : ceci est un exemple simple de calcul de la taille d’un échantillon destiné à démontrer les étapes de base. 1. Déterminer le nombre d’établissements inclus dans la base d’échantillonnage classés par type d’établissement/autorité responsable. Type d’établissement/ autorité responsable Hôpital - public Hôpital - privé Centre de santé - public Centre de santé - privé Poste de santé - public Poste de santé - privé Total 2. Nombre total d’établissements 27 19 51 235 713 152 1197

Déterminer la taille de l’échantillon pour les établissements du niveau primaire sur la base du nombre total d’établissements dans la base d’échantillonnage et des strates d’intérêt. Pour l’enquête SARA, les hôpitaux sont en général surreprésentés pour garantir qu’ils sont en nombre suffisant dans l’échantillon pour les indicateurs relatifs aux hôpitaux. Aussi est-il proposé d’inclure tous les hôpitaux dans l’échantillon.

Utiliser la formule suivante:

n = [[ ( z2 * p * q ) + ME2 ] / [ ME2 + z2 * p * q / N ]]*d où: n = taille de l’échantillon z = niveau de confiance de 95% (1,96) ME = marge d’erreur (15%) p = la proportion prévue d’établissements présentant la caractéristique voulue (0,5) q = 1-p d = effet de structure (1) ajouter une note en bas de page sur l’effet de structure Tous les établissemen ts Hôpital - public Hôpital - privé Centre de santé public Centre de santé privé Poste de santé public Poste de santé privé Total 27 19 51 235 713 152 1197 Niveau primair e 0 0 51 235 713 152 1151 Taille de l’échantillo n primaire 0 0 24 37 41 34 136 Taille globale de l’échantillo n 27 19 24 37 41 34 182

Hôpitau x 27 19 0 0 0 0 46

z 1,9 6 1,9 6 1,9 6 1,9 6 1,9 6 1,9 6

p 0, 5 0, 5 0, 5 0, 5 0, 5 0, 5

q 0, 5 0, 5 0, 5 0, 5 0, 5 0, 5

ME 0,1 5 0,1 5 0,1 5 0,1 5 0,1 5 0,1 5

Hôpitau x 27 19 0 0 0 0 46

2. Echantillonnage

La surreprésentation des strates où des variations sont les plus probables (strates de moins de 30 établissements) est nécessaire. Cela donnera la taille finale de l’échantillon et les proportions d’échantillonnage pour l’échantillon. Taille de l’échantillon primaire 0 0 24 37 41 34 136 Taille globale de l’échantillon 27 19 24 37 41 34 182

Tous les établissements Hôpital - public Hôpital - privé Centre de santé - public Centre de santé - privé Poste de santé - public Poste de santé - privé Total 27 19 51 235 713 152 1197

Hôpitaux 27 19 0 0 0 0 46

Niveau primaire 0 0 51 235 713 152 1151

z 1,96 1,96 1,96 1,96 1,96 1,96

p 0,5 0,5 0,5 0,5 0,5 0,5

q 0,5 0,5 0,5 0,5 0,5 0,5

ME 0,15 0,15 0,15 0,15 0,15 0,15

Hôpitaux 27 19 0 0 0 0 46

Surrep o

2.3

Échantillonnage probabiliste avec Excel

Une fois les fractions d’échantillonnage déterminées pour chaque strate, les établissements de chaque strate sont sélectionnés au moyen d’une méthode d’échantillonnage probabiliste. La liste de base est divisée selon la stratification choisie, et à l’intérieur de chaque strate (une liste d’hôpitaux de la Région 1, par exemple), les établissements à inclure dans l’échantillon sont sélectionnés par échantillonnage aléatoire simple ou systématique. Les établissements de remplacement des établissements qui sont fermés ou par ailleurs inaccessibles peuvent être sélectionnés au moyen de la même méthode. Pour faciliter la logistique, on peut aussi choisir l’établissement du même type le plus proche dans la même zone géographique. Choisir d’abord les établissements à inclure dans l’échantillon dans la liste de référence des établissements. La liste de référence doit être divisée selon les catégories sélectionnées pour déterminer l’échantillon (citées dans la section 1.3 de l’étape 5). Si la liste de référence des établissements est dans le classeur Excel de Microsoft, copier et coller chaque strate d’établissements dans une nouvelle feuille de calcul dans le classeur. Sur chaque feuille, créer une colonne Aléatoire en inscrivant « Aléatoire » dans la première cellule. Taper ensuite le mot « VRAI » dans la première cellule de la colonne à droite de la colonne intitulée « Aléatoire », comme illustré dans les champs jaunes de la figure ci-dessous.

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

Utiliser la formule suivante pour attribuer un numéro aléatoire unique à chaque établissement. =IF($B$1, TRUNC(RAND()*(1000000-1)+1), A2) Copier et coller la formule dans la première cellule de la colonne intitulée Aléatoire. Placer le curseur dans l’angle inférieur droite de la cellule contenant la formule et la faire glisser vers le bas. Si les colonnes « Aléatoire » et « VRAI » ne correspondent pas aux deux premières colonnes (A et B), inscrire A au-dessus de la colonne Aléatoire et B au-dessus de la colonne « VRAI » dans la formule. Un numéro aléatoire sera attribué à chacun des établissements. Remplacer ensuite le mot « VRAI » par le mot « FAUX ». Cela aura pour effet de bloquer les numéros aléatoires qui ne recréeront pas de nouveaux numéros aléatoires.

Une fenêtre d’avertissement similaire à celle-ci pourra apparaître: Microsoft Excel Avertissement de référence circulaire Une ou plusieurs formules risquent d’entraîner des calculs incorrects car elles contiennent une référence circulaire. Une cellule contient une référence circulaire si elle fait référence à sa propre valeur, ou à une autre cellule dépendant de la valeur de la cellule d’origine OK Aide

2. Echantillonnage

Cliquer sur OK. Puis filtrer les données pour que la colonne Aléatoire présente les établissements dans un ordre descendant, du plus grand au plus petit.

Examiner le tableau d’échantillonnage final à la section 1.2 de l’étape 5 et déterminer le nombre d’établissements dans les strates à sélectionner. Surligner à partir du premier établissement de la liste tous les établissements nécessaires pour l’échantillon dans cette strate. Ces établissements seront inclus dans l’échantillon pour l’enquête. Répéter pour chaque strate indiquée ci-dessus. Puis sélectionner les dix établissements suivants dans chaque feuille de calcul qui serviront d’établissements de remplacement.

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

Annexe 1 | Calculer la taille de l’échantillon pour l’enquête SARA La formule suivante est couramment utilisée pour calculer la taille de l’échantillon pour l’enquête SARA : 9

n = [[ ( z * p * q ) + ME ] / [ ME + z * p * q / N ]]*d où

est l’échantillon à calculer, 2

Z est le carré de l’écart normal par rapport au niveau de confiance à atteindre, ME est la marge d’erreur, p est la proportion prévue des établissements présentant les caractéristiques requises, q est 1 − p , et d est l’effet de structure Chaque paramètre est expliqué en détail dans le tableau ci-dessous:

On utilise d’ordinaire un niveau de confiance de 95%, pour lequel la valeur correspondante de est 1,96. Aussi Z = 3.84. 2

ME p

La marge d’erreur est le degré d’erreur de l’échantillonnage aléatoire que présentent les résultats d’une enquête. Pour l’enquête SARA, une marge d’erreur de 15% est généralement utilisée. La plupart des estimations de l’enquête SARA revêtent la forme “pourcentage p d’établissements présentant la caractéristique X.” Il est indispensable d’avoir une idée de la valeur de p pour utiliser la formule servant à calculer la taille de l’échantillon. La valeur de p utilisée pour le calcul de la taille de l’échantillon n’a pas besoin d’être très précise (l’enquête, sinon, ne serait pas nécessaire), et on peut la trouver dans des enquêtes antérieures menées dans le pays, ou obtenue auprès de pays ayant mené des enquêtes similaires. L’effet de structure est une valeur qui reflète le ratio des variances d’échantillonnage, où le numérateur est la variance du plan de l’échantillon utilisé pour l’enquête sur les établissements en question, et le dénominateur la variance qui résulterait de l’utilisation d’un échantillon aléatoire simple d’établissements de taille identique. L’effet de structure reflète les effets de la stratification, des phases de la sélection et du degré de mise en grappes utilisé dans l’enquête sur les établissements. L’effet maximum est généralement imputable à la composante mise en grappes, qui indique la mesure dans laquelle deux établissements de la même grappe ont la même caractéristique en comparaison de deux établissements choisis au hasard dans la population des établissements. L’interprétation de l’effet de structure réside dans la mise en lumière de la fiabilité sensiblement réduite de l’échantillon par rapport à un échantillon aléatoire simple de la même taille. Si l’effet de structure était de 1,2, par exemple, l’échantillon d’établissements présenterait une variance d’échantillonnage de 20 pour cent supérieure à un autre plan utilisant un échantillonnage aléatoire simple. Pour un échantillon stratifié extrait d’une liste de base sans mise en grappes, stratégie d’échantillonnage recommandée pour l’enquête SARA, l’effet de structure doit être approximativement de 1,0. Aussi est-il recommandé d’utiliser une valeur de d = 1,0 pour un échantillon sur liste stratifié. Si une stratégie d’échantillonnage différente est utilisée, l’effet de structure pourra être accru. Un échantillon en grappes, par exemple, devrait avoir une valeur de d supérieure. Si un pays dispose d’informations provenant d’une enquête antérieure indiquant la valeur de l’effet de structure, cette valeur devra aussi être utilisée pour calculer les tailles de l’échantillon. Pour l’échantillonnage mixte sur liste et par zone mentionné précédemment, il est recommandé d’utiliser une valeur de d = 1,2.

Il existe plusieurs formules équivalentes.

3. Adaptation du questionnaire

Le questionnaire SARA type utilisé pour mesurer la disponibilité des services et la capacité opérationnelle des services devra être adapté à chaque pays compte tenu des besoins et des caractéristiques particulières de chaque système de santé. L’adaptation du questionnaire sur les établissements de santé devra prendre en compte l’influence qu’auront les changements apportés sur la collecte des données, et des ajustements seront nécessaires pour obtenir des définitions suffisamment spécifiques assurant la comparabilité dans l’ensemble du pays et à l’intérieur des districts. On se souviendra que la méthode SARA n’a pas vocation à fournir des données complètes sur tous les aspects du fonctionnement des systèmes de santé. Elle cible les marqueurs qui sont essentiels pour les programmes employés à intensifier leur action, ou qui mettent en évidence les fondements essentiels des systèmes de santé ou leur « capacité opérationnelle » à intensifier leur action. On tiendra compte de cela en adaptant le questionnaire et en y ajoutant des questions ou des modules supplémentaires.

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

3.1

Adaptation au pays

L’adaptation du questionnaire SARA s’effectue pendant la phase de planification et de préparation. Elle incombe à l’équipe technique de l’enquête SARA, qui travaille en collaboration étroite avec les acteurs nationaux et les principaux conseillers des services techniques appropriés. Les domaines suivants de l’outil SARA doivent toujours être adaptés au contexte national : Domaines Types d’établissements de santé

Documents de référence Classification nationale des infrastructures sanitaires

Observations La classification des types d’établissements doit correspondre à la classification nationale, structures publiques et privées incluses. Elle doit être conforme à l’ensemble des services proposés par chaque profil d’établissement (d’après l’ensemble national de base des services essentiels, le cas échéant). Les types d’autorités responsables doivent correspondre à la classification nationale des autorités potentiellement responsables d’un établissement. La liste proposée des ressources humaines disponible dans le questionnaire doit être établie conformément à la classification officielle des personnels de santé diplômés à laquelle seront ajoutées les catégories appropriées. La liste des directives incluse dans le questionnaire doit correspondre aux directives officielles. Des listes types de marqueurs pour les médicaments/vaccins sont proposées dans le questionnaire conformément aux normes internationales*. S’il existe dans certains cas un traitement national particulier, le questionnaire devra être modifié en conséquence (marqueurs). La section ARV du questionnaire dresse la liste de tous les médicaments ARV. La section ARV doit être adaptée sur la base du traitement de première intention officiel recommandé et des médicaments recommandés pour la PTME. Un intervalle type de 2 ans entre les mises à jour du cycle de formation du personnel est utilisé dans le questionnaire. Si la politique officielle indique un calendrier des mises à jour de la formation du personnel différent, le questionnaire devra en rendre compte.

Autorité responsable des établissements de santé

Classification nationale des infrastructures sanitaires Catégories officielles des ressources humaines pour la santé

Catégories de personnel

Directives relatives aux services

Directives nationales relatives aux services de santé Politique pharmaceutique nationale et autres politiques pharmaceutiques particulières (médicaments essentiels, tuberculose, calendrier vaccinal, etc.) Protocole ARV national

Politique pharmaceutique nationale

Personnel qualifié

Cycle de formation officiel pour les personnels de santé

* Des documents de référence détaillés pour les médicaments sont disponibles dans le recueil des indicateurs SARA.

3. Adaptation du questionnaire

3.2

Apporter des modifications à la structure du questionnaire

Le questionnaire SARA existe également en format électronique avec des outils automatiques de traitement des données et de production des résultats. Si ces outils automatiques sont utilisés, la structure du questionnaire devra être modifiée comme suit : • Ajouter une question: Des questions particulières au pays qui sont indispensables pour mesurer des marqueurs de la fourniture des services peuvent être ajoutées au questionnaire. Une manière pratique recommandée de numéroter ces questions particulières consiste à utiliser le code ISO.2 du pays*, comme par exemple : − SL_01 : où SL correspond au code ISO.2 pour la Sierra Leone + la numérotation (en fonction du nombre de questions ajoutées) *Voir la liste détaillée des codes de pays ISO à l’adresse: http://www.iso.org/iso/country_codes/iso_3166_code_lists/country_names_and_code_elements.htm • Supprimer une question: Il est possible que certaines questions ne soient pas adaptées ou applicables à un pays. En pareil cas, une question pourra être supprimée. Elle sera retirée du questionnaire et le numéro de la question sera également supprimé et il ne sera pas réutilisé. Cette opération doit rester occasionnelle – l’enquête SARA vise à mesurer un minimum de marqueurs qui sont définis pour la fourniture des services. La suppression d’un trop grand nombre de questions modifierait les paramètres de l’évaluation. • Modifier le texte d’une question: Le texte d’une question ne doit pas être remplacé par une autre question. Une explication peut être ajoutée entre parenthèses pour aider la personne interrogée à répondre à la question, le cas échéant. Il est très important de conserver chaque question avec son numéro initial et, si vous pouvez ajouter ou supprimer des questions, vous êtes prié de NE PAS modifier le contenu des questions existantes. • Schémas d’aiguillage: Tout ajout ou suppression affectant un schéma d’aiguillage dans le questionnaire devra être actualisé en conséquence.

3.3

Conseils importants

• Ne pas modifier la numérotation: la structure de numérotation originale du questionnaire type doit être conservée. Toute modification de la numérotation affectera les liens avec les outils existants de traitement automatique des données et de production automatique des résultats. • L’objectif de l’enquête SARA est de mesurer, d’après des marqueurs essentiels, l’ensemble minimum de services qui devrait être disponible dans les établissements de santé. Il est important de ne pas s’écarter du concept SARA en ajoutant une longue liste de points supplémentaires (l’enquête SARA n’a pas pour objet de recenser tous les éléments qui devraient être présents dans un établissement). • On se souviendra également que l’adjonction d’éléments supplémentaires à l’outil influera sur la formation et sur la collecte et l’analyse des données. Tout ajout de questions doit aussi être examiné sous l’angle des résultats de l’analyse. Avant d’ajouter une question, on l’inclura d’abord dans le plan de l’analyse pour se rendre compte de l’utilisation qui en sera faite dans l’analyse.

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

3.4

Administration du questionnaire

Le questionnaire SARA est disponible en format papier et en format électronique. Questionnaire papier: Toute modification sera apportée suivant l’adaptation au pays. Questionnaire électronique: Pour l’enquête SARA, le logiciel recommandé pour les questionnaires électroniques est CSPro. Une version standard du questionnaire est disponible dans ce format et toutes les modifications seront apportées suivant l’adaptation au pays. Pour de plus amples informations sur CSPro consulter: http://who.int/healthinfo/systems/sara_introduction/en/index.html http://www.census.gov/population/international/software/cspro/csprodownload.html

3.5

Ajouter des modules

Le questionnaire SARA est couramment administré en association avec un module de vérification des données qui permet d’examiner les dossiers des établissements de santé couverts par l’enquête. Le module de vérification des données devra aussi être adapté en fonction des impératifs du pays. L’adaptation consiste à sélectionner 4 ou 5 indicateurs de base dans la liste du module proposée. Les indicateurs sélectionnés apparaîtront dans la version papier et dans le format électronique de la section vérification des données (également disponible au format CSPro). Le questionnaire SARA peut aussi être utilisé en association avec des modules supplémentaires, évaluation de la gestion ou qualité des soins, par exemple. Ces modules particuliers ne font pas partie de l’ensemble standard et ils devront être conçus en conséquence.

4. CSPro pour SARA + vérification des données

Pour l'enquête SARA, des outils automatisés pour la collecte électronique de données, le traitement de données et le calcul d'indicateurs ont été développés en utilisant le logiciel de traitement des recensements et enquêtes (CSPro). Un manuel détaillé avec des instructions étape par étape pour utiliser CSPro est disponible en tant que document autonome. Les sujets suivants sont abordés dans le manuel CSPro :

Introduction • Caractéristiques de CSPro • CSPro pour SARA Informations techniques • Matériel et logiciels requis • Installation du logiciel Application CSPro pour SARA • Ouvrir l’ application CSPro pour SARA • Structure des fichiers CSPro pour SARA Configurer SARA • Création du fichier modèle • Créer le fichier modèle de remplacement des établissements • Créer le fichier interviewer ID • Configurer la sélection DV module • Ajouter des nouveaux DV modules • Specifier les mois du DV reporting • Changer la langue d’affichage Apprendre à connaître CSPro • Démarrer CSPro et ouvrir SARA • Explorer l’application de saisie des données Modification de l’application SARA • Modifier un élément du dictionnaire • Supprimer un élément du dictionnaire • Modifier la logique • Ajouter un nouveau module à SARA Exécuter l’application de saisie de données • Vérifier les paramètres • Modifier les formulaires • Exécuter l’application sur un ordinateur de bureau ou un ordinateur portable Vérifier l’exhaustivité des données sur le terrain Concaténation de données • Concaténer les fichiers de données • Chercher les doublons dans le fichier de données fusionné

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

Vérifier et corriger les données dans CSPro • Étape 1 : Ouvrir le jeu de données fusionné à l’aide de l’application de saisie de données • Étape 2 : Vérifier les données des champs clés • Étape 3 : Rechercher les doublons dans les codes d’établissement • Étape 4 : Supprimer un cas • Étape 5 : Séparer le jeu de données final de celui validé par le superviseur • Étape 6 : Comparer les données validées par le superviseur au jeu de données • Étape 7 : L’application de modification par lots pour vérifier l’exhaustivité • Étape 8 : Vérification dépendante (le cas échéant) Modification des indicateurs par lots • Étape 1 : Ouvrir et explorer l’application de traitement par lots • Étape 2 : Attribuer des strates pour l’analyse • Étape 3 : Pondération • Étape 4 : Modifier les éléments propres à chaque pays • Étape 5 : Exécuter l’application de modification par lots Exporter les indicateurs • Étape 1 : Ouvrez l’application d’exportation de données de CSPro • Étape 2 : Sélectionnez les éléments à exporter • Étape 3 : Exporter les données

5. Guide de l’enquêteur

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

5.1

Aperçu des méthodes de collecte des données

L’enquête SARA sur la disponibilité et la capacité opérationnelle des services est conçue comme un outil systématique à l’appui de la vérification annuelle des données et de la fourniture des services dans les établissements, destiné à couvrir les établissements de santé tant publics que privés et confessionnels. L’objet de l’enquête est de fournir des données factuelles sur les progrès des systèmes de santé aux fins de l’examen annuel du secteur de la santé, de recenser les lacunes et les faiblesses responsables de l’inadéquation de la fourniture des services et de la couverture des interventions auxquelles il convient de remédier. Elle établit les bases pour la planification et le suivi des interventions destinées à intensifier l’action et à améliorer la fourniture des services dans les domaines de la santé maternelle et infantile, du VIH, de la tuberculose, du paludisme et des maladies non transmissibles, notamment. Le Guide de l’enquêteur est conçu pour fournir aux personnes chargées de la collecte des données les connaissances et les compétences nécessaires pour mener efficacement l’évaluation d’un établissement de santé. Il est destiné à aider et guider les membres du personnel qui ont été désignés comme enquêteurs pour procéder à l’évaluation des établissements de santé. Le guide donne des consignes générales sur les compétences requises pour mener des entretiens et recueillir des informations ; des explications détaillées et la définition de certaines questions pour assurer une compréhension uniforme du contenu et une approche commune de l’enregistrement des résultats par différentes personnes chargées de la collecte des données dans différents établissements ; et des instructions sur la manière de recueillir des données dans un établissement. Les principaux objectifs du Guide de l’enquêteur sont les suivants : • Initier les participants à l’utilisation de l’outil d’évaluation de la disponibilité et de la capacité opérationnelle des services (SARA) et de l’outil de vérification des données communiquées par les établissements (examen des registres). • Faire comprendre les raisons de la conduite d’une évaluation d’un établissement de santé. • Former les participants à la manière de mener un entretien et de remplir les questionnaires. • Familiariser les participants avec les méthodes de collecte des données sur support papier et au moyen du logiciel CSPro.

5.1.1 Méthode d’enquête Objectifs de l’outil d’évaluation de la disponibilité et de la capacité opérationnelle des services L’outil d’évaluation de la disponibilité et de la capacité opérationnelle des services a été conçu pour permettre aux enquêteurs de recueillir des informations sur les capacités fonctionnelles essentielles et la disponibilité des services dans les établissements de santé. L’outil d’évaluation est destiné à évaluer rapidement et à surveiller la disponibilité et la capacité opérationnelle des services, notamment de certaines interventions de santé de base. Il n’a pas pour objet d’évaluer la qualité des services ou des ressources, et il ne vise pas une maladie en particulier.

5. Guide de l’enquêteur

La méthode SARA a été conçue par l’AID des États–Unis et l’OMS en collaboration étroite avec les ministères de la santé et les partenaires mondiaux pour : • aider les pays à évaluer et surveiller la disponibilité des services au niveau du district et des établissements de santé ; • suivre les programmes destinés à intensifier les activités ; • évaluer la distribution équitable et appropriée des services et des ressources ; et • faciliter la prise des décisions en dotant les planificateurs au niveau national et du district des compétences et des outils nécessaires pour cartographier et surveiller régulièrement la disponibilité des services et des ressources. Cette méthode vise à combler le déficit de données essentielles requises pour suivre le renforcement des systèmes de santé et elle est destinée à être mise en œuvre comme un système de suivi systématique des services au niveau national et du district. Objectifs de l’outil de vérification des données communiquées par les établissements L’outil de vérification des données communiquées par les établissements est administré conjointement avec l’enquête SARA et il permet d’examiner les registres des établissements de santé couverts par l’enquête. L’objet du module de vérification est de fournir des informations essentielles sur la qualité des données mensuelles communiquées par les établissements de santé à l’échelon supérieur en comparant les écarts entre les données de la source primaire et le rapport mensuel. Ces informations essentielles sont intégrées dans la fiche d’information sur la qualité des données. Instruments de collecte des données Un questionnaire de base type a été conçu pour l’enquête SARA. Ce questionnaire est adopté en général dans son intégralité, puis il est adapté au niveau du pays, notamment pour ce qui est d’éléments tels que le nom et le type des établissements, le personnel, les médicaments de première intention, etc. Il est d’ordinaire mis à l’essai lors d’une visite pilote dans le pays aux fins des ajustements ultimes et de sa validation. Cet outil est en général utilisé en liaison avec des modules supplémentaires tels que l’outil de vérification des données communiquées par les établissements (joint à la suite du questionnaire SARA). Les instruments de collecte existent sur support papier ou sont utilisés concurremment avec des outils de collecte électroniques (tablettes, ordinateurs portables, etc.). Rôle de l’enquêteur La principale responsabilité de l’enquêteur est d’utiliser le questionnaire correctement pour recueillir des informations aussi exactes que possible en posant des questions aux personnes appropriées et en enregistrant fidèlement les réponses. L’évaluation des établissements de santé est effectuée en équipe. Une équipe compte d’ordinaire 2 personnes chargées de la collecte des données qui travaillent en relation étroite avec un superviseur de terrain. Principales tâches des personnes chargées de la collecte des données: • Se rendre dans les établissements de santé et recueillir des informations. • Vérifier les coordonnées géographiques (le cas échéant). • Remplir un formulaire SARA papier et/ou un formulaire électronique de collecte des données, et le module de vérification des données communiquées par les établissements, et d’autres modules, le cas échéant.

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

• Sauvegarder les données électroniques sur une carte mémoire/une clé USB. • Rendre compte au superviseur de terrain en fin de journée. Règlement de l’enquête Le règlement suivant a été établi pour assurer le succès de l’outil d’évaluation de la disponibilité et de la capacité opérationnelle des services et tous les enquêteurs s’y conformeront rigoureusement. • La présence quotidienne des enquêteurs pendant toute la durée des activités de terrain est requise. Une personne qui arrive en retard ou s’absente pendant une partie du travail de terrain (pour une journée ou partie d’une journée) sans approbation préalable peut être congédiée. • Pendant la durée des activités de terrain, les enquêteurs représentent l’organisme d’exécution. Vous devez vous conduire de manière professionnelle et vous comporter de façon agréable avec le public. N’oubliez jamais que c’est grâce à la bonne volonté et à la coopération des personnes que nous interrogeons que nous pouvons faire notre travail. C’est pourquoi une personne qui se montrerait invariablement agressive, abrupte ou irrespectueuse vis-à-vis d’autrui pourrait être exclue de l’équipe d’enquête. • Pour le succès de l’enquête, les membres de chaque équipe doivent collaborer étroitement. Un membre de l’équipe qui, de l’avis du responsable de l’enquête, déstabilise l’équipe peut être invité à changer d’équipe ou être congédié. • Il est important que les données recueillies pendant les activités de terrain soient cohérentes et exactes. Les membres du personnel de terrain peuvent être congédiés à tout moment au cours des activités de terrain si la qualité de leur travail est insuffisante. • Les véhicules et le carburant fournis pour l’enquête sont réservés à un usage officiel. Toute personne qui utiliserait un véhicule à des fins personnelles sans autorisation serait congédiée. • Les données sont confidentielles. Des données confidentielles ne doivent en aucun cas être communiquées à des tiers. Toute personne qui enfreint cette règle, et trompe ainsi la confiance que lui font les personnes interrogées, sera congédiée.

5.1.2

Planification des activités de terrain pour l’enquête SARA

Les activités intéressant les personnes chargées de la collecte des données dans la planification du travail de terrain pour l’enquête SARA sont décrites ci-après. Calendrier des activités de terrain Le superviseur de terrain attribuera à chaque équipe la liste des établissements où elle devra se rendre pour recueillir des données. La liste inclura le nom et le lieu de chaque établissement ainsi que les informations d’identification des établissements demandées dans le questionnaire SARA. La liste inclura le cas échéant le nom de la personne responsable de l’établissement, les numéros de téléphone et autres coordonnées nécessaires pour contacter l’établissement, et les heures d’ouverture de l’établissement et/ou les heures auxquelles divers services sont fournis. Le superviseur de terrain fournira également à l’équipe une carte indiquant le lieu (ou la localisation approximative) de tous les établissements de leur liste. L’équipe devra généralement arriver dans un établissement à l’heure d’ouverture officielle ou avant ; aussi l’équipe devra-t-elle loger à une distance raisonnable de l’établissement à visiter le lendemain.

5. Guide de l’enquêteur

Contact préalable avec les autorités/établissements En règle générale, le responsable de l’enquête ou un autre membre principal de l’équipe aura informé les autorités compétentes de la nature et du but de l’évaluation de l’établissement de santé avant le début des activités de terrain. Une lettre officielle de l’autorité responsable des établissements couverts par l’enquête aura été envoyée au bureau régional ou aux bureaux de district de cette organisation. Chaque équipe devra être munie d’un exemplaire de cette lettre pour la présenter aux établissements, le cas échéant. Logistique Avant le départ sur le terrain, le superviseur s’assurera que l’équipe est munie des questionnaires et des autres matériels nécessaires pour s’acquitter de sa tâche. Chaque matin, avant de partir pour les visites de terrain, l’équipe vérifiera qu’elle est munie de tous les matériels nécessaires.

Liste de contrôle des matériels pour les personnes chargées de la collecte des données  Liste des équipes de collecte des données et leurs coordonnées.  Coordonnées du superviseur de terrain, notamment un numéro de téléphone mobile (avec un crédit suffisant) pour l’appeler en cas de difficulté sur le terrain.  Calendrier des visites des sites de l’enquête.  Coordonnées des sites à visiter.  Coordonnées des établissements de remplacement à visiter si des visites prévues ne sont pas possibles.  Exemplaires de la lettre de présentation.  Le guide de l’enquêteur SARA (partie 1 et partie 2).  Un formulaire de collecte des données SARA pour chaque établissement de santé à visiter ce jour-là (avec la page de couverture pré-remplie par le superviseur de terrain).  Un formulaire de collecte des données SARA pour chaque site de remplacement qu’il pourra être nécessaire de visiter ce jour-là.  Appareil électronique de collecte des données/tablette/ordinateur portable (chargé complètement, avec le logiciel CSPro installé et le questionnaire SARA téléchargé), un chargeur et une batterie.  Carte mémoire/carte USB pour la sauvegarde des données.  Appareil GPS chargé complètement et configuré correctement (le cas échéant).  Téléphone portable chargé complètement, avec du crédit.  Stylos (les données ne doivent pas être enregistrées au crayon), bloc-note et autres fournitures.  Carnet pour noter des faits importants ou des observations.  Allocation pour frais locaux.  Pièce d’identité avec photographie pour chaque enquêteur.

5.1.3 Activités pendant les visites dans les établissements Une équipe d’enquête doit observer un certain nombre de procédures générales lors d’une visite dans un établissement. Ces procédures sont décrites ci-après. Localiser et vérifier l’établissement inclus dans l’enquête Le superviseur de terrain vous a remis la liste des établissements où vous êtes chargés d’enquêter. Vous devrez faire votre possible pour mener l’enquête dans tous les établissements de votre liste. Si, après avoir contacté

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

les autorités locales, vous ne parvenez pas à localiser un établissement de santé qui figure sur votre liste, ou si vous n’êtes pas sûr qu’un établissement que vous avez trouvé est effectivement celui qui est indiqué dans la liste, contactez votre superviseur de terrain. Si un établissement qui vous a été assigné a fermé, aucun entretien ne sera nécessaire, notez simplement ce fait sur la page de couverture du questionnaire qui vous a été remis. Enfin, vous ne devez pas vous rendre ni procéder à des entretiens dans un établissement qui ne figure pas sur la liste de l’échantillon, sauf si cette visite est spécialement approuvée par le responsable de l’enquête. Valider la page de couverture du questionnaire Avant de commencer à recueillir les données, les enquêteurs doivent s’assurer que les informations figurant sur la première page du formulaire de collecte des données (page de couverture pré-remplie par le superviseur de terrain) sont complètes et correctes. Si cette page contient des erreurs, informez-en le superviseur de terrain en fin de journée. S’il y a lieu, saisissez ces informations sur le formulaire électronique de l’appareil électronique de collecte des données/la tablette ou l’ordinateur portable. Les informations suivantes doivent être notées par les enquêteurs sur la première page du formulaire de collecte des données avant le début de l’enquête : • Date • Nom des personnes chargées de la collecte des données (enquêteurs) • Numéro/code de l’équipe d’enquêteurs (attribué par le superviseur de terrain avant le début des activités de terrain) Relever les coordonnées GPS À votre arrivée dans l’établissement de santé où vous devez enquêter, remplissez la section « coordonnées géographiques » du questionnaire figurant sur la page de couverture. Le système de géolocalisation mondiale par satellite (GPS) sera utilisé pour déterminer précisément la position géographique du site. Des instructions pas à pas relatives à l’utilisation d’un appareil GPS sont données dans la Section 5.5. Obtenir la permission d’enquêter sur l’établissement de santé Les équipes de collecte des données se rendront dans des établissements relevant des pouvoirs publics, dans d’autres établissements gérés par des organisations non gouvernementales, et peut-être également dans des établissements de santé privés. Tous les établissements doivent autoriser la conduite de l’enquête dans leurs locaux. Le jour de l’enquête, les personnes chargées de la collecte des données pourront assurer au personnel de l’établissement qu’aucune des personnes interrogées ne sera citée nommément lors de la présentation des résultats. Le premier contact sur le site consistera à demander à parler à la personne responsable. Si le responsable officiel est absent le jour de l’enquête, l’équipe de collecte des données demandera à voir le responsable par intérim ce jour-là. Ensuite, les personnes chargées de la collecte des données : • se présenteront • expliqueront l’objet de la visite et les activités qui font partie de l’enquête • remettront au responsable les lettres de présentation de l’organisation compétente et les lettres expliquant l’enquête et autorisant la visite de l’établissement • une fois le consentement obtenu, elles signeront la section « consentement éclairé » sur la page de couverture du questionnaire attestant que le consentement de la personne responsable a été obtenu. Si un entretien vous est refusé dans l’établissement et qu’aucun de vos arguments n’infléchit la position du responsable, contactez le superviseur de terrain et indiquez-lui le nom de l’établissement, l’autorité responsable, et le lieu. Le superviseur de terrain fera tout son possible pour contacter les personnes compétentes qui pourront aider à convaincre le personnel de l’établissement de santé d’autoriser l’entretien.

5. Guide de l’enquêteur

Rencontrer la personne responsable de l’établissement L’un des objectifs importants de l’enquête est d’obtenir des réponses correctes et cohérentes aux questions. Les questions portant sur un établissement et non sur une personne particulière, les informations pourront être obtenues auprès d’un éventail de personnes, à condition qu’elles connaissent le sujet. Pendant l’entretien, les enquêteurs pourront être appelés à s’entretenir avec diverses personnes pour obtenir des informations complètes et correctes. Les personnes chargées de la collecte des données devront élaborer un plan pour couvrir toutes les composantes du questionnaire dans chaque établissement. Elles devront examiner ce plan avec la personne responsable. Il pourra être utile de rencontrer les superviseurs appropriés (dans les grands établissements) et d’autres membres du personnel qui pourront être invités à autoriser des entretiens et des observations pendant la visite de l’équipe. Dans un petit établissement, cela pourra être relativement aisé dans la mesure où la plupart des services se trouvent dans la même zone générale. Dans des établissements plus grands, plusieurs départements pourront être concernés. Durée de l’enquête La durée de l’enquête dépendra de la taille de l’établissement et de la disponibilité de personnel capable de répondre aux questions ; en général il faut compter de 3 à 5 heures pour un petit poste ou centre de santé, et jusqu’à une journée pour un hôpital.* * Pour l’enquête SARA et l’utilisation de l’outil de vérification des données

5.2

Compétences des enquêteurs

La collecte de données qui rendent compte avec exactitude des services de santé disponibles dans un établissement, qu’il s’agisse d’un petit poste de santé ou d’un hôpital en milieu urbain, requiert des compétences et de la pratique. La présente section contient des instructions générales sur les compétences requises pour recueillir ces informations. Les personnes chargées de la collecte des données doivent se souvenir que la qualité des résultats de l’enquête dépend de la qualité des données qui ont servi à leur calcul. La qualité de ces données dépend dans une large mesure de l’enquêteur. Des instructions de base concernant les pratiques à observer dans les entretiens avec les personnes interrogées sont présentées ci-dessous ainsi que des conseils sur la manière de gérer des situations difficiles dans lesquelles un enquêteur peut se trouver au cours d’un entretien.

5.2.1

Pratiques et techniques d’entretien générales

Pour obtenir des informations exactes d’un agent de soins de santé au travail dans un service de santé, il est important de l’associer au processus de collecte des données. Il existe plusieurs moyens de base d’amener l’agent de soins de santé à coopérer en recueillant des informations exactes et précises. Se montrer respectueux de la personne interrogée L’interaction entre l’enquêteur et toutes les personnes interrogées est très importante. Toutes les personnes interrogées doivent être traitées poliment et avec respect. Les personnes interrogées doivent savoir que leur collaboration et le temps qu’elles prennent pour contribuer au succès de l’enquête sont très appréciés. La première impression qu’une personne interrogée a de l’enquêteur influera fortement sur sa volonté de participer pleinement à l’entretien. Aussi est-il important que l’enquêteur aborde chaque personne à interroger et ses collègues de travail d’une manière aimable, respectueuse et professionnelle.

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

Une manière essentielle de manifester du respect pour un agent de soins de santé au travail est d’avoir de la considération pour les tâches qu’il doit accomplir pendant sa journée de travail et de lui faire savoir que l’enquête n’interférera pas avec ses relations avec les patients. Deux possibilités se présentent à cet effet : 1) si l’agent de santé à interroger est occupé avec un patient, l’enquêteur attend la fin de cette consultation avant de l’aborder, et 2) l’enquêteur attend qu’il n’y ait plus de patients à proximité ou qu’une personne qualifiée soit disponible pour remplir le questionnaire. Au fur et à mesure de son expérience de la collecte des données dans un éventail de services de santé différents au cours de l’enquête, l’enquêteur découvrira par lui-même comment trouver le bon moment dans l’emploi du temps chargé de l’agent de santé. S’il apparaît qu’aucun moment ne se prête jamais à la collecte des données, l’enquêteur doit parler avec l’agent de santé ou avec le membre du personnel responsable pour décider de la meilleure manière de recueillir les données requises en interférant le moins possible. Écouter attentivement la personne interrogée Il est tout aussi important d’écouter attentivement ce que dit la personne interrogée que de poser les questions du questionnaire et de se montrer respectueux. Certaines questions du questionnaire exigent de l’enquêteur qu’il écoute ce que dit la personne interrogée et l’enregistre en entourant simplement d’un cercle une catégorie de réponses imprimées. L’enquêteur doit parfois noter fidèlement la réponse donnée par la personne interrogée si la réponse ne correspond à aucune des catégories énumérées. Dans les deux cas, l’enquêteur doit bien écouter. Il ne doit pas se hâter d’encercler le code avant d’avoir réellement écouté la personne interrogée. Cela pourrait être considéré comme un signe d’irrespect ou un défaut d’attention. Plus important encore, les personnes qui codent une réponse sans attendre risquent souvent d’attribuer aux personnes interrogées leurs propres préjugés, leurs préférences et leurs catégories de réponses préférées. Demander à la personne interrogée son consentement avant de poser les questions Il existe, au début de chaque questionnaire, un formulaire de consentement et des informations d’ordre général qu’il convient de lire à la personne interrogée avant de commencer l’entretien. L’enquêteur est tenu de lire l’intégralité de ces informations à la personne interrogée puis de lui demander son consentement avant de commencer à lui poser les questions. Sans le consentement de la personne à interroger, l’entretien ne peut aller au-delà de la section de couverture. Répondre aux questions de la personne interrogée sans exercer de pression Avant d’accepter de participer, certaines personnes interrogées peuvent poser des questions à l’enquêteur au sujet du but de l’enquête. En pareille situation, l’enquêteur doit répondre aussi directement que possible aux questions qui lui sont posées. Si les personnes interrogées estiment que les informations sont importantes et que l’enquêteur comprend leur situation, leurs réponses seront plus directes et elles répondront probablement de leur mieux aux questions qui leur sont posées. Si elles se sentent forcées de répondre, ou que l’entretien leur pèse, elles risquent de répondre sans bien réfléchir. Ne pas formuler d’opinion ni d’avis sur les pratiques particulières de l’établissement de santé ou sur les questions relatives aux soins aux patients Si une personne interrogée pose des questions qui nécessitent l’opinion ou l’avis médical de l’enquêteur, celuici répondra poliment qu’il est là pour recueillir des informations destinées à donner une vue d’ensemble des services et que ce sont les systèmes et les pratiques de l’établissement qui l’intéressent. Il pourra suffire de donner cette explication et de dire simplement : « Il ne m’appartient pas de formuler un avis ou une opinion ». N’oubliez pas qu’il ne s’agit pas d’éduquer les personnes interrogées mais seulement de les interroger pour recueillir des informations.

5. Guide de l’enquêteur

Lire toutes les questions exactement comme elles sont écrites et dans le même ordre Le libellé de chaque question a été soigneusement choisi, aussi l’enquêteur doit-il lire chaque question à la personne interrogée exactement telle qu’elle est écrite. Il est très important pour cette enquête que chaque question soit posée à chaque personne interrogée de la même manière. Chaque section du questionnaire contient aussi un paragraphe d’introduction qui doit être lu intégralement à la personne interrogée (le cas échéant). L’enquêteur doit parler lentement et distinctement pour que la personne interrogée n’ait pas de difficulté à entendre et à comprendre la question. L’enquêteur sera parfois appelé à répéter une question pour s’assurer que la personne interrogée l’a comprise. En pareil cas, l’enquêteur ne doit pas paraphraser la question mais la répéter exactement comme elle est écrite. Si, après répétition de la question, la personne interrogée ne la comprend toujours pas, il pourra être nécessaire de la reformuler. L’enquêteur devra faire très attention, en modifiant le libellé, de ne pas modifier le sens de la question originale. Pendant les séances pratiques organisées dans un établissement qui ne fait pas partie de l’échantillon de l’enquête, si les enquêteurs constatent qu’une même question a besoin d’être répétée à plusieurs personnes interrogées, il faudra en prendre note et signaler ce point au superviseur de terrain pour que, le cas échéant, le libellé puisse être modifié dans le questionnaire. Présenter les choses sans détour Certaines questions de l’enquête concernent la disponibilité de certains articles, l’enquêteur demandant ensuite à les voir. Les membres du personnel coopéreront plus volontiers s’ils savent à l’avance à quoi s’attendre. Si l’enquêteur pose les questions et demande ensuite à voir les articles, les personnes interrogées pourront penser que vous leur tendez un piège, ou que vous voulez « contrôler » leur réponse. Pour une coopération optimale, l’enquêteur doit toujours informer la personne qu’il interroge de ce qui suit. Par exemple : « Je souhaite savoir si le matériel et les fournitures de base suivants, utilisés dans la prestation des services aux patients, sont disponibles dans la zone générale des soins ambulatoires de cet établissement. Pour chaque article, je vous demanderai de m’indiquer si l’article est disponible aujourd’hui et s’il est opérationnel. J’aurai besoin de voir l’article pour pouvoir remplir complètement ce questionnaire. » Recourir à des relances pour obtenir une réponse Une personne interrogée peut parfois donner une réponse incomplète ou semble avoir mal compris la question. Commencez par simplement répéter une deuxième fois la question telle qu’elle est écrite. Si cela n’aide pas, l’enquêteur devra utiliser des relances pour obtenir la réponse. Les relances consistent à demander des informations supplémentaires sans influer sur la réponse. Par exemple, « Pourriez-vous donner un peu plus d’explications sur ce point? » ou « Pourriez-vous préciser ce que vous entendez par là? ». L’enquêteur ne doit jamais interpréter la réponse d’une personne interrogée et lui demander ensuite si l’interprétation est juste. Tout le monde ne comprend pas de la même manière, notamment parmi les prestataires de services de santé d’un même établissement de santé, certaines des questions au sujet desquelles nous recueillons des données, ou certains des termes utilisés pour décrire des articles ou des pratiques. Si la personne interrogée ne semble pas comprendre ce que demande l’enquêteur, ou si la réponse ne semble pas correspondre aux autres informations recueillies par l’enquêteur, celui-ci peut reformuler ou décrire de façon plus détaillée l’article ou la pratique qui fait l’objet de la question, en prenant des exemples, pour s’assurer que la personne interrogée comprend parfaitement la question à laquelle elle répond. Dans les cas où il peut être nécessaire d’apporter des précisions supplémentaires, l’enquêteur ne doit fournir que le minimum d’informations requises pour obtenir une réponse appropriée. Toutefois, si la personne interrogée semble comprendre la question et que la réponse n’est toujours pas cohérente, l’enquêteur devra enregistrer la réponse telle que donnée par la personne interrogée.

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

Ne jamais suggérer des réponses aux personnes interrogées Si la réponse donnée par la personne interrogée ne correspond pas à la question, l’enquêteur ne doit pas l’encourager en disant par exemple : « Je suppose que vous voulez dire … n’est-ce pas ? ». Dans de nombreux cas, les personnes interrogées approuveront l’interprétation de leur réponse par l’enquêteur, même lorsque ce n’est pas ce qu’elles voulaient dire. L’enquêteur devra le plus souvent recourir à des relances pour amener la personne interrogée à donner elle-même la réponse appropriée, comme par exemple : « Pouvez-vous expliquer un peu plus? » « Rien ne presse. Prenez le temps d’y réfléchir ». Des questions particulières pour lesquelles il pourra être nécessaire de donner des éclaircissements supplémentaires seront examinées dans les instructions détaillées sur la manière de remplir les questionnaires SARA. Même dans ces cas, l’enquêteur ne doit fournir que le minimum d’informations requises pour obtenir une réponse appropriée. À moins d’une consigne spéciale, l’enquêteur ne doit jamais lire à haute voix la liste des réponses codées aux personnes interrogées, même si elles ont du mal à répondre à la question. Rester neutre Le travail de l’enquêteur consiste à recueillir les faits. Un enquêteur doit être aimable, mais ferme ; neutre, tout en manifestant de l’intérêt. Le ton de la voix, les expressions du visage, et même les attitudes corporelles participent à l’instauration du rapport avec la personne que vous interrogez. L’enquêteur ne doit manifester ni surprise, ni plaisir ni désapprobation face à une réponse ou une observation faite par la personne interrogée. Poser toutes les questions prévues Dans la plupart des cas, l’enquêteur pose les questions dans l’ordre de leur apparition dans le questionnaire. Les établissements n’étant pas tous organisés de la même manière, l’enquêteur pourra toutefois constater que pour remplir une section, il doit s’entretenir avec plus d’une personne ou se rendre dans différentes zones de l’établissement. Il appartient à l’enquêteur, lorsqu’il a sauté des sections du questionnaire parce que les informations doivent être recueillies auprès d’une personne différente ou ailleurs, de s’assurer que ces sections sont remplies avant son départ de l’établissement. Ne pas faire espérer des changements immédiats dans la situation du personnel ou de l’établissement L’enquêteur ne doit pas donner à penser qu’il peut immédiatement aider à résoudre des situations que le personnel ou les patients présentent comme des problèmes. Il va fournir des informations aux décideurs et aux planificateurs et responsables sanitaires mais les changements résultant de l’enquête s’inscriront très probablement dans la durée, et leur mise en œuvre sera progressive. Si les patients ou les membres du personnel se plaignent du mauvais état de l’établissement, du matériel ou des fournitures ou d’autres problèmes, l’enquêteur fournira une réponse neutre, sans porter de jugement (« je sais que ces choses sont difficiles », par exemple). Ne pas dissocier les éléments du questionnaire L’enquêteur ne doit jamais détacher les formulaires agrafés ou reliés d’un questionnaire pour accélérer la collecte des données. L’expérience a montré qu’on risque ainsi d’égarer des pages. Remercier la personne interrogée à la fin de l’entretien À la fin de chaque entretien, l’enquêteur doit remercier la personne interrogée pour le temps qu’elle a pris sur son emploi du temps chargé, et lui dire combien il lui en est reconnaissant. Il faudrait lui demander si elle peut indiquer à l’enquêteur où se trouvent le dispensaire/service et/ou la personne qu’il doit voir ensuite.

5. Guide de l’enquêteur

5.2.2 Conseils sur la manière de traiter les situations difficiles La personne interrogée n’est pas disposée à participer Il arrive parfois qu’une personne refuse de participer à l’enquête. L’enquêteur ne doit pas considérer la réticence initiale d’une personne à coopérer comme un refus définitif. Il essaiera de se mettre à la place de la personne qu’il souhaite interroger et de réfléchir aux facteurs qui peuvent être à l’origine de cette réaction. La personne à interroger n’est peut-être pas bien disposée à cet instant particulier ou elle a peut-être mal compris l’objet de la visite. L’enquêteur devra trouver pourquoi la personne refuse de participer, et agir en conséquence. Certains arguments peuvent être utilisés pour persuader une personne de participer : • Les informations qu’elle fournit aideront le ministère de la santé et le gouvernement à mieux comprendre l’efficacité des programmes et à apporter des améliorations au programme qui aideront en définitive les patients. • Si le problème tient à la confidentialité, l’enquêteur assurera à la personne à interroger que tous les collaborateurs de l’enquête se sont engagés à respecter la confidentialité et que le nom de la personne interrogée ne sera pas communiqué à autrui, pas même à son/ses superviseur(s) ni à ses collègues. • Personne d’autre ne peut remplacer la personne à interroger. Dans certains cas, cependant, la personne maintiendra son refus. L’enquêteur respectera alors le droit de la personne à refuser et la remerciera pour le temps qu’elle lui a consacré. L’enquêteur ne devra pas considérer que ce refus s’adresse à lui personnellement. La personne interrogée semble s’ennuyer Dans d’autres situations, la personne interrogée se contentera de dire « Je ne sais pas », donnera des réponses inappropriées, manifestera de l’ennui ou du détachement, se contredira, ou refusera de répondre à la question. Tel est surtout le cas lorsque la personne interrogée s’inquiète de ses autres responsabilités dans le dispensaire/le service et souhaite retourner à son travail. En pareil cas, l’enquêteur tentera d’intéresser à nouveau la personne interrogée à la conversation. Si, par exemple, l’enquêteur sent que la personne interrogée s’impatiente, il l’assurera qu’il ne reste plus beaucoup de questions et que ses réponses sont très utiles. La personne interrogée est très bavarde Si une personne interrogée donne des réponses inappropriées ou compliquées ou se plaint de quelque chose, l’enquêteur ne doit pas l’interrompre brutalement ou impoliment mais écouter ce qu’elle a à dire. L’enquêteur essaiera ensuite de la ramener gentiment à la question originale. L’enquêteur peut aussi noter par écrit ce qu’elle dit et lui dire qu’il en a pris bonne note. Il est important de maintenir une atmosphère positive pendant tout l’entretien. L’atmosphère pour un entretien est optimale lorsque la personne interrogée considère l’enquêteur comme une personne aimable, sympathique et réactive qui s’intéresse à elle.

5.3 Remplir le questionnaire SARA L’enquêteur a pour principale responsabilité d’utiliser le questionnaire et de recueillir de manière appropriée des informations aussi exactes que possible en posant des questions aux personnes appropriées et en enregistrant fidèlement les réponses. Les instructions et les exemples présentés ci-dessous expliquent le formulaire du questionnaire, les divers types de questions et de consignes, et les méthodes destinées à enregistrer correctement les informations.

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

5.3.1

Enregistrer les réponses

Dans la version papier du questionnaire, toutes les réponses doivent être enregistrées au stylo bleu. L’encre bleue est utilisée car elle se distingue de l’encre noire qui sert à l’impression des questionnaires. Ne jamais noter les réponses à l’encre rouge ou verte, ces couleurs étant réservées au responsable de l’enquête et au superviseur de terrain pour corriger les questionnaires au bureau. Les informations inscrites dans les champs du questionnaire seront en définitive saisies dans une base de données électronique. À ce stade, il est très difficile de corriger les erreurs ou les omissions des questionnaires. Aussi est-il très important d’enregistrer correctement toutes les réponses et de suivre les instructions spéciales données dans le questionnaire. Les méthodes pour enregistrer les réponses varieront selon le type de question posée. Le questionnaire contient des types de questions de base comme les questions pré-codées et les questions nécessitant une réponse numérique. Des échantillons de tous les types de questions, et des groupes de ces questions, sont examinés ci-après avec des exemples. NE JAMAIS LAISSER UNE RÉPONSE EN BLANC! Un blanc est enregistré comme une « information manquante » faute de savoir si la question a été posée ou non. Si une réponse est négative, la réponse négative doit être entourée d’un cercle. De même, si la réponse est « ne sais pas », le numéro correspondant à la réponse « ne sais pas » sera entouré d’un cercle. Ce questionnaire est en général divisé en quatre colonnes, comme indiqué ci-dessous. La première colonne contient le numéro de la question, chaque question portant un numéro distinct dans chaque section. La deuxième colonne contient les questions et les instructions destinées à l’enquêteur sur la manière de poser la question, la troisième colonne contient les catégories de réponses, et la quatrième colonne contient les instructions relatives aux sauts conditionnels et d’autres instructions, le cas échéant.

5.3.2 Instructions Instructions destinées à l’enquêteur Il est important de poser les questions exactement telles qu’elles sont rédigées dans le questionnaire et dans leur ordre d’apparition. Les questions sont souvent assorties d’un ensemble de consignes à l’intention de l’enquêteur. Les instructions se trouvent d’ordinaire dans la colonne des questions et apparaissent en LETTRES CAPITALES en caractères gras. Les instructions vous aideront à vous souvenir de consignes importantes concernant la manière de poser les questions, de faire des observations justes, et d’enregistrer les informations. Ces instructions ne doivent pas être lues aux personnes interrogées.

5. Guide de l’enquêteur

Exemple:

Il est important de tenir compte des instructions et de les suivre constamment car elles aident l’enquêteur à remplir le questionnaire de façon aussi exacte et complète que possible. Présenter un ensemble de questions Des phrases, tout au long du questionnaire, renseignent la personne interrogée au sujet de l’ensemble suivant de questions qui seront posées. Ces phrases doivent être lues à la personne interrogée pour qu’elle sache ce qu’elle doit attendre de l’ensemble de questions suivant. Les personnes interrogées auxquelles des informations sont fournies à l’avance risquent moins d’être surprises ou mal à l’aise face à certaines questions et leurs réponses ont beaucoup plus de chances d’être sincères. L’exemple ci-dessous présente un ensemble de phrases qui se trouvent dans le questionnaire et doivent être lues aux personnes interrogées pour les préparer à ce qui suit. Exemple:

Si, pendant la formation ou le test préalable, l’enquêteur estime qu’il serait utile que ces informations précèdent un ensemble de questions non assorti d’explications, le superviseur de terrain devra en être informé pour que le questionnaire puisse être modifié le cas échéant. Instructions de sauts conditionnels Le questionnaire est construit de manière à éviter autant que possible les répétitions inutiles et ne poser que les questions appropriées dans une situation donnée. Des schémas de saut conditionnel sont utilisés à cet effet. Il est très important de suivre ces sauts ; le questionnaire gagnera ainsi en concision et en pertinence et la coopération des personnes interrogées s’en trouvera accrue. Dans l’exemple ci-dessous, si la réponse à la question 301 est « NON », les prestataires de l’établissement de santé n’auront pas besoin de répondre à la question suivante concernant les observations relatives aux patients hospitalisés. L’enquêteur sautera les

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

questions suivantes (302-304) et passera à la question 305. Si la réponse est « OUI », l’enquêteur posera la question 302. Exemple:

Instructions relatives à la disponibilité et à la capacité opérationnelle Tout au long du questionnaire, de nombreuses questions concernent la disponibilité du matériel et des fournitures utilisés dans différents services et, le cas échéant, leur capacité opérationnelle. L’enquêteur devra suivre le schéma suivant pour répondre complètement à la question :

Section A: “Disponible” La personne interrogée est invitée à dire si un article particulier est disponible. Si la réponse est « NON », la réponse « 2 » devra être entourée d’un cercle. Comme l’indique les sauts conditionnels dans le questionnaire, l’enquêteur passera alors directement au point suivant. Si la réponse est « OUI », la réponse « 1 » sera entourée d’un cercle. L’enquêteur passera alors à la section B « opérationnel ».

5. Guide de l’enquêteur

Section B: “Opérationnel” L’enquêteur devra déterminer si l’article disponible est opérationnel au moment de la visite. Pour ces cas, les critères suivants seront appliqués : • “1” pour “OUI”: Le membre du personnel déclare que l’article est en bon état et donc opérationnel. • “2” pour “NON”: L’article n’est pas opérationnel si le membre du personnel indique qu’il n’est pas en bon état. • “8” pour “NE SAIS PAS”: La personne interrogée ne sait pas avec certitude si l’article est ou non en bon état, et vous ne pouvez pas vérifier s’il est opérationnel (l’endroit où l’article peut se trouver est fermé à clef, par exemple, et n’est pas accessible au moment de l’enquête et la personne interrogée ne sait rien au sujet de l’article).

Consignes en matière d’observation Tout au long du questionnaire, de nombreuses questions portent sur la présence de médicaments et de produits de base. Les critères suivants serviront à classer la présence de l’article (observé et la date de péremption non dépassée le jour de l’évaluation) : • "1" pour "AU MOINS UN NON PERIME": L’article a été vu dans la zone de prestation des services ou dans une pièce adjacente où il peut être aisément utilisé. La date de péremption des médicaments ou des produits de base (de l’un d’entre eux au moins) a été contrôlée et confirmée comme non dépassée. • “2” pour “DISPONIBLE MAIS PÉRIMÉ”: L’article a été vu dans la zone de prestation des services ou dans une pièce adjacente où il peut être aisément utilisé. La date de péremption des médicaments ou des produits de base a été contrôlée et ils ont été confirmés comme périmés. • "3" pour "DISPONIBILITÉ SIGNALÉE MAIS NON CONSTATÉE": Le membre du personnel déclare que l’article est situé dans l’établissement ou un endroit immédiatement adjacent, où il peut être aisément utilisé, mais pour une raison quelconque (la clef de l’armoire a disparu ou la pièce est fermée à clef, par exemple), l’enquêteur ne peut pas observer l’article. Cette réponse sera également choisie lorsque le membre du personnel indique que l’article n’est apporté dans la zone de prestation des services qu’au moment de la prestation des services (et n’est donc pas observé par l’enquêteur). • “4” pour “NON DISPONIBLE AUJOURD’HUI”: Le membre du personnel déclare que l’article est d’ordinaire disponible dans l’établissement mais tel n’est pas le cas le jour de l’évaluation. • “5” pour “JAMAIS DISPONIBLE”: Le membre du personnel déclare que l’article n’est jamais disponible dans l’établissement.

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

5.3.3

Types de questions

Questions pré-codées Pour certaines questions, nous pouvons prévoir les types de réponses que donnera une personne interrogée. La liste des réponses aux questions pré-codées est incluse dans le questionnaire. Pour enregistrer une réponse d’une personne interrogée, le numéro (code) qui correspond à la réponse est entouré d’un cercle. Lorsque les numéros désignent des catégories de codage, l’enquêteur n’enregistre qu’une réponse pour chaque question. L’enquêteur doit s’assurer qu’un cercle entoure un seul numéro. Exemple:

Dans certains cas, une question pré-codée inclura une catégorie « autre ». Le code « autre » sera entouré d’un cercle lorsque la réponse donnée diffère de toutes les réponses pré-codées. La réponse « autre » doit être spécifiée et inscrite dans l’espace prévu à cet effet. Si davantage d’espace est nécessaire, les marges peuvent être utilisées. L’enquêteur doit également prêter attention à tout saut conditionnel lié à une réponse précodée.

5. Guide de l’enquêteur

Exemple:

Les réponses à des questions particulières doivent parfois être notées dans une grille de réponse (tableau). En enregistrant une réponse dans l’une de ces grilles, l’enquêteur doit être sûr que la réponse est notée dans le rang et la colonne appropriés. Exemple:

Réponses numériques Plusieurs questions requièrent une réponse numérique. Celles-ci doivent être enregistrées dans les cases disponibles appropriées dans la colonne de droite du tableau. Exemple:

Lorsque les personnes interrogées ne connaissent pas la réponse à une question numérique, l’enquêteur entoure d’un cercle l’option « Ne sais pas ». Si « ne sais pas » ne figure pas parmi les réponses, vous devez utiliser une relance pour obtenir une réponse numérique et remplir les cases. Un numéro doit être enregistré dans chaque case. Lorsque la réponse d’une personne interrogée requiert moins de caractères que prévu dans la colonne des réponses, l’enquêteur inscrit zéro (0) dans la/les case(s) de gauche et la réponse de la personne interrogée dans la/les case(s) de droite.

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

5.3.4 Garantir la qualité Il incombe à chaque membre de l’équipe d’enquête de s’assurer que les données recueillies dans chaque établissement sont aussi exactes et complètes que possible. Chaque enquêteur doit : • S’assurer que les questionnaires remplis sont complets en fin d’entretien, vérifier que toutes les questions sont claires et raisonnables, et que son écriture est lisible. • Retourner voir la ou les personne(s) initialement interrogée(s) en cas de questions manquantes ou d’erreurs apparentes, afin de compléter le questionnaire. En pareil cas, l’enquêteur s’excusera, expliquant qu’une erreur a été commise, et reposera la question. • Informer le superviseur de terrain chaque fois que se posent des problèmes dans l’accomplissement des tâches quotidiennes. • Tenir compte des avis et des recommandations du superviseur de terrain concernant les activités de terrain/les procédures d’entretien basés sur le travail d’évaluation en cours. Corriger les erreurs Si une erreur a été commise au cours de l’enregistrement d’une réponse ou si la personne interrogée modifie sa réponse, deux lignes diagonales seront tracées sur la réponse incorrecte. L’enquêteur n’essaiera pas d’effacer une réponse, d’utiliser du correcteur liquide ou d’écrire par-dessus une réponse. Il est particulièrement difficile pour la personne chargée de la saisie des données de savoir, entre deux chiffres, lequel est correct si l’enquêteur a essayé d’écrire par-dessus une réponse. Exemple:

L’enquêteur doit se souvenir que s’il y a deux réponses pour une question particulière qui en demande une seule, il pourra être impossible ultérieurement, lors de la saisie des données, de déterminer laquelle est la bonne réponse. Par ailleurs, si l’enquêteur écrit par-dessus une réponse, il est souvent impossible à la personne chargée de la saisie de déterminer laquelle des deux réponses il considérait comme la bonne. Améliorer la rédaction du questionnaire L’enquêteur est tenu d’apporter les améliorations rédactionnelles nécessaires à son questionnaire avant de considérer l’entretien comme achevé. En cas de questions manquantes ou d’erreurs apparentes, l’enquêteur doit si possible retourner voir la ou les personne(s) initialement interrogée(s). Il présentera ses excuses, expliquera qu’une erreur a été commise, et posera à nouveau la question. La mise en forme rédactionnelle doit être faite immédiatement pour éviter de devoir contacter à nouveau les personnes interrogées, chose difficile vu le délai fixé pour l’achèvement des activités de terrain, et gênante pour les équipes d’enquêteurs comme pour les personnes interrogées.

5. Guide de l’enquêteur

Liste de contrôle Tous les questionnaires doivent être réexaminés dans leur intégralité pour:  Vérifier que l’enquêteur a signé le consentement verbal.  Vérifier que les instructions relatives aux filtres et aux sauts conditionnels ont toutes été respectées.  Vérifier que toutes les réponses sont lisibles.  Vérifier qu’un seul code de réponse est coché pour chaque question.  Vérifier que les corrections apportées par l’enquêteur sont lisibles, conformément aux instructions cidessus.  Vérifier que tous les questionnaires contiennent le bon nombre de pages.  Vérifier qu’aucune réponse ne manque.

5.4 Saisir les données avec CSPro La collecte électronique des données permet de recueillir plus efficacement et plus rapidement des données plus exactes et plus fiables. Pour l’enquête SARA, la collecte électronique des données utilise le logiciel Census and Survey Processing System (CSPro). CSPro a été conçu conjointement par le Census Bureau des États–Unis d’Amérique, Macro International, et Serpro SA, une part importante du financement provenant de USAID. Le logiciel CSPro appartient au domaine public. Il peut être obtenu et distribué gratuitement. Pour des informations sur le Census and Survey Processing System (CSPro), et son téléchargement gratuit, consulter: http://www.census.gov/population/international/software/cspro/

5.4.1 Installer CSPro Les étapes suivantes sont effectuées dans un environnement Windows 7 et peuvent différer si un système d’exploitation différent est utilisé. 1. 2. 3. Téléchargez le logiciel CSPro à l’adresse suivante :

http://www.census.gov/population/international/software/cspro/

Installez CSPro 6.0 sur votre ordinateur en double-cliquant sur cspro6.0.1.exe pour lancer la procédure d’installation. Une série de boîtes de dialogue vous guidera en vous fournissant les informations requises pour les réglages.

Choisir les composantes à installer CSPro vous permet de choisir les composantes du système que vous désirez installer. Les écrans suivants apparaîtront au cours de l’installation:

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

Vous avez les choix suivants: • CSPro (all components): Choisissez cette option si vous prévoyez de concevoir des logiciels. • Data Entry Operator (only): Choisissez cette option si vous installez un logiciel de saisie de données sur une machine de production. L’opérateur pourra exécuter un logiciel de saisie des données déjà créé, mais ne pourra y apporter aucune modification. Les composantes Data Entry, Compare Data, Text Viewer, and Table Viewer sont installées. • Pour le SARA, veuillez installer ALL COMPONENTS même sur les tablettes qui seront utilisées pour la collecte des données sur le terrain car certains des outils disponibles seront nécessaires. • Tous les autres paramètres par défaut sont OK- veuillez juste cliquer sur “next” jusqu’à ce que l’installtion soit terminée.

5.4.2 Masque de saisie des données SARA Ouvrir le masque CSPRo de saisie des données SARA • • Numéro du formulaire (Case) Pour ouvrir le masque de saisie des données SARA, cliquez sur le raccourci “SARA_2.0_Simple.pff” disponible sur le bureau. Un nouveau formulaire (Case) s’ouvre. Texte de la question

Nombre de la question et choix des réponses (boîte de dialogue)

Remplir le formulaire SARA de saisie des données • Vous pouvez commencer à remplir les informations de la Page de couverture (Cover page). • Le texte correspondant à la question est localisé dans la fenêtre jaune située en haut du formulaire. Pour chaque question, une boîte de dialogue apparaît. Sélectionnez votre réponse et validez votre choix en cliquant sur la coche verte (ou appuyez sur ENTER).

5. Guide de l’enquêteur

•

Remplissez toutes les réponses de la page de couverture. Lorsque toutes les réponses auront été saisies (y compris le consentement), le formulaire suivant apparaît avec le lot de questions y correspondant. Note: il est possible de sauvegarder un nouveau “case” que lorsque la page de couverture a été remplie jusqu’à la question “QINTERVIEWER”.

Sauvegarder un formulaire de saisie des données durant la collecte d’information • • Afin de sauvegarder le fichier, allez à: File/Save partial case La boîte de dialogue suivante apparaît. Cliquez “Ok” pour continuer la saisie des données.

N’oubliez pas de sauvegarder régulièrement les données durant la saisie afin d’éviter toute perte des données. • A la fin du formulaire (Case) la boîte de dialogue suivante apparaît:

• •

Cliquez sur “Yes” afin de valider le formulaire de saisie des données. Vous retournerez automatiquement au menu principal CSEntry. Le formulaire dûment rempli devrait maintenant apparaître dans la liste sur la gauche.

Arrêter la saisie au milieu d’un formulaire • Si vous êtes au milieu de la saisie d’un formulaire et devez le quitter pour une raison quelconque, cliquez sur la croix “x” en haut à droite du formulaire de saisie afin de le fermer. Une boîte de dialogue apparaît:

• •

Sélectionnez “Partial save” afin de sauvegarder les données qui ont été saisies. Une autre boîte de dialogue apparaît indiquant que le formulaire a bien été sauvegardé (“The current case has been saved”). Le formulaire incomplet apparaît dans la liste située à gauche de la page CSEntry avec une marque rouge indiquant que le formulaire n’a été rempli que partiellement.

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

Veuillez noter que les formulaires devraient être dûment remplis avec de quitter les établissements.

Finaliser un formulaire incomplet • • Pour ouvrir un formulaire (case) déjà existant, double cliquez sur le formulaire que vous souhaitez ouvrir à partir de la liste située à la gauche de la fenêtre CSEntry. Le formulaire s’ouvre et le message suivant apparaît:

•

Cliquez sur “yes” et le formulaire s’ouvre à l’endroit de la dernière saisie. Vous pouvez maintenant continuer la saisie des données et terminer le questionnaire.

Ouvrir un nouveau formulaire (case) • • Pour ouvrir un nouveau formulaire, double cliquez sur SARA_2.0_Simple.pff Dans la barre de menu, allez dans: -> Add case afin de commencer un nouveau questionnaire.

5.5

Relever les coordonnées géographiques au moyen d’un GPS

La présente section décrit les mesures nécessaires pour relever les données géographiques au moyen d’un GPS. Le récepteur GPS Garmin eTrex est utilisé aux fins de la description. Toutes les fonctionnalités de l’appareil sont décrites dans le manuel de l’utilisateur fourni avec le Garmin eTrex. Les fonctions décrites dans la présente section se limitent aux principales mesures qui permettent de relever les coordonnées géographiques nécessaires pour établir la liste nationale de référence des établissements.

5. Guide de l’enquêteur

5.5.1 Caractéristiques du récepteur GPS Garmin eTrex Le GPS eTrex comprend 5 boutons principaux, comme décrit ci-dessous: Antenne interne du GPS Bouton “UP” Bouton “DOWN” Bouton “ON/OFF” Bouton “ENTER” Bouton “PAGE”

Ecran LCD (avec retroéclairage)

Deux piles AA doivent être installées au dos de l’appareil (retirer le couvercle du compartiment).

5.5.2 Aperçu des fonctions du GPS Les informations nécessaires pour faire fonctionner le GPS se trouvent sur 4 “pages” principales (ou écrans) : • • • • Satellite Map Navigation Menu

Il suffit d’appuyer sur le bouton PAGE pour naviguer d’une page à l’autre. Pour accéder aux différentes fonctions d’une page, utiliser les boutons ENTER, UP, et DOWN. Satellite La page satellite montre la réception par eTrex de toutes les informations envoyées par des satellites dont il a besoin pour fonctionner. Deux options sont présentées sur la page Satellite: Normal Skyview et Advanced Skyview. Normal Skyview vous montre les satellites, la puissance des signaux émis par les satellites, et la précision estimée de la position du récepteur eTrex. Advanced Skyview montre les satellites numérotés utilisés par le récepteur eTrex, leur proximité par rapport à votre position actuelle, et la puissance de leurs signaux respectifs. Pour naviguer d’un écran à l’autre, sélectionner le bouton ENTER et choisir l’option préférée. Map La page Map indique votre position (la silhouette animée) et représente le tracé réel du chemin que vous suivez. Lorsque vous vous déplacez, la silhouette animée « marche » et laisse une « trace » (tracé de route). Le nom et les symboles des waypoints (points de route) apparaissent également sur la carte.

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

Navigation La page Navigation vous guide jusqu’à votre destination. Lorsque vous vous déplacez sans avoir une destination particulière, votre vitesse et la direction dans laquelle vous vous dirigez sont indiquées sur la page navigation. Lorsque vous avancez vers une destination particulière, le nom du lieu, la distance et le temps restant sont indiqués, une flèche indiquant la direction dans le cadran de la boussole. Il vous suffit pour naviguer de suivre la flèche.

Menu La page Menu vous donne accès aux fonctions plus avancées du récepteur eTrex. Le menu principal vous permet de créer et de visualiser des waypoints, de créer un itinéraire, de sauvegarder et de suivre des carnets de route, ou d’accéder aux procédures de réglage du système.

5.5.3 Régler les unités de mesure des cartes Depuis la page MENU, sélectionner SETUP (réglages), puis sélectionner la catégorie UNITS pour préciser les unités de mesure. POSITION FRMT SYST GEOD UNITS REF NORD ANGLE hddd.ddddd WGS 84 metric magnetic degree

5.5.4 Où relever les coordonnées GPS Les règles pour relever les données GPS sont les suivantes:

1. Un seul établissement dans un bâtiment • Les coordonnées géographiques seront enregistrées devant le panneau principal fixé sur la façade du bâtiment où est situé l’établissement. • À défaut d’un panneau fixé sur le bâtiment, les coordonnées géographiques seront enregistrées devant l’entrée principale ou la réception de l’établissement.

5. Guide de l’enquêteur

2. Plusieurs établissements dans un même bâtiment • Les coordonnées géographiques seront enregistrées devant le ou les panneau(x), où figure la liste des établissements situés dans ce bâtiment (si le panneau est situé à l’extérieur et fixé sur la façade du bâtiment). • En l’absence de panneau indiquant ce qui se trouve à l’intérieur du bâtiment (ou si le panneau est situé à l’intérieur), les coordonnées géographiques seront enregistrées devant l’entrée principale ou la réception du bâtiment.

3. Un seul établissement dans plusieurs bâtiments • Les coordonnées géographiques seront enregistrées devant la porte ou l’entrée principale menant à la réception de l’établissement (de préférence là où est situé le panneau principal de l’établissement). À défaut de réception, les coordonnées géographiques seront enregistrées devant la porte des bureaux administratifs de l’établissement.

5.5.5 Utiliser le GPS pour relever les données géographiques Après avoir configuré les paramètres sur le récepteur GPS, vous pouvez y enregistrer les coordonnées géographiques d’un établissement. Assurez-vous, si le récepteur a précédemment servi à recueillir des données, que la mémoire interne a été vidée. 1. Placez-vous à moins de 30 mètres de la porte de l’entrée principale du bâtiment. Il est important de choisir un espace dégagé ouvert sur le ciel et de tenir le récepteur GPS parallèlement au sol pour permettre la réception des signaux par l’antenne. Ne relevez les coordonnées que lorsque le récepteur indique qu’il capte les signaux d’un nombre suffisant de satellites pour donner des mesures exactes. Le message "Ready to navigate" doit apparaître sur le récepteur GPS (page SATELLITE), la précision devant être inférieure à 20 mètres. Si vous ne recevez pas le message "Ready to navigate", attendez 5 minutes au même endroit. Lorsque le signal est suffisant et la précision au niveau recommandé, les coordonnées géographiques peuvent être enregistrées: • • Allez à la page MENU et sélectionnez MARK Surlignez le numéro du WAYPOINT et appuyez sur ENTER. Vous pouvez maintenant saisir le code de l’établissement (6 caractères ou lettres au maximum) Appuyez sur ENTER et faites défiler jusqu’à OK Appuyez sur ENTER pour retourner à la page MARK Surlignez OK à l’aide du bouton UP et DOWN et appuyez sur ENTER Le WAYPOINT est désormais enregistré

• • • •

5.5.6 Rechercher une liste de waypoints dans le récepteur GPS Pour rechercher les waypoints dans la liste des coordonnées GPS relevées: • Aller à la page MENU et sélectionner WAYPOINTS • À l’aide du bouton UP et DOWN vous pouvez maintenant rechercher un waypoint tout juste ou précédemment saisi

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

Vous pouvez maintenant reporter les coordonnées géographiques sur le questionnaire SARA papier ou le formulaire électronique (le cas échéant).

Latitude et longitude La latitude est la valeur nord/sud mesurée depuis l’équateur. La longitude est la valeur est/ouest mesurée depuis le méridien de référence qui traverse l’Afrique de l’Ouest et l’Europe occidentale. Une latitude et une longitude déterminent une position exacte sur la surface de la terre. Ainsi, selon la position de l’établissement de santé, ses coordonnées positives (+) (nord/est) ou négatives (-) (sud/ouest) devront être correctement signalées. Pour économiser les piles du récepteur GPS, l’éteindre une fois les coordonnées géographiques enregistrées.

5.5.7

Liste de contrôle des appareils GPS

Chaque matin, avant de partir sur le terrain, assurez-vous que vous avez tout le matériel nécessaire et, lorsque vous relevez les coordonnées GPS, n’oubliez pas :  de contrôler le niveau des piles et de vérifier que l’appareil fonctionne correctement  de contrôler les paramètres de votre récepteur GPS  d’avoir un questionnaire prêt pour la collecte des données  de vous assurer que votre position vous permet de relever des données fiables  de signaler les coordonnées compte tenu de la position par rapport à l’équateur et au méridien de Greenwich  de vous assurer que toutes les informations relatives au point relevé ont été communiquées  (dans le formulaire SARA papier et dans le formulaire électronique, le cas échéant).

6. Guide du superviseur

L’enquête SARA sur la disponibilité et la capacité opérationnelle des services est conçue comme un outil systématique à l’appui de la vérification annuelle des données et de la fourniture des services dans les établissements, destiné à couvrir les établissements de santé tant publics que privés et confessionnels. L’objet de l’enquête est de fournir des données factuelles sur les progrès des systèmes de santé aux fins de l’examen annuel du secteur de la santé, de recenser les lacunes et les faiblesses responsables de l’inadéquation de la fourniture des services et de la couverture des interventions auxquelles il convient de remédier. Elle établit les bases pour la planification et le suivi des interventions destinées à intensifier l’action et à améliorer la fourniture des services dans les domaines de la santé maternelle et infantile, du VIH, de la tuberculose, du paludisme et des maladies non transmissibles, notamment. L’enquête SARA repose sur la collecte d’informations dans des établissements de santé moyennant des entretiens avec des informateurs clefs et l’observation des articles essentiels. C’est aux superviseurs qu’il incombe d’assurer la bonne conduite de la collecte des données. Le Guide du superviseur est conçu pour permettre aux superviseurs : • de comprendre clairement leurs rôles et leurs responsabilités dans la gestion de la collecte des données sur le terrain et la supervision des équipes d’enquêteurs. • de disposer de détails sur les méthodes de collecte des données et les mesures à appliquer aux termes des protocoles pour assurer la qualité des activités de collecte des données. • de connaître les modalités d’utilisation du logiciel CSPro pour la vérification et la validation des données électroniques.

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

6.1

Rôles et responsabilités

Les superviseurs de terrain sont chargés de surveiller tous les aspects de la collecte des données dans la/les zone(s) de l’enquête dont ils ont la responsabilité, à savoir : • Organiser les visites de collecte des données dans les établissements (prendre les premiers contacts, établir un calendrier des visites de collecte des données, etc). • Préparer les matériels nécessaires pour la collecte des données. • Encadrer les activités de collecte des données: − Veiller au respect des protocoles de collecte des données − Organiser une communication régulière avec les équipes de collecte des données − Contrôler les formulaires de collecte des données en fin de journée pour s’assurer qu’ils sont complets et lisibles − Assurer le transfert des données sur ordinateur en fin de journée et au niveau national en fin d’évaluation. • Valider la collecte des données en procédant à nouveau à l’enquête dans 10% des établissements et en comparant les résultats avec ceux des enquêteurs. • Rassembler et stocker les formulaires de collecte des données, et les envoyer au responsable de l’enquête. • Transférer les données électroniques des appareils électroniques de collecte des données sur l’ordinateur/l’ordinateur portable de la zone d’enquête.

C’est aux superviseurs de terrain qu’incombe le rôle essentiel de garantir la qualité et la cohérence des données.

6.2 Mener les activités de terrain 6.2.1 Préparer la collecte des données 1. Planifier les visites pour l’enquête et choisir les établissements de remplacement Le responsable de l’enquête vous remettra une liste des établissements de santé et des établissements de remplacement pour votre zone d’enquête.

1. Contacter (en personne ou par téléphone) chaque établissement de santé et chaque établissement de remplacement pour présenter l’enquête et demander l’autorisation de recueillir des données: • Présenter l’enquête et ses objectifs • Utiliser la lettre d’acceptation et de présentation fournie par le responsable de l’enquête • Préciser que les établissements ne seront pas désignés nommément dans les résultats

2. Prenez rendez-vous pour la collecte des données à une date et une heure convenant à l’établissement de santé, en évitant les heures de pointe. • Prévoir approximativement de 3 à 4 heures pour chaque visite de collecte des données, plus la durée des déplacements • Prévoir davantage de temps pour les grands établissements/hôpitaux (1 journée pour un hôpital)

6. Guide du superviseur

3. Noter le nom et le numéro de téléphone de la personne à contacter dans chaque établissement de santé. 4. Expliquer qu’il pourrait y avoir une deuxième visite, pour la 'validation', dans 10% des établissements de santé couverts par l’enquête. 5. Si un établissement refuse de participer, alerter le responsable de l’enquête qui contactera directement l’établissement de santé et, le cas échéant, vous allouera un autre site. Heureusement, cela se produit rarement.

2. Établir un calendrier de visites de collecte des données pour chaque paire d’enquêteurs

1. Établir, pour chaque paire d’enquêteurs, un calendrier incluant les éléments suivants: • Date et heure de chaque visite • Nom, numéro, secteur et personne à contacter pour chaque établissement de santé • Adresse et lieu de chaque établissement de santé • Coordonnées des établissements de remplacement à visiter, le cas échéant

Exemple: Date et heure du rendez-vous Nom de l’établissement Personne à contacter Lieu Autorité responsable Numéro d’identité Nom et coordonnées de l’établissement de remplacement Centre de santé XYZ 59 main street Eastern City

20 avril 10h00

Centre de santé ABC

Mme Nguyen

45 Main Street Eastern City Tel: +22 414 00

Pouvoirs publics

01234

2. Appeler chaque établissement et confirmer le rendez-vous la veille de la collecte des données 3. Organiser une communication régulière et le transport Une fois tous les sites de l’enquête connus, organiser le transport en fonction du nombre de sites à visiter, du nombre d’équipes se rendant sur le terrain, et du nombre de personnes par équipe.

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

6.2.2

Préparer les matériels nécessaires pour la collecte des données

1. Préparer le formulaire de collecte des données pour chaque établissement à visiter

1. Le responsable de l’enquête vous remettra un formulaire de collecte des données distinct pour: • Chaque établissement de santé de votre zone d’enquête inclus dans l’échantillon; • Chaque établissement de remplacement; et • Chaque visite de validation. Assurez-vous qu’il y a suffisamment de formulaires par rapport à la liste des établissements de la zone d’enquête avant de commencer la collecte des données sur le terrain.

2. Inscrire les informations d’identification de chaque établissement de l’échantillon sur la page de couverture du formulaire de collecte des données du questionnaire SARA

Remplir les champs suivants de la page de couverture du formulaire: • Nom de l’établissement de santé • Informations d’identification uniques de l’établissement de santé • Nom de la ville/du village • Région et district • Type d’établissement • Autorité responsable Ne pas remplir ces champs, qui seront remplis par les enquêteurs pendant les visites dans les établissements: • Date • Nom de la /des personne(s) ayant fourni les informations • Nom des enquêteurs

À remplir par les superviseurs de terrain avant la visite de collecte des données

6. Guide du superviseur

2. Liste de contrôle des matériels Le superviseur s’assurera que les enquêteurs disposent chaque jour des matériels suivants pour s’acquitter convenablement de leur tâche:

Liste de contrôle des matériels pour les enquêteurs  Coordonnées du superviseur de terrain, notamment un numéro de téléphone portable à appeler en cas de difficulté sur le terrain  Le guide de l’enquêteur et les documents pertinents  Calendrier des visites des sites couverts par l’enquête et coordonnées des sites  Liste des équipes de collecte des données et leurs coordonnées sur le terrain  Exemplaire(s) de la/des lettre(s) d’acceptation et de la lettre de présentation  Formulaire de collecte des données pour chaque établissement qu’il pourrait être nécessaire de visiter ce jour-là  Exemplaires supplémentaires du formulaire de collecte des données SARA  Appareils électroniques de collecte des données (entièrement chargés, avec le logiciel CSPro installé et le questionnaire SARA téléchargé), batteries et câbles électriques  Cartes mémoire ou clefs USB pour la sauvegarde des données  Appareils GPS (entièrement chargés et configurés de façon exacte, le cas échéant)  Stylos (ne jamais enregistrer les données au crayon), un bloc-notes et autres fournitures.  Carnet pour noter les observations et les faits importants  Indemnité pour frais locaux  Pièce d’identité avec photographie  Téléphone portable pour chaque équipe et crédit

Liste de contrôle des matériels dont ont besoin les superviseurs pour leurs réunions quotidiennes avec les enquêteurs  Planification détaillée des visites des sites pour chaque équipe de collecte des données  Logiciel de collecte électronique des données installé sur l’ordinateur portable (CSPro 5.3 – voir instructions chapitre 4)  Un ordinateur portable entièrement chargé avec un logiciel approprié pour copier les données de l’appareil électronique de collecte des données sur l’ordinateur portable (au moyen de cartes mémoire ou de clés USB)

6.2.3

Superviser les activités de collecte des données

Vos principales responsabilités pendant la collecte des données consistent à superviser les enquêteurs et vous assurer que les formulaires de collecte des données sont complets et exacts. Rendez-vous régulièrement sur le terrain avec les enquêteurs pour vous assurer qu’ils suivent les protocoles d’enquête. Relevez tous les problèmes liés au processus de collecte des données et trouvez des solutions. En cas de problèmes que vous ne pouvez pas résoudre, informez-en dès que possible le responsable de l’enquête. Vous êtes responsable de l’exactitude des données recueillies par les enquêteurs.

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

1. Assurez-vous que les protocoles de collecte des données sont suivis • Assurez-vous que les équipes de collecte des données mènent les entretiens dans l’établissement • Tenez la comptabilité des établissements de l’échantillon qui ont été couverts 2. Organisez une communication régulière avec les équipes de collecte des données • Donnez aux enquêteurs un numéro de portable et un numéro de téléphone auxquels ils peuvent vous joindre pendant la collecte des données • Organisez une réunion journalière avec les enquêteurs en fin de journée pendant la collecte des données • Assurez-vous que les données sont transférées sur l’ordinateur en fin de journée

6.2.4 Dispositifs de comptabilisation Les enquêteurs de terrain devraient tenir un système de pointage des établissements qui ont été évalués parmi les établissements de la liste de l’échantillon qui leur a été alloué, par exemple au moyen d’un tableau tel que celui-ci :

VERT = l’établissement a été évalué, les enquêteurs ont saisi les données dans CSPro, les données ont été contrôlées ROUGE = l’établissement n’a pas pu être évalué BLEU = établissement de remplacement BLANC = pas encore couvert • Inclure des informations sur les établissements qui ont été sélectionnés pour les validations par le superviseur • Les problèmes rencontrés avec les données devront également être notés dans le système de pointage • Ce tableau sera présenté au responsable de l’enquête avec les dossiers de données électroniques à la fin des activités de terrain

6. Guide du superviseur

6.2.5 Réunion journalière avec les enquêteurs En fin de journée, il incombe aux superviseurs: • de rencontrer les enquêteurs pour collecter les formulaires remplis et résoudre les problèmes éventuels • d’examiner chaque formulaire de collecte des données rempli ce jour-là: − pour s’assurer qu’il est complet et lisible − vérifier si des informations manquent ou sont douteuses • de contrôler avec les enquêteurs les données incertaines ou illisibles, pouvant nécessiter de recontacter l’établissement pour obtenir des précisions • de signer la dernière page de chaque questionnaire pour indiquer qu’il a été contrôlé, mais seulement une fois que le superviseur est certain que les données sont complètes, lisibles, et qu’il n’y a pas d’erreurs évidentes

6.2.6

Stocker les formulaires de collecte des données remplis

• Les formulaires sur support papier remplis sont conservés dans des sacs en plastique imperméable sur le terrain jusqu’à l’achèvement des activités de terrain, lorsqu’ils seront envoyés au responsable de l’enquête • Tous les formulaires originaux de collecte des données, notamment ceux qui ont été utilisés pour les visites de validation (clairement étiquetés!), sont transférés au responsable de l’enquête dès l’achèvement des activités de terrain • Les superviseurs de terrain conservent les exemplaires qui seront utilisés au cas où les originaux seraient égarés ou endommagés

6.2.7

Transférer les données électroniques recueillies (au moyen d’une clé USB)

Les données électroniques doivent être sauvegardées sur une carte mémoireclé USB et copiées sur l’ordinateur du superviseur de terrain en fin de journée pour éviter la perte de données Transférer les fichiers de données finals des ordinateurs portables/miniportables/etc. avec une clé USB

1. Une clé USB doit être introduite dans l’ordinateur portable/miniportable qui a été utilisé pour la collecte des données. L’explorateur de fichier peut être utilisé pour naviguer là où sont stockés les fichiers de données SARA. Cet emplacement a été choisi au début de la collecte des données. peut maintenant être éjectée de l’ordinateur portable/miniportable.

2. Le fichier de données SARA doit être copié de l’ordinateur portable/miniportable sur la clé USB. La clé USB 3. La clé USB peut être introduite dans l’ordinateur de bureau/portable qui sera utilisé pour le traitement des données. Les fichiers de données SARA peuvent maintenant être copiés et collés dans un dossier sur l’ordinateur de bureau/portable.

4. Cette procédure sera répétée pour tous les ordinateurs portables/miniportables utilisés pour la collecte des données.

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

Organiser les fichiers de données provenant de la collecte de terrain La procédure de sauvegarde (étapes décrites ci-dessus) sera suivie chaque fois que les superviseurs se réunissent avec leurs équipes. Il est important de sauvegarder les fichiers de données de manière organisée pour s’assurer que les fichiers les plus récents contiennent les données pour tous les établissements où chaque équipe a enquêté. Une procédure de sauvegarde comme ci-dessous pourrait être utilisée pour sauvegarder des données de façon organisée dans un fichier spécial pour chaque équipe: SARA_EQUIPE1_DATE1 SARA_EQUIPE1_DATE2 SARA_EQUIPE1_DATE3

SARA_EQUIPE1

Le fichier le plus récent pour chaque équipe doit correspondre au fichier final. Il sera validé par le superviseur. Une copie du fichier final devra être créée et rebaptisée: SARA_EQUIPE1_FINAL LE JEU DE DONNEES FINAL CONTIENDRA LES FICHIERS FINALS DE CHAQUE EQUIPE:

SARA_EQUIPE1_FINAL SARA_EQUIPE2_FINAL SARA_EQUIPE3_FINAL

SARA_COLLECTE_DONNEES_FINAL (REGION X)

Ce jeu de données final sera envoyé/communiqué au responsable des données désigné au niveau central chargé de collecter les données provenant de la collecte sur le terrain. Une sauvegarde de tous les fichiers de données (finals et portant des tampons datés) sera conservée précieusement et devra rester accessible pendant la phase de nettoyage et de traitement des données.

6.2.8 Validation de la collecte des données Les superviseurs effectueront une visite de validation dans 10% des établissements de santé. Ils retourneront dans certains des établissements de l’échantillon (10% choisis au hasard dans la liste) et procéderont à nouveau à la collecte des données, pour s’assurer de l’exactitude et de la fiabilité des données recueillies par les enquêteurs. Pour cela, les superviseurs devront: • choisir de façon aléatoire les établissements où sera effectuée la validation (sélectionner au hasard 1 établissement public et 1 établissement privé) • effectuer les visites de validation le même jour que les visites des enquêteurs dans ces mêmes établissements (ou dès que possible après) • comparer les données obtenues avec celles qui ont été recueillies par les enquêteurs • relever et résoudre les questions/erreurs éventuelles et s’en entretenir avec les enquêteurs • assurer la saisie électronique des données recueillies pour la validation dans CSPro. L’analyse de la cohérence des réponses (correspondance exacte) servira de contrôle de qualité.

6. Guide du superviseur

6.3

Utiliser CSPro pour contrôler et valider les données

6.3.1 Installer CSPro Les étapes suivantes sont effectuées dans un environnement Windows 7 et peuvent différer si un système d’exploitation différent est utilisé. 1. 2. 3. Téléchargez le logiciel CSPro à l’adresse suivante :

http://www.census.gov/population/international/software/cspro/

Choisir les composantes à installer CSPro vous permet de choisir les composantes du système que vous désirez installer. Les écrans suivants apparaîtront au cours de l’installation:

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

6.3.2 Revoir les données dans CSPro Les superviseurs devront s’assurer de l’exhaustivité et de la cohérence des données transférées sur l’ordinateur portable. Pour examiner les données, ils procéderont comme suit: • Contrôle des fichiers de données dans CSPro pour chaque établissement • Vérification, au minimum, des éléments suivants: − − − − − le code de l’établissement et le nom de l’établissement correspondent le niveau et le type de l’établissement sont corrects (d’après l’inventaire des établissements) l’identité de l’enquêteur/le nom de l’équipe est correct le lieu de l’établissement est correct il n’y a pas de chiffres manquants dans le fichier des données

1. Ouvrir l’application CSPro pour le SARA • Cliquez sur SARA_2.0_Simple.pff

6. Guide du superviseur

2. Sélectionner le formulaire des données (case) à ouvrir • Sélectionnez le formulaire contenant les données que vous souhaitez revoir et double cliquez afin de l’ouvrir.

3. Le questionnaire (case) s’ouvre sur la page de Couverture (Cover page).

• Il est important de revoir les informations comme cela est indiqué au début de cette section: a. b. c. d. e. le code de l’établissement et le nom de l’établissement correspondent le niveau et le type de l’établissement sont corrects (d’après l’inventaire des établissements) l’identité de l’enquêteur/le nom de l’équipe est correct l’identité de l’enquêteur/le nom de l’équipe est correct le lieu de l’établissement est correct

• Après avoir revu les informations de la Page de Couverture, vous pouvez utiliser l’arborescence sur la partie gauche de la fenêtre pour naviguer d’une section à l’autre et les revoir si nécessaire. • Lorsque les révisions et les modifications sont terminées cliquez sur “stop” et assurez vous de bien sauvegarder les changements.

4. Vérifier la complétude Une application par lot a été créée afin d’identifier les incohérences dans les fichiers des données, permettant ainsi un apurement plus appronfondi en vue de la validation des données. L’application identifie les questions sans réponse pour lesquelles une réponse était attendue, et les questions ayant une réponse qui n’aurait pas du en avoir selon le schéma des sauts. Pour utiliser l’application, procédez aux étapes suivantes:

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

1. Naviguez jusqu’à dossier suivant: SARA\Batch\Batch_1 et cliquez sur le fichier: SARA_datacleaning.bch. 2. Cliquez sur “run” dans la barre de menu. Allez au dossier: SARA\Data et sélectionnez le fichier des données: SARA_data.dta comme fichier source (input file). Ensuite, cliquez sur ok. Il n’est pas nécessaire d’avoir un fichier de sortie (output file).

Lorsque l’application termine son execution, un fichier en format text s’ouvre avec les résultats de la verification de la complétude tel que l’exemple ci-dessous:

3. Chaque formulaire (case) est identifié selon le code et le nom de l’établissement, suivi de la liste des erreurs

identifiées. Ces messages correspondent aux incohérences trouvées dans les données. Chaque problème devrait être revu avec l’équipe de l’enquête et les formulaires édités de façon appropriée en vue de la finalisation de l’ensemble des données.

7. Traitement des données

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

Après avoir été saisies, les données doivent être traitées. Il s’agit de réunir toutes les données en un seul fichier et de relever les incohérences et les erreurs éventuelles. Il faudra examiner toutes les incohérences et les erreurs et y remédier pour créer un ensemble de données final apuré, prêt à être analysé.

Remarque: Si les outils d’analyse SARA normalisés sont utilisés, tout le traitement des données doit être effectué avec le logiciel CSPro et le fichier de données final apuré devra être sous format CSPro.

Principales mesures à prendre pour traiter et apurer l’ensemble de données SARA:

1. Concaténation 2. Apurement des données 3. Vérification de l’exhaustivité des données 4. Calcul des poids d’échantillonnage 5. Calcul des indicateurs SARA 6. Exportation des données Les sections suivantes donnent des détails sur l’apurement et le traitement des données SARA. Ces opérations supposent l’utilisation du logiciel CSPro pour la collecte et le traitement des données mais elles incluent également des mesures et des principes généraux.

7.1

Concaténation

7.1.1 Fusionner les fichiers de données en un même dossier sur un ordinateur de bureau/portable Après la saisie électronique des données, les fichiers de données doivent être transférés sur un même ordinateur de bureau ou portable pour la suite du traitement. Ce sont d’ordinaire les superviseurs de terrain qui copient les fichiers de données des ordinateurs des enquêteurs sur un ordinateur/ordinateur portable de sauvegarde (voir le Chapitre 6 – Le guide du superviseur). Il leur incombe aussi de transférer les données recueillies sur le terrain à l’échelon central. À la fin de la collecte des données, les superviseurs devraient disposer d’un dossier pour chaque équipe avec les fichiers de sauvegarde: SARA_EQUIPE1_DATE1 SARA_EQUIPE1_DATE2 SARA_EQUIPE1_DATE3

SARA_EQUIPE1

Le fichier le plus récent pour chaque équipe doit correspondre au fichier final. Après validation par le superviseur, une copie du fichier final doit être créée et rebaptisée: SARA_EQUIPE1_FINAL

7. Traitement des données

Le jeu de données final doit réunir les fichiers finals de chaque équipe: SARA_EQUIPE1_FINAL SARA_COLLECTE_DONNEES_FINAL (REGION X) SARA_EQUIPE2_FINAL SARA_EQUIPE3_FINAL Ce jeu de données final est transféré au responsable des données/point focal au niveau central chargé de rassembler les données recueillies sur le terrain. Une sauvegarde de tous les fichiers de données (finals et portant le tampon de la date) sera précieusement conservée et restera accessible pendant la phase de l’apurement et du traitement des données. Une clé USB pourra être utilisée pour transférer les données des ordinateurs des superviseurs au responsable des données/point focal au niveau central. Une fois toutes les données transférées, un seul fichier de données final incluera tous les fichiers de données de toutes les équipes de terrain: SARA_EQUIPE1_FINAL SARA_COLLECTE_DONNEES_FINAL SARA_EQUIPE2_FINAL (…) SARA_EQUIPE25_FINAL

7.1.2 Concaténation des données Si le logiciel de saisie des données CSPro a été utilisé, les données devront être fusionnées (concaténées) en un seul fichier de données avant la poursuite du traitement. La concaténation se fait en deux étapes: Si CSPro a été utilisé, les outils “Concatenate Data” dans CSPro pourront être utilisés à cet effet. Avant de réunir les fichiers de données, il est important de repérer les numéros d’identification d’établissements en double. Si deux fichiers de données ou plus contiennent exactement le même numéro d’identification d’établissement, CSPro ne pourra pas fusionner les fichiers, deux cas ne pouvant pas avoir des numéros d’identification identiques. S’il y a des exemplaires en double, l’un d’eux doit être supprimé avant la fusion des fichiers de données. Voir Chapitre 4 - instructions pas-à-pas sur la concaténation dans CSPro.

7.2

Apurement des données

7.2.1 Dispositifs de pointage Une fois que toutes les données ont été fusionnées, la première étape du processus d’examen consiste à faire l’inventaire des données et à déterminer ce qui a été recueilli. Il est important de vérifier que tous les établissements de l’échantillon ont été couverts et, à défaut, de répertorier les établissements manquants. Les superviseurs utiliseront à cet effet une feuille Excel telle que la suivante pendant la collecte des données sur le terrain:

100

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

Dans cet exemple, les établissements qui étaient inclus dans l’ensemble de données original et qui ont été évalués sont surlignés en vert. On voit également que les enquêteurs ont saisi les données dans CSPro et que les données ont été validées (conformément aux étapes décrites dans la section suivante). Les établissements surlignés en bleu sont les établissements de remplacement. Il est important d’indiquer les établissements de l’échantillon original qui ont été remplacés. Enfin, les établissements surlignés en rouge sont ceux qui n’ont pas pu être évalués – des informations sur les raisons pour lesquelles un établissement n’a pas pu être évalué devront être incluses dans le tableau de pointage. Ces informations sont extrêmement utiles pour comprendre ce qui s’est passé comme prévu dans le plan original pendant la collecte des données sur le terrain. Ces informations seront aussi très utiles lorsqu’il s’agira de calculer les poids d’échantillonnage.

7.2.2

Examen des fichiers de données

Il faudra ouvrir tous les fichiers de données et contrôler les éléments essentiels suivants: • • • • • • • • • Le nom de l’établissement et le numéro d’identifcation correspondent Les informations d’identification de l’établissement sont correctes (type d’établissement, autorité responsable, conformément à la liste de référence des établissements) L’identité de l’enquêteur est correcte Tous les formulaires ont été complètement remplis Les cas non renseignés ont été supprimés Les cas en double ont été détectés et l’erreur a été corrigée Les réponses “autres” ont été enregistrées, le cas échéant Les coordonnées géographiques ont été contrôlées (le cas échéant) Les validations du superviseur ont été comparées aux originaux et les erreurs corrigées

En cas d’erreurs relevées dans le nom de l’établissement, le numéro d’identification de l’établissement, le type d’établissement, ou l’autorité responsable, etc. les corrections nécessaires seront apportées. Les éléments essentiels seront examinés comme suit (sur la base d’une collecte électronique des données au moyen de CSPro):

101

7. Traitement des données

Examiner l’identification des établissements L’examen de l’identification des établissements est la première étape de l’apurement des données. Cela consiste à valider le nom de chaque établissement et le code d’identification correspondant, le type, l’autorité responsable et le lieu tels que définis dans la liste nationale de référence des établissements. Si l’identification de l’établissement a été mise à jour pendant la collecte des données sur le terrain, les changements apportés devront être saisis dans le registre des établissements couverts par l’enquête (comme décrit dans la section précédente). Cela aidera le superviseur et les autres personnes chargées du traitement des données à comprendre l’identification de chaque établissement et pourquoi elle diffère de la liste de référence des établissements initiale. Il est également important de s’assurer que l’identité de l’enquêteur est saisie correctement dans les informations sur les cas. Les personnes chargées du traitement des données relèveront parfois des erreurs qui devront être corrigées et elles devront contacter l’équipe responsable de la collecte originale des données. Il sera très utile, en pareil cas, de disposer de l’identité de l’enquêteur. S’assurer qu’un cas est complet Il est important de vérifier que tous les formulaires d’un cas (version électronique CSPro du questionnaire papier) ont été correctement remplis. Il faudra vérifier qu’un cas est complet avant de quitter l’établissement et un nouveau contrôle sera effectué par le superviseur lors de la sauvegarde des données ce qui permettra de repérer les éléments manquants et de compléter les données, le cas échéant. Recoder les réponses “autres” le cas échéant Toutes les réponses pour lesquelles “autres, veuillez préciser” est une option devront être revues ; il s’agira de vérifier que la réponse inscrite dans la catégorie “autres” n’entre pas dans l’une des catégories précodées. Si la réponse “autres” entre dans l’une des catégories précodées, elle devra être enregistrée comme telle. Par exemple: Section 4 - Infrastructures / question Q418: “Quelle est la source d’eau la plus couramment utilisée pour l’établissement en ce moment?” • Les réponses ont été enregistrées sous “autres” et Q418_A a été enregistrée comme “établissement approvisionné par des canalisations” qui est une option pour Q418. • La réponse pour Q418 doit être modifiée en “1- « établissement approvisionné par des canalisations” Supprimer les cas non renseignés Un cas aura parfois été enregistré alors qu’il ne contient pas de données. Ces cas devront être supprimés de l’ensemble de données. Recherche des éventuels doublons Les cas en double sont ceux qui ont le même code d’établissement. Si deux cas semblent identiques de par le nom de l’établissement, mais ne contiennent pas les mêmes données, une liste de critères sera utilisée pour déterminer s’il s’agit véritablement de deux fois le même établissement. Les éléments de données ci-après pourront servir de critères pour déterminer les cas en double: • district • code/nom de l’établissement • coordonnées GPS (si elles ont été relevées) • type d’établissement • autorité responsable • code de l’enquêteur.

102

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

Si tous ces éléments sont identiques, on peut sans risque considérer qu’il s’agit les deux fois du même cas. À ce stade, le cas le plus complet demeurera dans l’ensemble de données. Si les deux cas sont complets, le cas qui porte le tampon daté le plus récent sera conservé. Contrôler la validité des coordonnées GPS le cas échéant Il faudra contrôler les coordonnées GPS pour s’assurer qu’elles correspondent à des positions à l’intérieur des frontières du pays. Il peut arriver que les coordonnées relatives à la latitude et à la longitude soient saisies de façon incorrecte. Toutes les coordonnées GPS doivent être contrôlées à deux reprises pour s’assurer qu’elles correspondent à la zone de l’enquête. Par exemple, tous les établissements du Kenya devraient se situer dans les limites suivantes: Latitude: 5°N et 5°S (entre -5,0000 et 5,0000 en degrés décimaux) Longitude: 34° et 42°E (entre 34,0000 et 42, 000 en degrés décimaux) Une erreur courante consiste à ne pas enregistrer correctement les valeurs positive (+) et négative (-) des coordonnées. Les coordonnées Nord et Est devraient être positives (+). Les coordonnées Sud et Ouest devraient être négatives (-). Une autre erreur courante consiste à inverser l’enregistrement des coordonnées basées sur la longitude et la latitude. Examinez et corrigez les coordonnées GPS au moyen de la méthode utilisée ci-dessus pour examiner et réviser les éléments essentiels de chaque établissement. Si la collecte des données a été effectuée avec CSPro, voir la marche à suivre pour examiner/réviser les données décrite dans le chapitre 4.

7.2.3 Répertorier les dossiers de validation des superviseurs et réaliser une synthèse avec les dossiers originaux Si le superviseur a procédé à des validations, il est important de les mettre en évidence dans l’ensemble des données et de s’assurer qu’elles ont été étiquetées correctement (Q002 et numéro de l’enquêteur). Le dossier de validation du superviseur devra être comparé au dossier original et les écarts devront être réglés pour qu’il reste en définitive UN dossier par établissement dans l’ensemble de données final. Des instructions pas-à-pas relatives à l’utilisation de l’outil Compare Data de CSPro pour comparer deux fichiers de données et détecter les écarts sont disponibles dans le chapitre 4.

7.2.4 Vérification connexe si l’enquête a été faite sur support papier et saisie ultérieurement dans CSPro (le cas échéant) La vérification connexe est utilisée pour s’assurer que les données électroniques correspondent aux réponses de la version papier du questionnaire. Lorsque vous vérifiez un cas, vous saisissez le cas une deuxième fois comme si vous étiez en mode « Add ». Même si le fichier de données contient déjà des données, CSEntry ne vous les montre pas. Tous les champs du présent formulaire sont en blanc au commencement. Chaque fois que vous saisissez des données dans un champ, le système compare la valeur que vous saisissez à la valeur qui se trouve dans le fichier de données. Si ces deux valeurs correspondent, vous passez au champ suivant. Si les valeurs ne correspondent pas, vous en êtes informé par un message.

103

7. Traitement des données

Lorsque cela se produit, saisissez simplement à nouveau les données du champ. L’une des situations suivantes se produira: • La deuxième valeur que vous saisissez correspond à la valeur incluse dans le fichier de données. Le système suppose que votre première valeur est une erreur et passe au champ suivant. Le fichier de données ne sera pas modifié pour ce champ. • La deuxième valeur que vous saisissez correspond à la première valeur que vous avez saisie. Le système suppose que la valeur du fichier de données est une erreur et passe au champ suivant. La nouvelle valeur, que vous avez saisie deux fois, remplace la valeur originale du fichier de données. • La deuxième valeur que vous saisissez ne correspond ni à la valeur qui se trouve dans le fichier de données ni à la première valeur que vous avez saisie. Le système supprimera la première valeur que vous avez saisie, vous montrera le message de non-conformité et attendra que vous saisissiez à nouveau les données de ce champ. Pour de plus amples détails sur la vérification des cas, voir le chapitre 4.

7.3

Vérifier que les données sont complètes

Une fois que les fichiers de données ont été fusionnés, il est possible d’exécuter une application spéciale dans CSPro pour rechercher les incohérences dans les données, et permettre un apurement plus approfondi des données et leur validation (batch ). Ce logiciel aidera à repérer les questions sans réponse pour lesquelles une réponse aurait dû être fournie et, par ailleurs, à rechercher les questions pour lesquelles aucune réponse n’aurait dû être fournie mais qui reposaient sur les schémas de sauts particuliers. Pour de plus amples détails sur le logiciel de vérification de la complétude des données, voir le chapitre 4.

7.4

Calculer les poids d’échantillonnage

Les poids d’échantillonnage sont des facteurs d’ajustement appliqués dans les présentations en tableaux pour corriger les écarts de probabilité de sélection entre les unités d’échantillonnage, dus à la structure ou au hasard. La nécessité éventuelle des poids d’échantillonnage et la manière de calculer les poids d’échantillonnage dépendent de la méthode d’échantillonnage appliquée. Pour l’enquête SARA, si une méthode de recensement des établissements de santé est utilisée, les poids d’échantillonnage ne sont pas nécessaires. Si une méthode d’enquête par sondage auprès des établissements de santé est utilisée, les poids d’échantillonnage seront nécessaires, à moins qu’un système d’échantillonnage rigoureusement proportionnel soit utilisé dans lequel toutes les unités d’échantillonnage ont une probabilité de sélection égale. La méthode d’échantillonnage recommandée pour SARA doit couvrir tous les hôpitaux, donnant ainsi une surreprésentation des hôpitaux, et d’obtenir un échantillon représentatif aux plans national et régional des établissements au niveau inférieur. Il est également recommandé de stratifier les établissements par type d’établissement et autorité responsable. Les données doivent être pondérées pendant l’analyse pour tenir compte de la surreprésentation et assurer que les résultats reflètent la distribution réelle des établissements dans le pays. Le processus de production des poids d’échantillonnage est consécutif à la collecte des données, une fois que les données ont été traitées et apurées aux fins de l’analyse. Ils ne peuvent être produits qu’après l’achèvement des activités de terrain dans la mesure où ils sont appliqués à l’échantillon final des personnes interrogées et que leur calcul repose sur les informations relatives aux résultats finals issues de la collecte des données.

104

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

7.4.1 Calculer les poids d’échantillonnage Les informations suivantes sont nécessaires pour calculer les poids d’échantillonnage: • les variables de stratification utilisées pour répartir la population de la base d’échantillonnage (à savoir si les établissements ont été stratifiés par région, type d’établissement, autorité responsable, etc.); • le nombre d’établissements dans la base d’échantillonnage (soit le nombre total d’établissements dans le pays), par strate; • le nombre d’établissements dans l’échantillon sélectionné, par strate. Pour calculer les poids d’échantillonnage, commencer par créer un tableau avec des colonnes, comme indiqué dans le Tableau 1.1.

Tableau 1.1 Calcul des poids d’échantillonnage: plan du tableau A Variable de stratification 1 B Variable de stratification 2 C Variable de stratification 3 D Nombre d’établissements dans la base d’échantillonnage E Nombre d’établissements dans l’échantillon F Poids

Inscrire dans les colonnes de A à E les informations liées à la méthode d’enquête. Si, par exemple, la méthode d’échantillonnage consistait à stratifier par région et par type d’établissement, les régions seront indiquées dans la colonne A et les types d’établissement dans la colonne B. Le nombre des établissements dans la base d’échantillonnage qui correspondent aux strates indiquées apparaîtra dans la colonne D, et le nombre des établissements dans l’échantillon qui correspondent aux strates indiquées dans la colonne E. La colonne F, les poids d’échantillonnage, est l’inverse de la probabilité de sélection des unités d’échantillonnage par strate, et elle est calculée comme colonne D / colonne E, soit le nombre des établissements dans la base d’échantillonnage divisé par le nombre des établissements dans l’échantillon. Le Tableau 1.2 donne des exemples de données pour une enquête SARA réalisée dans le pays X. Les établissements dans la base d’échantillonnage sont stratifiés par région et par type d’établissement. Il y a quatre régions (codées de 1 à 4) dans le pays et cinq types d’établissements (codés de 1 à 5). La colonne C est vide parce qu’il n’y a que deux variables de stratification, et elle peut donc être supprimée. En présence de quatre variables de stratification ou plus, des colonnes supplémentaires devront être ajoutées après la colonne C.

Tableau 1.2 Calcul des poids d’échantillonnage: exemples de données A Variable de stratification 1 Nord (1) B Variable de stratification 2 C Variable de stratification 3 D Nombre d’établissements dans la base d’échantillonnage 3 45 87 132 5 6 E Nombre d’établissements dans l’échantillon 3 7 11 16 3 7 F Poids (colonne D / colonne E) 1,000 6,429 7,909 8,250 1,667 0,857

Hôpital (1) Centre de santé (2) Poste de santé (3) Poste de santé maternelle et infantile (4) Dispensaire (5)

Sud (2)

Hôpital (1)

105

7. Traitement des données

Centre de santé (2) Poste de santé (3) Poste de santé maternelle et infantile (4) Dispensaire (5) Est (3) Hôpital (1) Centre de santé (2) Poste de santé (3) Poste de santé maternelle et infantile (4) Dispensaire (5) Ouest (4) Hôpital (1) Centre de santé (2) Poste de santé (3) Poste de santé maternelle et infantile (4) Dispensaire (5)

60 68 283 6 4 61 66 179 7 7 29 15 29 3

9 9 35 4 4 9 8 23 5 5 3 3 4 1

6,667 7,556 8,086 1,500 1,000 6,778 8,250 7,782 1,400 1,400 9,667 5,000 7,250 3,000

Les poids, une fois calculés, devront être ajoutés à l’ensemble des données final. Déterminer la strate à laquelle appartient chaque établissement et attribuer ensuite le poids approprié. En utilisant, par exemple, les poids calculés dans le Tableau 1.2, un poids de 6,429 sera attribué à un centre de santé de la région Nord.

7.5

Calculer les indicateurs SARA

Les indicateurs SARA peuvent être calculés manuellement ou à l’aide d’autres logiciels. Une approche pas-à-pas du calcul des indicateurs SARA est présentée dans le chapitre 8. Si le logiciel CSPro a été utilisé pour la collecte des données, il existe un logiciel Batch Edit qui permet de produire les indicateurs SARA. Il permet, à partir d’un jeu de fichiers, de produire un autre jeu de fichiers et de rapports. Pour l’enquête SARA nous utiliserons un logiciel batch edit pour créer des variables supplémentaires, notamment les indicateurs SARA. Pour le questionnaire SARA, tous les indicateurs SARA ont été placés dans le dictionnaire des données et un logiciel batch edit a été créé pour attribuer les valeurs de chaque indicateur sur la base des réponses aux questions du questionnaire. Si des modifications ont été apportées au questionnaire SARA de base, ces modifications devront être prises en compte dans le logiciel batch edit. Les strates définies et les poids calculés (le cas échéant) devront également être ajoutés au lot pour refléter les particularités des pays. Pour de plus amples détails sur la méthode pas-à-pas de calcul des indicateurs SARA au moyen du logiciel batch edit de CSPro, voir le chapitre 4.

7.6

Exporter les données de CSPro

Les indicateurs produits dans CSPro doivent ensuite être exportés aux fins de l’analyse. Un logiciel intégré dans CSPro permet d’exporter rapidement et facilement des données sous divers formats. Pour les données SARA, le logiciel CSProExport sera utilisé pour exporter les indicateurs SARA dans un fichier txt. Celui-ci pourra ensuite être ouvert, consulté et sauvegardé sous Microsoft Excel (XLS). Pour de plus amples détails sur l’exportation de données au moyen de CSPro, voir le chapitre 4.

106

8. Analyse et résultats (Analysis and output)

107

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

Introduction Once data have been verified, data analysis can begin. There are many different types of results that can be obtained from surveys. The types of analysis used depend to a large extent on the design determined in the planning phase of the SARA survey. Some data analyses are standard and are included in most survey reports. However, not all of the analyses of the survey data need to be included in the final report, as the focus should be on the most important and relevant results. Therefore, survey managers should generate the full range of survey results, and together with the survey coordinating group, select the most significant findings for inclusion in the final report. It is only by conducting a complete analysis of the survey data that it can be assured that important findings have not been overlooked. Based on the initial set of results from the standard analyses, there is often further analysis in areas of interest. Following data analysis, a meeting with the survey coordinating group should be held to assist in interpreting the results and developing recommendations. Survey indicators are important in providing crucial information for informed policy choices, especially to decision-makers, programme planners and policy-makers. Serving as baselines, indicators are important for setting goals and targets for the future and allow for a certain level of comparability between surveys of different location and time period. Moreover, indicators help place focus on predetermined areas of a survey that are deemed to be most useful, relevant and important to the current health system. Having a consistent indicator set also contributes to standardized analytical reporting. SARA uses both tracer indicators and composite indicators in data analysis. Tracer indicators aim to provide objective information about whether or not a facility meets the required conditions to support provision of basic or specific services with a consistent level of quality and quantity. Summary or composite indicators, also called indices, are a useful means to summarize and communicate information about multiple indicators and domains of indicators. Composite indices are useful to help get an overall view of the situation and to summarize multiple pieces of information. For SARA, composite indices are useful to compare districts or regions or to look at change over time. However, composite indices also have limitations. It can be difficult to understand the individual factors contributing to an index score, and thus it is important to have information on individual indicator items in addition to composite index scores. The following sections provide an overview of how to calculate SARA indicators and indices. A detailed tabulation plan is available as Annex and can serve as a guidance document for creating SARA output tables and tabulations. Additionally, the Chapter 4 in the SARA Reference Manual provides a complete listing of the SARA indicators and their detailed definitions.

109

8. Analyse et résultats (Analysis and output)

8.1

Calculating SARA results

This section will go through the steps by steps explanation of the manual calculation of the SARA indicators and index. The starting point will be the availability of the SARA indicators in XLS format. The first sub- section will look into calculating the five domains defining the General service readiness. The second sub-section will go through the steps for calculating the Service specific indicators and index.

8.1.1 General service readiness and indicators General service readiness is described by the following five domains of tracer indicators: • Basic amenities • Basic equipment • Standard precautions for infection prevention • Diagnostic capacity • Essential medicines. Each domain consists of a set of tracer items. Table 8.1 lists the tracer indicators for each domain.

Table 8.1 General service readiness items and index General service domains (a) Basic amenities Tracer items Domain score (mean availability of items) n / 7 × 100, where n is the total number of items available in the domain

• • • • • • •

Power (a grid or functional generator with fuel) Improved water source within 500 m of facility Room with auditory and visual privacy for patient consultations Access to adequate sanitation facilities Communication equipment (phone or short-wave radio) Access to computer with e-mail and Internet Emergency transportation Adult scale Child scale Thermometer Stethoscope Blood pressure apparatus Light source Safe final disposal of sharps Safe final disposal of infectious wastes Appropriate storage of sharps waste Appropriate storage of infectious waste Disinfectant Single-use, standard disposable or auto-disable syringes Soap and running water or alcohol-based hand rub Latex gloves Guidelines for standard precautions

(b) Basic equipment

• • • • • •

n / 6 × 100 where n is the total number of items available in the domain

• • • • • • • • •

n / 9 × 100 where n is the total number of items available in the domain

110

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

General service domains (d) Diagnostic capacity

Tracer items

Domain score (mean availability of items) n / 8× 100 where n is the total number of items available in the domain

• • • • • • • •

Haemoglobin Blood glucose Malaria diagnostic capacity (RDT or smear) Urine dipstick - protein Urine dipstick - glucose HIV diagnostic capacity (RDT or ELISA) Syphilis RDT Urine pregnancy test Amlodipine tablet or alternative calcium channel blocker

(e) Essential medicines

• • • • • • • • • • • • • • • • • • • • • • • • •

Amoxicillin (syrup/suspension or dispersible tablets) Amoxicillin tablet Ampicillin powder for injection Aspirin (capsules/tablets) Beclometasone inhaler Beta blocker (e.g.bisoprolol, metaprolol, carvedilol, atenolol) Carbamazepine tablet Ceftriaxone injection Diazepam injection Enalapril tablet or alternative ACE inhibitor (e.g. lisonopril, Ramipril, perindopril) Fluoxetine tablet Gentamicin injection Glibenclamide tablet Haloperidol tablet Insulin regular injection Magnesium sulfate injectable Metformin tablet Omeprazole tablet or alternative (e.g. pantoprazole, rabeprazole) Oral rehydration solution Oxytocin injection Salbutamol inhaler Simvastatin tablet or other statin (e.g. atorvastatin, pravastatin, fluvastatin) Thiazide (e.g. hydrochlorothiazide) Zinc sulphate (tablet or syrup)

n / 25 × 100 where n is the total number of items available in the domain

General service readiness index

(Mean score of the five domains) (a + b + c + d + e ) / 5

In order to calculate the five domain scores and the general service readiness index, there are four main steps.

111

8. Analyse et résultats (Analysis and output)

Step 1. Create variables for the tracer items Use the definition of each tracer item to create these variables. All variables created for tracer items should have two possible values: 1 if the criteria are met and 0 if the criteria are not met. This calculation is done for each facility. This example is based on a sample set of data in which the variables have already been recoded to equal "1" if certain criteria are met (for example, the facility has a particular piece of equipment), and "0" if the criteria are not met. Please refer to the detailed definitions of the indicators in the SARA Reference Manual – Chapter 4 Indicators for indicator criteria. Table 1.2 provides a sample set of data that shows basic amenities tracer item values for 25 facilities. For each tracer item, the value is "1" if the item is available in a particular facility, and "0" if it is not. Step 2. Calculate the mean availability of each tracer item The mean availability of each tracer item is equal to the total number of facilities that have the tracer item available (i.e. value = 1) divided by the total number of facilities, multiplied by 100 to get a percentage value. Table 8.2 shows how the mean availability of items in the basic amenities domain is calculated. This calculation should be repeated for the tracer items in each of the five general service readiness domains.

Table 8.2 Basic amenities domain: mean availability of items Facility code 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 Sum Total number of facilities Mean (sum / total % (mean × 100) Power 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 1 1 1 0 8 25 0.32 32 Improved water source 1 1 1 1 1 0 0 1 0 1 0 0 0 1 1 0 1 1 1 0 1 1 1 0 1 16 25 0.64 64 Room with privacy 1 1 1 1 1 1 0 1 1 1 1 1 0 1 1 0 1 1 1 1 1 1 1 1 1 22 25 0.88 88 Basic amenities tracer items Adequate Communication sanitation equipment facilities 1 1 1 0 1 1 1 1 1 0 1 0 0 0 1 1 1 1 0 0 1 1 1 0 0 1 1 1 1 1 1 1 0 0 1 1 1 1 0 1 1 0 1 0 1 1 1 0 1 1 20 15 25 0.80 80 25 0.60 60 Access to computer with Internet 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 3 25 0.12 12 Emergency transportation 1 0 0 0 1 1 0 1 1 1 1 1 0 1 1 1 1 1 0 0 1 1 0 1 1 17 25 0.68 68

112

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

Sum the total number of facilities that have the tracer item available (i.e. value =1) in each column. Power = 1 + 1 + 1 + 1 + 1 + 1 + 1 + 1 = 8 Improved water source = 1 + 1 + 1 + 1 + 1 + 1 + 1 + 1 + 1 + 1 + 1 + 1 + 1 + 1 + 1 + 1 = 16 … Since the total number of facilities in this example is 25, divide each sum by 25 to obtain a mean availability for each item. Power = 8 / 25 = 0.32 Improved water source = 16 / 25 = 0.64 … Multiply the mean availability of each item by 100 in order to produce a percentage value. Power = 0.32 × 100 = 32% Improved water source = 0.64 × 100 = 64% …

The mean availability of tracer items can be displayed in a graph such as the one in Figure 8.1.

Figure 8.1 Percentage of health facilities with basic amenities items

Room with privacy Adequate sanitation facilities

88 88 68 64 60 32 12 0 20 40 60 80 100

Tracer items

Emergency transportation Improved water source Communication equipment Power

Access to computer with internet and email

Percentage availability (%)

Step 3. Calculate the percentage of facilities that have all the tracer items The percentage of health facilities that have all the tracer items for a service is equal the sum of facilities that have all the items (if all items, health facility score =1) divided by the total number of facilities, and then multiplied by 100. Table 8.3 shows how the percentage of health facilities having all the tracer items for the basic amenities is calculated. This calculation should be repeated for each of the five general service readiness domains.

113

8. Analyse et résultats (Analysis and output)

Table 8.3 Basic amenities – health facilities that have all the tracer items Facility code 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 Sum Total number of facilities Mean (sum / total % HF with all items (mean × 100) Power Improve d water source 1 1 1 1 1 0 0 1 0 1 0 0 0 1 1 0 1 1 1 0 1 1 1 0 1 Room with privacy 1 1 1 1 1 1 0 1 1 1 1 1 0 1 1 0 1 1 1 1 1 1 1 1 1 Basic amenities tracer items Adequate Communicatio Access to sanitation n equipment computer with facilities Internet 1 1 1 1 0 1 1 1 1 1 1 0 1 0 0 1 0 0 0 0 0 1 1 0 1 1 0 0 0 0 1 1 0 1 0 0 0 1 0 1 1 0 1 1 0 1 1 0 0 0 0 1 1 0 1 1 0 0 1 0 1 0 0 1 0 0 1 1 0 1 0 0 1 1 0 Emergency transportation 1 0 0 0 1 1 0 1 1 1 1 1 0 1 1 1 1 1 0 0 1 1 0 1 1 HF with all tracer items 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1

1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 1 1 1 0

25 0.04

1. Score each facility according to the availability of tracer items. The facilities with all tracer items (each item =1) will get the score =1. The facilities that don’t have the entire 7 tracer item will score =0. Power =1, Improved water source =1, Room with privacy =1, Adequate sanitation facilities =1, Communication equipment =1, Access to computer with Internet =1, Emergency transportation=1 Total = 7 score for facility#1=1 2. Sum the number of facilities that have all items and divide it by the total number of facilities. 1 / 25 = 0.04 3. Multiply by 100 to obtain the percentage of health facilities with all tracer items. 0.04 × 100 = 4% This means that 4% of the health facilities have all the seven tracers available. The percentage of facilities having all the tracer items can be displayed with the information generated from step1 and step2 for a comprehensive view on the basic amenities availability and readiness.

114

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

Figure 8.2 Basic amenities – facilities with all tracer items

Step 4. Calculate the general service readiness domain scores The general service readiness domain scores are equal to the sum of the means that were obtained for each tracer item in a domain, divided by the total number of items in the domain, and then multiplied by 100. Table 8.4 shows how the basic amenities domain score is calculated. This calculation should be repeated for each of the five general service readiness domains.

Table 8.4 Basic amenities domain score Basic amenities tracer items Power Improved water source Room with privacy Access to adequate sanitation facilities Communication equipment Access to computer with Internet Emergency transportation Sum of values Total number of items Mean (sum / total) Basic amenities domain score (mean × 100) A Number of facilities that have the item available 8 16 22 20 15 3 17 B Total number of facilities 25 25 25 25 25 25 25 A/B 0.32 0.64 0.88 0.80 0.60 0.12 0.68 4.04 7 0.58 58

1. Sum the means obtained for each item (e.g. sum the means of all the items in the basic amenities domain). 0.32 + 0.64 + 0.88 + 0.80 + 0.60 + 0.12 + 0.68 = 4.04 2. Divide by the total number of items. For basic amenities, there are 7 tracer items. 4.04 / 7 = 0.58 3. Multiply by 100 to obtain the domain score. 0.58 × 100 = 58 This means that on average, just over half of the tracer items required for basic amenities are available. The basic amenities domain score can be displayed in a graph such as the one in Figure 8.3. It is presented along with the results from the previous steps for a comprehensive view of the domain.

115

8. Analyse et résultats (Analysis and output)

Figure 8.3 Basic amenities domain score

Step 5. Calculate the general service readiness index The general service readiness index is equal to the sum of the domain scores divided by the number of domains. The example in Table 8.5 shows how the general service readiness index is calculated. Once the general service readiness domain scores have been calculated for all five domains, they can be aggregated to produce a general service readiness index.

Table 8.5 General service readiness index General service domains Basic amenities Basic equipment Standard precautions for infection prevention Diagnostic capacity Essential medicines Sum of domain scores Total number of domains General service readiness index (sum of domain scores / total number of domains) Domain scores 58 77 58 18 44 255 5 51

1. Sum the five general service readiness domain scores 58 + 77 + 58 + 18 + 44 = 255 2. Divide the sum by the total number of domains to get the general service readiness index 255 / 5 = 51 This means that the general service readiness index, or the mean of the domains scores, is 51. The general service readiness index as well as the five individual domain scores can be displayed in a graph such as the one in Figure 8.4

116

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

Figure 8.4 General service readiness index 100 80 60 40 20 0 General service readiness Basic amenities Basic Standard equipment precautions for infection prevention Domain Diagnostic capacity Essential medicines 18 51 58 77 58 44

8.1.2

Score

Specific service availability and readiness indicators

Service-specific availability refers to whether or not a specific service is offered in a facility. Service-specific availability is calculated as the proportion of facilities offering specific services. The number of facilities that offer a service become the denominator for the service-specific readiness calculations. Service-specific readiness refers to the capacity facility has to provide a service that it offers (measured through consideration of tracer items that include trained staff, guidelines, equipment, diagnostic capacity, medicines and commodities). For service-specific readiness calculations, facilities that do not offer the specific service are NOT included in the readiness calculations as these facilities would not expected to be "ready" to provide a service which they do not offer. Each service has a readiness indicator that consists of a set of domains, and each domain consists of a set of tracer items. The following four domains are used for service-specific readiness: staff and training, equipment, diagnostics, and medicines and commodities. Not all service readiness indicators include all four domains. Service-specific readiness indicators are available for the following services (cf. SARA Reference Manual, Chapter 4 – Indicators): • Family planning • Antenatal care • Basic obstetric care • Comprehensive obstetric care • Immunization • Child health preventative and curative care • Adolescent health services • Lifesaving commodities for women and children • Malaria diagnosis or treatment • Tuberculosis diagnosis services • HIV counselling and testing • HIV/AIDS care and support services • Antiretroviral prescription and client management • Prevention of mother-to-child transmission (PMTCT) of HIV • Sexually transmitted infections diagnosis or treatment • Noncommunicable diseases diagnosis or management: diabetes, cardiovascular disease, chronic respiratory disease and cervical cancer screening • Basic and comprehensive surgical care • Blood transfusion • Laboratory capacity

117

8. Analyse et résultats (Analysis and output)

Required data sources Table 8.6 shows the required information and potential data sources for calculating service-specific availability and readiness.

Table 8.6 Data sources Information needed Facility assessment information Population data (national and regional/district depending on how results will be reported) Potential data source SARA National Bureau of Statistics

Example calculation There are five main steps to calculate service-specific availability and readiness. Step 1. Calculate service-specific availability 1. 2. 3. 4. Create a variable for each service, where the variable equals 1 if the service is offered and the variable equals 0 if the service is not offered. Sum the total number of facilities offering a service. Divide by the total number of facilities in the sampling frame and multiply by 100 to get a percentage value. Repeat for each service for which availability will be calculated.

Table 8.7 can be used to assist in the calculations for 3 and 4 above.

Table 8.7 Calculating service-specific availability Column 1 Column 2 Column 3 (Column 1 / Column 2) × 100 Service Family planning Antenatal care Basic obstetric care Comprehensive obstetric care Immunization Child health preventative and curative care Adolescent health services Lifesaving commodities for women and children Malaria diagnosis or treatment Tuberculosis services HIV counselling and testing HIV/AIDS care and support services Antiretroviral prescription and client management Prevention of mother-toNumber of facilities offering the service Total number of facilities Service availability

118

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

Column 1

Column 2

Column 3 (Column 1 / Column 2) × 100

child transmission (PMTCT) of HIV Sexually transmitted infections diagnosis or treatment Noncommunicable disease diagnosis or management Basic surgical care Comprehensive surgical care Blood transfusion Laboratory capacity

Step 2. Create variables for the tracer items that are used to calculate the service-specific domain scores Each specific-service indicator consists of a set of tracer items grouped into domains. Use the definition of each tracer item to create these variables. All variables created for tracer items should have two possible values: 1 if the criteria are met and 0 if the criteria are not met. For this example, refer to Table 8.8 for the antenatal care domains and tracer items.

Table 8.8 Antenatal care domains and tracer items Service Antenatal care Domain Staff and training Equipment Diagnostics Medicines and commodities Tracer items Guidelines on antenatal care Staff trained in antenatal care Blood pressure apparatus Haemoglobin Urine dipstick - protein Iron tablets Folic acid tablets Tetanus toxoid vaccine

This example is based on a sample set of data in which the variables have already been recoded to equal "1" if certain criteria are met (for example, the facility has a particular piece of equipment), and "0" if the criteria are not met. Please refer to the detailed definitions of the indicators in the SARA Reference Manual, Chapter 4 for indicator criteria. Table 8.9 provides a sample set of data that shows the antenatal care tracer item values for 25 facilities. For each tracer item, the value is "1" if the item is available in a particular facility, and "0" if it is not. Step 3. Calculate the mean availability of each tracer item The mean availability of each tracer item is equal to the total number of facilities that have the tracer item available (i.e. value=1), divided by the total number of facilities OFFERING THE SERVICE, multiplied by 100 to get a percentage value. The example in Table 8.9 shows how the mean availability of items for antenatal care is calculated. This calculation should be repeated for each specific service.

Table 8.9 Antenatal care: mean availability of items

119

8. Analyse et résultats (Analysis and output)

Facility code Guidelines 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 Sum Total number of facilities Mean (sum / total) % (mean × 100) 1 1 1 0 0 1 1 0 1 0 0 0 1 0 1 1 1 1 0 0 0 0 0 0 0 11 Trained staff 1 1 1 1 1 1 1 1 0 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 0 22

Blood pressure apparatus 1 1 1 0 1 0 1 0 1 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 20

Antenatal care tracer items Urine dipstick Haemoglobin protein 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 1 0 3

Iron tablets 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 1 0 3 1 0 1 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 22

Folic acid tablets 1 0 0 0 1 1 0 1 1 1 0 1 1 1 1 1 1 1 1 0 1 1 1 1 1 19

Tetanus toxoid vaccine 1 0 0 1 1 0 0 1 1 1 1 1 1 1 1 0 0 1 1 0 1 1 0 1 0 16

25 0.44 44

25 0.88 88

25 0.80 80

25 0.12 12

25 0.88 88

25 0.76 76

25 0.64 64

Sum the total amount of available items (i.e. value = 1) in each column. Guidelines = 1 + 1 + 1 + 1 + 1 + 1 + 1 + 1 + 1 + 1 + 1= 11 Trained staff = 1 + 1 + 1 + 1 + 1 + 1 + 1 + 1 + 1 + 1 + 1 + 1 + 1 + 1 + 1 + 1 + 1 + 1 + 1 + 1 + 1 + 1 = 22 … Divide each sum by the total number of facilities to obtain a mean availability for each item. Guidelines = 11 / 25 = 0.44 Trained staff = 22 / 25 = 0.88 …

Multiply by 100 in order to produce a percentage value. Guidelines = 0.44 × 100 = 44% Trained staff = 0.88 × 100 = 88% … The mean availability of tracer items can be displayed in a graph such as the one in Figure 8.5.

Figure 8.5 Percentage availability of antenatal care tracer items

120

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

Staff and guidelines

Equipment

Diagnostics

Medicines and commodities 88 44 80

Staff trained ANC Guidelines ANC BP apparatus Urine dipstick protein Haemoglobin test Iron tablets Folic acid tablets Tetanus toxoid vaccine 0 20 40 60 64 80 76 12 12

Tracer items

100

Percentage availability (%)

Step 4. Calculate the service-specific domain scores Once the mean availability of each tracer item has been obtained, they can be aggregated to produce servicespecific domain scores. There are four domains for each specific service: staff and training, equipment, diagnostics, and medicines and commodities. For each domain, sum the means for the items contained in the domain, then divide the domain sums by the total number of items in the domain, and multiply by 100. Table 8.10 shows how the antenatal care domain scores are calculated. This calculation should be repeated for each of the specific services.

Table 8.10 Antenatal care domain scores Antenatal care tracer items Guidelines Trained staff Blood pressure apparatus Haemoglobin test Urine protein test Iron tablets Folic acid tablets Tetanus toxoid vaccine Sum of values Total number of items Mean (sum / total) Domain score (mean *100) 1.32 2 0.66 66 0.80 1 0.80 80 0.24 2 0.12 12 Antenatal care domains Staff and training 0.44 0.88 0.80 0.12 0.12 0.88 0.76 0.64 2.28 3 0.76 76 Equipment Diagnostics Medicines and commodities

1. Sum the means for the items contained in each domain. Staff and training: 0.44 + 0.88 = 1.32 Equipment: 0.80 = 0.80 Diagnostics: 0.12 + 0.12 = 0.24 Medicines and commodities: 0.88 + 0.76 + 0.64 = 2.28 2. Divide the domain sums by the total number of items in each domain. Staff and training: 1.32 / 2 = 0.66 Equipment: 0.80 / 1 = 0.80 Diagnostics: 0.24 / 2 = 0.12 Medicines and commodities: 2.28 / 3 = 0.76

121

8. Analyse et résultats (Analysis and output)

3. Multiply by 100 to obtain the service-specific domain scores. Staff and training: 0.66 × 100 = 66 Equipment: 0.80 × 100 = 80 Diagnostics: 0.12 × 100 = 12 Medicines and commodities: 0.76 × 100 = 76 The antenatal care domain scores can be displayed in a graph such as the one in Figure 8.6

Figure 8.6 Antenatal care domain scores 100 80 60 40 20 0 Equipment Medicines and commodities Domain Staff and training Diagnostics 12 80 76 66

Step 5. Calculate the specific-service readiness score Once the availability of each tracer item has been obtained, they can be aggregated to produce a servicespecific readiness score. This is equal to the sum of the availabilities of all the items, divided by the total number of items, then multiplied by 100. The example in Table 8.11 shows how the antenatal care readiness score is calculated.

Table 8.11 Service-specific readiness score for antenatal care Antenatal care tracer items Guidelines Trained staff Blood pressure apparatus Haemoglobin test Urine protein test Iron tablets Folic acid tablets Tetanus toxoid vaccine Sum of values Total number of items Mean (sum / total) Antenatal care readiness score (mean × 100) A Number of facilities that have the item available 11 22 20 3 3 22 19 16 B Total number of facilities 25 25 25 25 25 25 25 25 A/B 0.44 0.88 0.80 0.12 0.12 0.88 0.76 0.64 4.64 8 0.58 58

1. 2. 3.

Score

Sum all the means that were obtained for each item. 0.44 + 0.88 + 0.80 + 0.12 + 0.12 + 0.88 + 0.76 + 0.64 = 4.64 Divide by the total number of items. For antenatal care, the total number of tracer items is 8. 4.64 / 8 = 0.58

Multiply by 100 to obtain the service-specific readiness score. 0.58 × 100 = 58 The antenatal care readiness score can be displayed in a graph such as the one in Figure 8.7.

122

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

Figure 8.7 Antenatal care readiness score 100 80

Score

60 40 20 0 58 81 73 72 70 65 55 56 53 49 46

Overall Urban Peri-urban Rural

er a str ll ic t Di 1 str ic Di t 2 str ic Di t 3 str ic Di t 4 str ic Di t 5 str ic Di t 6 str ic Di t 7 str ic Di t 8 str Di i c t str 9 ic t 10 Di District

123

8. Analyse et résultats (Analysis and output)

8.2

Alternative method of calculations

The examples above have taken sums and means by tracer item (i.e. columns), to arrive at the readiness scores. It is also possible to compute the readiness scores by taking sums and means by facility (i.e. rows). The resulting readiness score should be the same as can be seen in Table 8.12.

Table 8.12 Basic amenities domain: mean availability of tracer items by facility Facility code 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 Power Improved water source 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 1 1 1 0 1 1 1 1 1 0 0 1 0 1 0 0 0 1 1 0 1 1 1 0 1 1 1 0 1 Room with privacy 1 1 1 1 1 1 0 1 1 1 1 1 0 1 1 0 1 1 1 1 1 1 1 1 1 Basic amenities tracer items Adequate Communicatio sanitation n equipment facilities 1 1 1 1 1 1 0 1 1 0 1 1 0 1 1 1 0 1 1 0 1 1 1 1 1 1 0 1 1 0 0 0 1 1 0 1 0 1 1 1 1 0 1 1 1 0 0 1 0 1 Access to computer with Internet 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 Emergency transportation Mean availability of tracer items 1 0 0 0 1 1 0 1 1 1 1 1 0 1 1 1 1 1 0 0 1 1 0 1 1 Sum of values Total number of facilities Mean (sum / total) Basic amenities domain score (mean × 100) 1.00 0.71 0.86 0.71 0.57 0.43 0.00 0.71 0.57 0.43 0.57 0.43 0.14 0.71 0.71 0.43 0.43 0.71 0.71 0.29 0.57 0.71 0.71 0.57 0.71 14.43 25 0.58 58

The advantage of computing means by facility (row) is that it is easier to compute readiness scores by different units of aggregation (e.g. region, facility type, managing authority, urban/rural) if the mean scores have already been computed by facility. For example, to compute the readiness scores by region, one simply takes the mean of the facility scores for all facilities by region. If mean scores are computed by tracer item (column) instead of by facility, the process is more cumbersome: availabilities for each tracer item would need to be computed for each region, and then the mean computed to obtain the readiness scores by region.

124

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

8.3

Sample weights

Sample weights are adjustment factors applied in tabulations to adjust for differences in probability of selection between units in a sample, either due to design or chance. Whether or not sample weights are necessary, as well as how to calculate the sample weights, is determined by the survey methodology implemented. For the SARA survey, if a health facility census methodology is used, no sample weights are necessary. If a health facility sample methodology is used, sample weights will be necessary unless a strictly proportional sampling scheme is used in which every unit in the sample has an equal probability of selection. The recommended sampling methodology for SARA is to cover all hospitals, thus having an oversampling of hospitals, and to have a nationally and regionally representative sample of lower-level facilities. It is also recommended that the facilities be stratified by facility type and managing authority. Data must be weighted during analysis to account for oversampling and to ensure the results reflect the actual distribution of facilities in the country. The process of producing sample weights occurs after data collection, once the data have been processed and cleaned for analysis. They cannot be generated until after fieldwork is completed since they are applied to the final sample of respondents and computing them relies on final outcome information from data collection.

8.3.1 Calculating sample weights The following information is needed to calculate sample weights: stratification variables used to partition the sampling frame (i.e. were facilities stratified by region, facility type, managing authority, etc.); the number of facilities in the sampling frame (i.e. total number of facilities in the country) by stratum; the number of facilities in the selected sample by stratum. To calculate the sample weights, begin by creating a table with columns as shown in Table 8.13.

Table 8.13 Sample weight calculations: table layout A Stratification variable 1 B Stratification variable 2 C Stratification variable 3 D Number of facilities in the sampling frame E Number of facilities in the sample F Weight

Fill in Columns A–E with the information from the survey methodology. For example, if the sampling methodology was to stratify by region and facility type, the regions would be displayed in Column A and the facility types would be displayed in Column B. The number of facilities in the sampling frame that correspond to the specified strata would be given in Column D, and the number of facilities in the sample that correspond to the specified strata in Column E. Column F, the sampling weight, is the inverse of the probability of selection of the sample units by stratum, and is calculated as Column D / Column E, or the number of facilities in the sampling frame divided by the number of facilities in the sample. Table 8.14 provides example data for a SARA survey implemented in country X. Facilities in the sampling frame are stratified by region and facility type. There are four regions (coded 1–4) in the country and five facility types

125

8. Analyse et résultats (Analysis and output)

(coded 1–5). Column C is empty because there are only two stratification variables, and therefore can be deleted. If there are four or more stratification variables, additional columns would need to be added after Column C.

Table 8.14 Sample weight calculations: example data A Stratification variable 1 Northern (1) B Stratification variable 2 Hospital (1) Health centre (2) Health post (3) Maternal child health post (4) Clinic (5) Hospital (1) Health centre (2) Health post (3) Maternal child health post (4) Clinic (5) Hospital (1) Health centre (2) Health post (3) Maternal child health post (4) Clinic (5) Hospital (1) Health centre (2) Health post (3) Maternal child health post (4) Clinic (5) C Stratification variable 3 D Number of facilities in the sampling frame 3 45 87 132 5 6 60 68 283 6 4 61 66 179 7 7 29 15 29 3 E Number of facilities in the sample 3 7 11 16 3 7 9 9 35 4 4 9 8 23 5 5 3 3 4 1 F Weight (Column D / Column E) 1.000 6.429 7.909 8.250 1.667 0.857 6.667 7.556 8.086 1.500 1.000 6.778 8.250 7.782 1.400 1.400 9.667 5.000 7.250 3.000

Southern (2)

Eastern (3)

Western (4)

Once the weights have been calculated, they need to be added to the final data set. Determine the stratum that each facility belongs to and then assign the appropriate weight. For example, using the weights calculated in Table 8.14, if a facility is a health centre in the Northern region, it would be assigned a weight of 6.429. The process for adding weights to the data set will depend on the software chosen. Instructions for adding weights to the data set using CSPro can be found in the SARA Implementation Guide – Chapter 4 - CSPro.

8.3.2 Applying sample weights This section provides an example of applying weights to the general service readiness indicators. The same process is applied for applying weights to both general service readiness indicators and service-specific indicators. For service-specific indicators however, the denominator is number of facilities offering the service, not the total number of facilities. Using the same data set as used in Section 8.1 for basic amenities, this example shows how facility weights can be applied to the indicator calculations. Having calculated the sample weights, the main difference between calculating general service availability with and without weights comes in Step 3 with creating WEIGHTED tracer item scores and in Step 4 where the denominator changes to the number of facilities in the SAMPLE FRAME. Other than these, the calculations proceed as in Section 8.1.

126

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

Step 1. Calculate sample weights for the data set The first step is to calculate the weights for the data set. For this example, our sampling frame is 100 facilities and our sample size is 25 facilities. Table 8.15 shows the distribution of the sample and the calculation of weights.

Table 8.15 Sample distribution and sample weight calculations Region (region code) Northern (1) Facility type (facility type code) Number of facilities in the sampling frame 1 5 7 9 3 1 3 5 5 3 1 6 9 7 4 1 5 8 10 7 100 Number of facilities in the sample 1 1 1 2 1 1 1 1 2 1 1 1 1 2 1 1 1 2 2 1 25 Weight

Southern (2)

Eastern (3)

Western (4)

Hospital (1) Health centre (2) Health post (3) Maternal child health post (4) Clinic (5) Hospital (1) Health centre (2) Health post (3) Maternal child health post (4) Clinic (5) Hospital (1) Health centre (2) Health post (3) Maternal child health post (4) Clinic (5) Hospital (1) Health centre (2) Health post (3) Maternal child health post (4) Clinic (5) Total

1.000 5.000 7.000 4.500 3.000 1.000 3.000 5.000 2.500 3.000 1.000 6.000 9.000 3.500 4.000 1.000 5.000 4.000 5.000 7.000

To calculate the sample weights, divide the number of facilities in the sampling frame by the number of the facilities in the sample for each region–facility type stratum. 1 / 1 =1.000 5 / 1=5.000 … Step 2. Create variables for the tracer items Use the definition of each tracer indicator to create variables. All variables created for tracer items should have two possible values: 1 if the criteria are met and 0 if the criteria are not met. This calculation is done for each facility. This example is based on a sample set of data in which the variables have already been recoded to equal "1" if certain criteria are met (for example, the facility has a certain piece of equipment), and "0" if the criteria are not met. Please refer to the detailed definitions of the indicators in the SARA Reference Manual – Chapter4, for indicator criteria. Table 8.16 shows the basic amenities data from Section 8.1 but with additional columns: region, facility type and weight. The weights assigned are those calculated in Table 8.15.

127

8. Analyse et résultats (Analysis and output)

Table 8.16 Basic amenities domain: sample data set with weights Facility code 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 Region code 1 2 3 4 1 2 3 4 1 2 3 4 4 1 1 2 2 3 3 4 4 1 2 3 4 Facility type code 1 1 1 1 2 2 2 2 3 3 3 3 3 4 4 4 4 4 4 4 4 5 5 5 3 Weight Power Basic amenities tracer items Improv Room Adequate Communication Access to Emergency ed with sanitation equipment computer transportatio water privacy facilities with Internet n source 1 1 1 1 1 1 1 1 1 0 1 0 1 1 1 1 1 0 1 1 1 1 0 0 1 1 1 0 0 1 0 1 1 0 0 1 0 0 0 0 0 0 1 1 1 1 0 1 0 1 1 1 0 1 1 1 0 0 0 1 0 1 1 1 0 1 0 1 1 0 0 1 0 0 0 1 0 0 1 1 1 1 0 1 1 1 1 1 0 1 0 0 1 1 0 1 1 1 0 0 0 1 1 1 1 1 0 1 1 1 1 1 0 0 0 1 0 1 0 0 1 1 1 0 0 1 1 1 1 0 0 1 1 1 1 1 0 0 0 1 1 0 0 1 1 1 1 1 0 1

1.000 1.000 1.000 1.000 5.000 3.000 6.000 5.000 7.000 5.000 9.000 4.000 4.000 4.500 4.500 2.500 2.500 3.500 3.500 5.000 5.000 3.000 3.000 4.000 7.000

1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 1 1 1 0

Step 3. Calculate the WEIGHTED tracer item score Table 8.17 shows the WEIGHTED tracer item scores for the basic amenities tracer items, which is equal to the weight (Column 4) multiplied by the item value (either 1 or 0) from Table 8.16.

Table 8.17 Basic amenities domain tracer items weighted Facilit y code 1 2 3 4 5 6 7 8 9 10 11 12 13 14 Region code 1 2 3 4 1 2 3 4 1 2 3 4 4 1 Facility type code 1 1 1 1 2 2 2 2 3 3 3 3 3 4 Weight Improved water source_W 1 1 1 1 5 0 0 5 0 5 0 0 0 4.5 Basic amenities tracer items: WEIGHTED values Room Communicat Access to Adequate Emergency with ion computer sanitation transportatio privacy_ equipment_ with facilities_W n_W W W Internet_W 1 1 1 1 1 1 1 0 1 0 1 1 1 1 0 1 1 1 0 0 5 5 0 0 5 3 3 0 0 3 0 0 0 0 0 5 5 5 0 5 7 7 7 0 7 5 0 0 0 5 9 9 9 0 9 4 4 0 0 4 0 0 4 0 0 4.5 4.5 4.5 0 4.5

Power_W 1 1 1 1 0 0 0 0 0 0 0 0 0 0

1.000 1.000 1.000 1.000 5.000 3.000 6.000 5.000 7.000 5.000 9.000 4.000 4.000 4.500

128

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

15 16 17 18 19 20 21 22 23 24 25

1 2 2 3 3 4 4 1 2 3 4

4 4 4 4 4 4 4 5 5 5 3

4.500 2.500 2.500 3.500 3.500 5.000 5.000 3.000 3.000 4.000 7.000

0 0 0 0 3.5 0 0 3 3 4 0

4.5 0 2.5 3.5 3.5 0 5 3 3 0 7

4.5 0 2.5 3.5 3.5 5 5 3 3 4 7

4.5 2.5 0 3.5 3.5 0 5 3 3 4 7

4.5 2.5 0 3.5 3.5 5 0 0 3 0 7

0 0 0 0 0 0 0 0 0 0 0

4.5 2.5 2.5 3.5 0 0 5 3 0 4 7

Step 4. Calculate the WEIGHTED mean availability of each tracer item The mean availability of each tracer item is equal to the sum of the WEIGHTED tracer item scores divided by the total number of facilities in the sample frame, multiplied by 100 to get a percentage value. Table 8.18 shows how the WEIGHTED mean availability of tracer items for basic amenities is calculated.

Table 8.18 Basic amenities domain: weighted mean availability of tracer items Facilit y code 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 Sum Total numb er of faciliti es Region code 1 2 3 4 1 2 3 4 1 2 3 4 4 1 1 2 2 3 3 4 4 1 2 3 4 Facility type code 1 1 1 1 2 2 2 2 3 3 3 3 3 4 4 4 4 4 4 4 4 5 5 5 3 Weight Power_W 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 3.5 0 0 3 3 4 0 17.5 Improved water source_W 1 1 1 1 5 0 0 5 0 5 0 0 0 4.5 4.5 0 2.5 3.5 3.5 0 5 3 3 0 7 55.5 Basic amenities tracer items: WEIGHTED values Room Communicat Access to with Adequate ion computer Emergency privacy_ sanitation equipment_ with transportatio W facilities_W W Internet _W n_W 1 1 1 1 1 1 1 0 1 0 1 1 1 1 0 1 1 1 0 0 5 5 0 0 5 3 3 0 0 3 0 0 0 0 0 5 5 5 0 5 7 7 7 0 7 5 0 0 0 5 9 9 9 0 9 4 4 0 0 4 0 0 4 0 0 4.5 4.5 4.5 0 4.5 4.5 4.5 4.5 0 4.5 0 2.5 2.5 0 2.5 2.5 0 0 0 2.5 3.5 3.5 3.5 0 3.5 3.5 3.5 3.5 0 0 5 0 5 0 0 5 5 0 0 5 3 3 0 0 3 3 3 3 0 0 4 4 0 0 4 7 7 7 0 7 87.5 77.5 61.5 3 75.5

1.000 1.000 1.000 1.000 5.000 3.000 6.000 5.000 7.000 5.000 9.000 4.000 4.000 4.500 4.500 2.500 2.500 3.500 3.500 5.000 5.000 3.000 3.000 4.000 7.000

100

129

8. Analyse et résultats (Analysis and output)

Facilit y code Mean (sum / total) % (mea n× 100)

Region code

Facility type code

Weight Power_W

Improved water source_W

Basic amenities tracer items: WEIGHTED values Room Communicat Access to with Adequate ion computer privacy_ sanitation equipment_ with W facilities_W W Internet _W

Emergency transportatio n_W

0.175

0.555

0.875

0.775

0.615

0.030

0.775

17.5

55.5

87.5

77.5

61.5

3.0

75.5

Sum the total amount of available items in each column. Power = 1 + 1 + 1 + 1 + 3.5 + 3 + 3 + 4 = 17.5 Improved water source = 1 + 1 + 1 + 1 + 5 + 5 + 5 + 4.5 + 4.5 + 2.5 + 3.5 + 3.5 + 5 + 3 + 3 + 7 =55.5 … Since the total number of facilities in the sampling frame is 100, divide each sum by 100 to obtain a WEIGHTED mean availability for each item. Power = 17.5 / 100 = 0.175 Improved water source = 55.5 / 100 =0.555 … Multiply the WEIGHTED mean availability of each item by 100 in order to produce a percentage value. Power = 0.175 × 100 = 17.5% Improved water source = 0.555 × 100 = 55.5% …

Step 5. Calculate the WEIGHTED general service readiness domain scores The weighted general service readiness domain scores are equal to the sum of the WEIGHTED means that were obtained for each tracer item in a domain divided by the total number of items in the domain, then multiplied by 100. Table 8.19 shows how the basic amenities WEIGHTED domain score is calculated. This calculation should be repeated for each of the five general service readiness domains.

Table 8.19 Basic amenities domain score (weighted) Basic amenities tracer items Power Improved water source Room with privacy Access to adequate sanitation facilities Communication equipment Access to computer with Internet Emergency transportation Sum of values Total number of items Mean (sum / total) Weighted basic amenities domain score (mean × 100) Sum 17.5 55.5 87.5 77.5 61.5 3.0 75.5 Total 100 100 100 100 100 100 100 Sum / Total) 0.175 0.555 0.875 0.775 0.615 0.030 0.755 3.780 7 0.54 54

Sum the WEIGHTED means that were obtained for each item (e.g. sum the WEIGHTED means of all the items in the basic amenities domain). 0.175 + 0.555 + 0.875 + 0.775 + 0.615 + 0.030 + 0.755 = 3.78

130

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

2. 3.

Divide by the total number of items. For basic amenities, there are 7 tracer items. 3.78 / 7 = 0.54 Multiply by 100 to obtain the domain score. 0.54 × 100 = 54

Step 6. Calculate the WEIGHTED general service readiness index The weighted general service readiness index is equal to the sum of the weighted domain scores divided by the number of domains. The example in Table 8.20 shows how the WEIGHTED general service readiness index is calculated. Once the WEIGHTED general service readiness domain scores have been calculated for all five domains, they can be aggregated to produce a general service readiness index.

Table 8.20 General service readiness index (weighted) General service domains (weighted) Basic amenities Basic equipment Standard precautions for infection prevention Diagnostic capacity Essential medicines Sum of domain scores Total number of domains General service readiness index (sum of domain scores / total number of domains) Domain scores 54 75 53 12 38 232 5 46

1. 2.

Sum the five WEIGHTED general service readiness domain scores 54 + 75 + 53 + 12 + 38 = 232 Divide the sum by the total number of domains to get the WEIGHTED general service readiness index 232 / 5 = 46

131

8. Analyse et résultats (Analysis and output)

8.4

Importing data to the SARA analysis tool

The SARA analysis tool has been developed to quickly produced, in an automated manner, SARA standard results including tables and graphs on the indicators. Prior to using the tool, the SARA indicators should have been generated using the Batch edit application and Data export function from the CSPro (Chapter 7 – Data cleaning and processing). Step 1: Opening the exported data file into Excel To open this file using Microsoft Excel, start Microsoft Excel and open a blank workbook. Then click on File -> Open -> and browse to where the SARA_Indicators_Export.txt file is saved. Make sure that all files is selected so that the txt file will show in the browse window. Select the SARA_Indicators_Export.txt file and click on Open. The text import window will open. Make the following selections: • Step 1: File type- select Delimited; check box- My data has headers; • Step 2: Delimiters- make sure only Tab box is checked; • Step 3: Column data format- select General. Then click on Finish. The txt file is now open in Microsoft Excel. Click on File -> Save as and change the save as type to Excel Workbook. The file is now saved as an XLS file. When you open the XLS file, the following column headers should be present in the order specified in the table below (from left to right in the XLS file). If this is not the case, please edit the XLS file until it matches this structure. *Please read this table starting at the top of column one, read down column one and when you reach the end, please go to the top of column two. Continue in this fashion for the eight columns. You can also open the SARA excel generic tool to see the column headings in the appropriate order. Column 1 Q001 Q002 QDAY QMONTH QYEAR QINTERVIEWER Q003 Q004 Q005 Q006 Q007 Q007_A Q008 Q008_A Q009 Q010 Q011 Q012 Q013_A Q013_B Q013_C Q014_A Q014_B Q014_C INS_Q015

Column 2 DO4 DO4_ALL M1 M56 M33 M2 M71 M59 M5 M53 M94 M72 M10 M95 M51 M50 M11 M32 M38 M13 M14 M36 DO5 DO5_ALL IN5

Column 3 M20 M39 M40 DO9 DO10 DO11 DO12 IN7 IN7_ALL S9 S9_01 S9_02 S9_03 S9_04 S9_05 S9_06 S9_07 S9_08 T6 T7 I8 E7 E8 E9 E10

Column 4 S10_02 S10_03 S10_04 S10_05 S10_06 T8 T9 E14 E15 I21 I22 E39 E40 E41 E42 M28 M29 M30 M31 M93 M92 DO16 DO17 DO18 IN9

Column 5 T16 T17 DO23 DO77 DO24 IN11 IN11_ALL M69 M70 M73 M74 M75 M76 M77 M78 M79 M106 M107 DO70 M141 M80 M81 M82 M83 DO71

Column 6 T59 D35 D34 D36 D36_A D36_B M37_A M37_B M136 M138 M139 M140 S16 S16_01 S16_02 S16_03 S16_04 S16_05 S16_06 S16_07 S16_08 S16_09 S16_10 T22 T23

Column 7 M44 DO36 DO37 DO38 IN15 IN15_ALL S19 S19_01 S19_02 T35 T36 D15 D16 D17 D16_D17 D18 D19 M45 DO39 DO40 DO41 IN16 IN16_ALL S20 S20_01

Column 8 IN19 IN19_ALL S23 T45 T46 E45 M54 M55 M57 DO53 DO54 DO55 IN20 IN20_ALL S24 T47 T48 E19 E20 M60 M61 DO56 DO57 DO58 IN21

Column 9 DO68 DO69 IN24 IN24_ALL M135 M114 M116 M118 M119 M120 M121 M122 M123 M124 M125 M126 M127 M128 M129 M130 M131 M132 M133 M134 S28

132

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

Q015 Q016_A Q016_B STRATUM_1 STRATUM_2 STRATUM_3 STRATUM_4 WEIGHT I1 I2 I3 I4 I5 I6 I7 DO1 DO1_ALL E1 E2 E3 E4 E5 E6 DO2 DO2_ALL I9 I10 I11 I12 I13 I14 I15 I16 T1 DO3 DO3_ALL D1 D2 D3 D4 D5 D6 D9 D11

S7 S7_01 S7_02 S7_03 S7_04 S7_05 S7_06 S7_07 S7_08 S7_09 S7_10 S7_11 S7_12 T2 T3 M15 M16 M17 DO6 DO7 DO8 IN6 IN6_ALL M96 M97 M98 M99 M100 M101 M102 M103 M104 M105 S8 S8_01 S8_02 S8_03 S8_04 S8_05 S8_06 T4 T5 M18 M19

E11 E12 E37 E13 I20 M21 M22 M23 M24 M26 M27 DO13 DO14 DO15 IN8 IN8_ALL S26_01 S26_02 S26_03 T51 T52 T53 T54 E29 E30 D21 D22 M66 M67 M89 M62 M87 M86 M84 M85 M64 DO62 DO63 DO64 DO65 IN23 IN23_ALL S10 S10_01

IN9_ALL M28_A M29_A M30_A M31_A M93_A M92_A S11 S11_01 S11_02 S11_03 S11_04 S11_05 S11_06 S11_07 S11_08 T10 T11 T12 T13 E38 E16 E17 D10 M7 M12 M34 M35 DO19 DO20 DO21 DO22 IN10 IN10_ALL S12 S12_01 S12_02 S12_03 S12_04 S12_06 S12_07 S12_09 T14 T15

M108 M109 M110 M111 E43 M99_A M100_A M101_A M102_A M103_A M104_A M22_A M74_A M24_A M72_A M72_B M72_C M80_A M5_A M78_A M78_B M111_A M33_A M32_A M36_A M36_B S15 S15_01 S15_02 S15_05 S15_06 S15_07 S15_03 S15_04 T18 T19 T20 T21 M37 DO26 DO27 DO28 IN12 IN12_ALL

T24 T25 T26 T27 T28 T29 D8 D13 M41 DO29 DO30 DO31 IN13 IN13_ALL S17 T30 T31 I23 M91 DO32 DO33 DO34 DO35 IN14 IN14_ALL S18 S18_01 S18_02 S18_03 S18_04 S18_05 S18_06 S18_07 S18_08 S18_09 S18_10 S18_11 S18_12 T32 T33 T34 D14 M42 M43

S20_02 S20_03 S20_04 S20_05 S20_06 S20_07 T37 T38 T39 T40 I24 D7 M46 M47 M48 DO42 DO43 DO44 DO45 IN17 IN17_ALL S21 S21_01 S21_02 T41 T42 M49 M6 DO46 DO47 DO48 IN18 IN18_ALL S22 T43 T44 E18 D20 M52 M115 DO49 DO50 DO51 DO52

IN21_ALL S29 T60 T61 E44 D37 DO78 DO79 DO80 IN26 IN26_ALL S25 S25_01 S25_02 S25_03 S25_04 S25_05 S25_06 S25_07 S25_08 S25_09 T49 T50 E21 E22 E23 E24 E25 E26 E27 E28 M63 M65 DO59 DO60 DO61 IN22 IN22_ALL S27 T55 T56 E31 DO66 DO67

S28_01 S28_02 S28_03 S28_04 S28_05 S28_06 S28_07 S28_08 S28_09 S28_10 S28_11 S28_12 S28_13 S28_14 S28_15 S28_16 S28_17 S28_18 S28_19 T57 T58 E32 M25 M88 M90 DO72 DO73 DO74 IN25 IN25_ALL D24 D25 D21_D22 D23 D29 D30 D31 D32 D33 DO75 E33 E34 E35 E36 DO76

Step 2: Copy/paste data into the excel tool

1. Once the data is in the proper order, select all the rows that have data in your exported XLS data file (do not include the header row), copy the rows, open the SARA generic analysis tool, and paste the rows into the sheet called indicators starting in row 2 (beneath the headers).

2. Once the data has been pasted, the remaining worksheets will be automatically updated with the new data. From there, adjustments will need to be made only on the graphs in order to put the items in descending order.

133

8. Analyse et résultats (Analysis and output)

8.5

Data visualization

The visual display of quantitative information in the form of charts, graphs and maps is referred to as the analytical output. In contrast to tables, which are an excellent tool for looking up and comparing individual values, but by themselves do not do a good job of summarizing large amounts of data; charts, graphs and maps display the relationships among multiple quantitative values by giving them shape. They present data in visual form, and often make data easier to understand since readers can visualize overall trends or patterns that might otherwise be difficult to identify. This section discusses the fundamental concepts of charts and graphs, and survey reports, as well as methods for disseminating analytical outputs.

8.5.1 Creating graphs Graphs display relative sizes of numerical quantities, and present a straightforward way of comparing numbers. They can be used to clearly illustrate many different types of data. Graphs can display nominal comparisons, changes over time, categorical rankings, percentages and ratios, deviations, distributions or correlations. The output from the SARA questionnaire is primarily used for nominal comparison, ranking, and percentages or ratios. Nominal comparison and ranking refer to the subdivision and organization of data so that categories can be easily seen and compared with each other. For example, nominal comparison and ranking makes it easy to identify that a particular type of health facility has more equipment in one district than in another. The SARA output is also used to communicate percentages. For example, a graph can visually display that a certain percentage of facilities have a particular type of equipment available. Regardless of the type of data being displayed, there are several characteristics that every graph should include. Title A descriptive title should explain what kind of data is being displayed. A proper title communicates the theme, location and time period. The title should be concise, but should leave the reader knowing exactly what is being shown. Labels Both x- and y-axes should be labelled and a legend should be included when applicable. If including a legend, it should usually be placed outside of the plot area. Placing it inside the plot area may save space, but will often clutter the chart, detract from its purpose and may cross or interrupt the data being presented. Scales Every chart or graph should have clearly labelled x- and y-axis unit values. The values should reflect the data accurately. In most cases, it is appropriate for the scale to begin at zero. If a scale does not begin at zero, this fact should be clearly highlighted and explained. Simplicity Each chart or graph should be designed to clearly communicate its purpose while avoiding unnecessary flourishes. For example, flat, two dimensional charts are typically better than three dimensional charts. Three dimensional charts are often difficult to interpret because readers must study the various dimensions in relation to the axes. In a three dimensional bar or column chart, it is often unclear which plane or line of the bar relates to the scale. Similarly, gridlines are optional, but when they are used they should be displayed with a light, non-distracting colour and line weight. Sufficient blank space should be given to enable the reader to quickly focus on the intended information.

134

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

Bars, columns, lines, symbols, etc. Bars, columns, lines and symbols represent the data derived from the data table or directly from the data set. Bars and columns should not be touching unless the chart is a histogram, which is intended to convey the continuous nature of the data. If the data are discrete (i.e. represent separate groups or attributes, such as data organized by district or by facility type), the bars should not touch each other. If symbols are used, such as in a scatter plot, they should be of sufficient size to be clearly distinguishable from each other. Value can also be added to a graph by re-ordering the bars to display data by different variables (e.g. region, managing authority, type of facility). This can be done by clustering bars that are similar (e.g. region) and then further categorizing the bars within each region by another variable (e.g. rural versus urban). For example, a graph with bars representing the different regions in a country could be reordered in ascending or descending order by the type of managing authority. Within the different types of managing authorities the bars could be further ordered by the type of facility. Number of observations It is usually helpful to include the total number of observations being displayed. If a sample is being represented, the chart should clearly state that somewhere. This will give the reader a better idea of what the chart represents, and will help establish trust between the reader and the creator. Building trust is essential if the chart is to effectively convey a message, idea or concept.

8.5.2 Graphs for SARA indicators The Section 8.1 provided examples for generating SARA indicators and their associated tables. From these tables, graphs can be generated to help visualize the data and give a visual indication of what the data tells us. This section provides example graphs for SARA indicators that can be used as a template when creating graphs from SARA data. The types of graphs produced will largely depend on the methodology used to collect the data as well as the objectives of the assessment. For example, if a census is undertaken, disaggregation can be by district, managing authority, facility type or any other variable of interest. However, if a sample survey is undertaken, there are limitations to the variables by which data can be disaggregated depending on the sampling design. Each graph should convey a message on a key result in the data. In order to identify the key results and efficiently display them, several graphs may need to be made, each one more refined than the last until the message is clear and all relevant information is displayed. First identify the key results by looking at a table or initial graph of the basic indicator data. Then, determine the best way to display the result so that the key message is easily communicated. Finally, decide what additional information would be valuable for highlighting this key result. For the final report, only the most relevant and informative graphs should be included. Some suggestions for creating graphs that highlight the key message are as follows (note that not all suggestions will be relevant for all graphs). • Include a bar for the overall results in addition to any disaggregation of data. • Disaggregate data by different variables, such as district, facility type or managing authority as applicable. Disaggregating the data will help to see if there are differences in the indicator according to variables of interest. For example, health workforce density may differ between districts, with urban districts having a higher density than rural districts; this important result would only be seen if the data for health workforce density are disaggregated. • Whenever possible, order bar graphs in ascending or descending order. This allows for easy visualization of trends. • Order bars by any applicable organizational unit. For example, if each bar represents a district, group the districts by urban, peri-urban and rural districts, then arrange in ascending or descending order within these groupings. This type of grouping can also apply to indicators such as essential medicines and the domains for the service-specific indicators.

135

8. Analyse et résultats (Analysis and output)

• Where applicable, add a benchmark or target line. This provides a reference point to facilitate interpretation of the data. • For graphs where the bars represent an index (a composite of several indicators), the components of the index can be displayed with symbols superimposed on the bar. This provides additional information on how the individual components are affecting the overall index score. • When possible, add information on trends over time (if data are available). Looking at trends allows for analysis and comparison of progress over time. Service availability indicators This section provides examples of graphs used for SARA service availability indicators. These graphs are specific to the data set from which they were created and should not be replicated identically. For additional examples, please refer to the Sierra Leone services availability and readiness 2011 summary report or the Zambia services availability and readiness 2010 summary report, which are available at: http://apps.who.int/healthinfo/systems/datacatalog/index.php/catalog.

Health facility density Health facility density (number of health facilities per 10 000 population) is primarily an indicator of outpatient access. This measure provides a good understanding of the health system resources available in a country. While there is no gold standard on assessing the sufficiency of health facilities in a country, a low density usually suggests inadequate capacity to meet a minimum coverage of essential services. Figure 10.1 shows an example of a graph displaying health facility density by district, type of district and managing authority.

INDICATOR

KEY PARAMETERS 1.

Facility density by geographical distribution. Plot facility density overall for all districts and separately for each district.

Facility density relative to a benchmark or target. Plot the benchmark value. In Figure 8.8, this is the horizontal line at two health facilities per 10 000 population.

Facility density in urban, peri-urban and rural districts. Group the districts by milieu, then order by descending facility density.

Composition of facilities by managing authority. Disaggregate each bar by public/private/other.

136

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

Figure 8.8 Density of health facilities per 10 000 population, by district Health facilities per 10 000 pop 2.5 2 1.5 1 0.5 0 1.5 1.5 1.1 1.2 1.1 2.3 2.2

2 1.6 1.4 0.9

Target Overall Urban Peri-urban Rural

Inpatient bed density

INDICATOR

The number of inpatient beds per 10 000 population is an indicator that provides information on the number of inpatient beds available relative to the total population for a defined geographical area. This indicator is useful for measuring the supply of health services available. In this measure, paediatric beds (cots) are included, but maternity beds are excluded. Figure 8.9 shows an example of a graph displaying the density of inpatient beds by district and type of district.

KEY PARAMETERS 1.

Figure 8.9 Density of inpatient beds per 10 000 population, by district 30

Inpatient beds per 10 000 pop

e Di rall str ic Di t 1 str ic Di t 2 str ic Di t 3 str ic Di t 4 str ic Di t 5 str ic Di t 6 str ic Di t 7 str ic Di t 8 str i Di ct str 9 ic t 10 District

Inpatient bed density by geographical distribution. Plot inpatient bed density overall for all districts and separately for each district.

Inpatient bed density relative to a benchmark or target. Plot the benchmark value. In Figure 8.9, this is the horizontal line at 25 inpatient beds per 10 000.

Inpatient bed density in urban, peri-urban and rural districts. Group the districts by milieu, then order by descending inpatient bed density.

25 20 15 10 5 0 16

24 20 16 21 19 14 15 13 12

Target

Overall 10 Urban Peri-urban Rural

er a str ll ic t Di str 1 ic Di t 2 str ic Di t 3 str ic Di t 4 str ic Di t 5 str ic Di t 6 str ic Di t 7 str ic Di t 8 str Di ict str 9 ic t 10 Di District

137

8. Analyse et résultats (Analysis and output)

Maternity bed density

INDICATOR

The number of maternity beds per 1000 pregnant women informs stakeholders about the availability of beds specifically for pregnant woman seeking care during pregnancy. Note that maternity beds differ from delivery beds and are not used for childbirth, but are used before and after delivery. This indicator also provides information on access to delivery services because often the accessibility of delivery care services increases where there are more maternity beds available. Figure 10.3 shows an example of a graph displaying the density of maternity beds by district.

KEY PARAMETERS 1. 2.

Maternity bed density by geographical distribution. Plot maternity bed density overall for all districts and separately for each district. Maternity bed density relative to a benchmark or target. Plot the benchmark value. In Figure 8.10, this is the horizontal line at 10 maternity beds per 1000 pregnant women.

Figure 8.10 Density of maternity beds per 1000 pregnant women, by district Maternity beds per 1 000 pregnant women 12 10 8 6 4 2 0 5 7 6 6 8 6 4 6 4 3 Target Overall Urban Peri-urban 2 Rural

Health services infrastructure index

INDEX

The health services infrastructure index consists of the average score of the three indicators: facility density, inpatient bed density and maternity bed density. Figure 8.11 shows an example of a graph displaying the health services infrastructure index by district.

KEY PARAMETERS 1.

Health services infrastructure index by geographical distribution. Plot health services infrastructure index overall for all districts and separately for each district represented as a solid bar. Breakdown of index elements. Plot the individual indicator elements of the index as symbols in order to see how the elements contribute to the overall index score.

138

e Di rall str ic Di t 1 str ic Di t 2 str ic Di t 3 str ic Di t 4 str ic Di t 5 str ic Di t 6 str ic Di t 7 str ic Di t 8 str Di ict str 9 ic t 10 District

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

Figure 8.11 Health services infrastructure index score and component scores, overall and by district 100 80 60 40 20 0 65 89 72 60 88 65 50 73 57 49 35 Health infrastructure index Facility density Inpatient beds Maternity beds

Score

er all

t9 str ic Di

str ic

District

Service availability index

INDEX

The service availability index is the unweighted average of the three indices: health infrastructure, health workforce and service utilization. The service availability index serves as an overall composite index to summarize all of the service availability indicators. Figure 10.5 shows an example of a graph displaying the service availability index by district and type of district.

KEY PARAMETERS 1.

Service availability index by geographical distribution. Plot service availability index overall for all districts and separately for each district represented as a solid bar. Breakdown of index elements. Plot the individual indicator elements of the index as symbols in order to see how the elements contribute to the overall index score.

Figure 8.12 General service availability index score and component scores, overall and by district 100 80 Overall 60 40 20 0 52 88 71 62 60 55 34 56 43 34 26 Urban Peri-urban Rural Health infrastructure Health workforce Service utilization

Score

er all

t8 Di

str ic

t1 0

District

t9 Di str ic t 10

str ic

139

8. Analyse et résultats (Analysis and output)

General service readiness indicators This section provides examples of graphs used for two of the five SARA general service readiness indicators. These graphs are specific to the data set from which they were created and should not be replicated identically. For additional examples please refer to the Sierra Leone services availability and readiness 2011 summary report or the Zambia services availability and readiness 2010 summary report, which are available at: http://apps.who.int/healthinfo/systems/datacatalog/index.php/catalog.

Diagnostic capacity The diagnostic capacity domain consists of a set of eight tracer items, and the domain score is the mean percentage of items available for each facility. Elements include facilities with capacity to conduct tests on-site and with appropriate equipment for: haemoglobin, blood glucose, malaria diagnostic capacity, urine dipstickprotein, urine dipstick- glucose, HIV diagnostic capacity, syphilis RDT and urine pregnancy test. Figure 8.13 shows the percentage of facilities that have all eight tracer items present, by district and type of district.

Figure 8.13 Percentage of facilities with all 8 diagnostic tests, overall and by district 100

Percentage of facilities

80 60 40 20 0 19 8 12 7 14 6 8

Overall Urban Peri-urban 4 4 4 3 Rural

Figure 8.14 shows the mean availability of the diagnostic tests by district and type of district.

Figure 8.14 Diagnostic capacity domain score: Mean availability of diagnostic tests, overall and by district

Figure 8.15 shows the diagnostic capacity domain readiness score as solid bars and the indicator elements that make up the domain score as symbols. The general service readiness graphs should be created in a way that clearly shows the capacity in a country. For diagnostics, ideally all facilities would be able to offer the 8 tracer diagnostic tests (i.e. all the bars in Figure

140

er a str ll ic t Di 1 str ic t Di str 2 ic Di t 3 str ic Di t 4 str ic Di t 5 str ic Di t 6 str ic Di t 7 str ic Di t 8 str Di ict str 9 ic t 10 Di District

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

8.13 would be 100). However, when this is not the actual situation, Figures 8.14 and 8.15 help to illustrate the current state of diagnostic capacity.

Figure 8.15 Diagnostic capacity domain score and tracer items, overall and by district

Essential medicines The essential medicines domain consists of 25 essential medicines, and the domain score is the mean percentage of essential medicines available for each facility. The standard 25 essential medicines are: amlodipine tablet or alternative calcium channel blocker, amoxicillin (syrup/suspension or dispersible tablets AND tablet), ampicillin powder for injection, aspirin (capsules/tablets), beclometasone inhaler, beta blocker, carbamazepine tablet, ceftriaxone injection, diazepam injection, enalapril tablet or alternative ACE inhibitor, fluoxetine tablet, gentamicin injection, glibenclamide tablet, haloperidol tablet, insulin regular injection, magnesium sulfate injectable, metformin tablet, omeprazole tablet or alternative, oral rehydration solution, oxytocin injection, salbutamol inhaler, simvastatin tablet or other statin, thiazide and zinc sulphate (tablet or syrup). Figure 8.16 shows the percentage of facilities that have all 25 essential medicines present by district and type of district.

Figure 8.16 Percentage of facilities with all 25 essential medicines, overall and by district 100

Percentage of facilities

80 60 40 20 2 0 7 7

Overall Urban Peri-urban 5 Rural 0 0 0 0 3 0 0

er a str ll ic t Di 1 str ic t Di str 2 ic Di t 3 str ic Di t 4 str ic Di t 5 str ic Di t 6 str ic Di t 7 str ic Di t 8 str Di ict str 9 ic t 10 Di District

141

8. Analyse et résultats (Analysis and output)

Figure 8.17 shows the mean availability of the essential medicines by district and type of district.

Figure 8.17 Essential medicines domain score: Mean availability of 25 essential medicines, overall and by district

100 90 80 70 Score 60 50 40 30 20 10 0 45 61 53 56 47

49 33

Overall 33 Urban Peri-urban Rural

District

142

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

Figure 8.18 shows the essential medicines domain readiness score as solid bars and the indicator elements that make up the domain score as symbols.

Figure 8.18 Essential domain score and tracer items, overall and by district 100 Overall Urban Peri-urban Rural

Amlodipine tablet or alternative calcium channel blocker amoxicillin (syrup/suspension or dispersible tablets) amoxicillin tablet ampicillin powder for injection aspirin (capsules/tablets)

60 Score

beclometasone inhaler beta blocker

carbamazepine tablet ceftriaxone injection diazepam injection

enalapril tablet or alternative ACE inhibitor fluoxetine tablet gentamicin injection

glibenclamide tablet haloperidol tablet insulin regular injection magnesium sulfate injectable metformin tablet

District

The general service readiness graphs should be created in a way that clearly shows the capacity in a country. For essential medicines, ideally all facilities would have the 25 tracer medicines (i.e. all the bars in Figure 8.16 would be 100. However, when this is not the actual situation, Figures 8.17 and 8.18 help to illustrate the current state of essential medicines availability. Service-specific availability and readiness indicators This section provides examples of graphs used for SARA service-specific readiness indicators. These graphs are specific to the data set from which they were created and should not be replicated identically. For additional examples please refer to country reports available: http://apps.who.int/healthinfo/systems/datacatalog/index.php/catalog.

Service-specific availability

143

8. Analyse et résultats (Analysis and output)

Service-specific availability measures what proportion of facilities are offering services. As an example, Figure 8.19 shows the proportion of facilities offering different maternal, newborn and child health (MNCH) services.

Figure 8.19 Availability of maternal, newborn and child health services Child health preventative… Antenatal care Services Child immunization Basic obstetric care Family planning 10% 0% 20% 40% 60% 80% 100% Percentage of facilities 96% 93% 92% 91% 89%

Comprehensive obstetric care

Service-specific readiness: comprehensive obstetric care The SARA indicator for comprehensive obstetric care has four domains and a total of 17 tracer items. These tracer items include: guidelines on CEmOC, staff trained in CEmOC, staff trained in surgery, staff trained in anaesthesia, anaesthesia equipment, incubator, blood typing, cross match testing, blood supply sufficiency, blood supply safety, Lidocaine 5%, Epinephrine (injectable), Halothane (inhalation), Atropine (injectable), Thiopental (powder), Suxamethonium bromide (powder) and Ketamine (injectable). For the facilities that offer comprehensive obstetric care, the percentage of facilities with these tracer items available are shown in Figure 8.20. Readiness to provide comprehensive obstetric care is calculated as the mean of the domain scores and is shown in the last (light grey) bar of the graph. This type of detailed graph is useful to see the details of each service-specific indicator.

144

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

Figure 8.20 Availability of tracer items for comprehensive obstetric care at facilities providing the service

Maternal, newborn and child health (MNCH) service readiness can be summarized by showing each service readiness score as a solid bar and the service-specific domain scores as symbols in order to visualize how the domain scores contribute to the readiness score (Figure 8.21).

Figure 8.21 Readiness to provide maternal, newborn and child health services

Service-specific readiness: communicable diseases The SARA indicator for HIV counselling and testing has four domains and a total of five tracer items. These tracer items include: staff trained in HIV counselling and testing, guidelines on HIV counselling and testing, room with auditory and visual privacy, HIV diagnostic capacity and male condoms. For facilities that offer HIV counselling and testing, the percentage of facilities with these tracer items available is displayed in Figure 8.22. Readiness to provide HIV counselling and testing is calculated as the mean of the domain scores and is shown in the last (light blue) bar of the graph. This type of detailed graph is useful to see the details of each servicespecific indicator.

145

8. Analyse et résultats (Analysis and output)

Figure 8.22 Availability of tracer items for HIV counselling and testing at facilities providing the service Staff and training Equipment Diagnostics Medicines and commodities Readiness score 91 65 88 48 86 64 0 20 40 60 80 100

Staff trained HIV counseling and testing Guidelines HIV counseling and testing

Tracer items

Room with auditory/visual privary HIV diagnostic capacity Male condoms

Readiness to provide HIV counseling and testing services

Percentage availability (%)

HIV/AIDS, tuberculosis and malaria service readiness can be summarized by showing each service readiness score as a solid bar and the service-specific domain scores as symbols in order to visualize how the domain scores contribute to the readiness score (Figure 8.23).

Figure 8.23 Readiness to provide HIV/AIDS, tuberculosis and malaria services Readiness score 100 80 Staff and training Equipment Diagnostics Medicines and commodities

Score

60 40 20 0

75 60 38 51 48

HIV cou

nse llin

HIV car e ga nd

a nd

An t ire sup po rt

tr o v

te s tin g

ir a l th

PM TCT e ra py

Sex

ual

ly t r an

Ma la r ia sm it te d in fec

Tub

er c u

lo s is

Services

tio n

146

Mesurer la disponibilité et la capacité opérationnelle des services (SARA) | Guide pratique, version 2.2

8.6

Survey report

Findings from the SARA survey can be used for different purposes by different stakeholders. The way in which the survey results are reported depends on the target audience and the survey's objectives. However, information on many aspects of the survey needs to be included in all reports. All reports should include the following core information. • Cover page including the name of the organization that undertook the survey • Table of contents • Background and/or Foreword • Acknowledgements • Abbreviations and acronyms • Executive summary • Introduction − Survey's objective(s) − When and where survey was conducted • Methodology and data collection − − − − Selection of survey areas and sectors surveyed Planning process Sampling methodology Data collection, data entry and quality-assurance procedures

• Ethical issues − Confidentiality − Potential conflicts of interest • Results, with national and subnational comparisons − Service availability − Service readiness − Service-specific availability and readiness (e.g. HIV/AIDS; MNCH; noncommunicable diseases) • Discussion • Recommendations • Conclusion • Annexes (if needed). In general, reports are written collaboratively and include all the stakeholders who had an active role in administering the survey, such as programme officers from the MoH, external development partners and nongovernmental organizations. There are a number of helpful tips for developing a survey report. • Policy-makers and key stakeholders may not devote enough time to reading the full report and may only read the executive summary. More people will read beyond the executive summary if sufficient interest is created. • The report should be presented in a straightforward and precise fashion that is understandable to a moderately-informed reader.

147

8. Analyse et résultats (Analysis and output)

• Avoid presenting too many numbers and avoid crowding tables or charts, or presenting data too scientifically. This may make the report unintelligible to the reader; the details can be provided in an annex, where necessary. • Avoid overusing abbreviations. • Table and graphs should be employed to avoid long, overcomplicated narrative descriptions of results. • The findings must be presented clearly and important results highlighted, with the conclusions and recommendations clearly presented and logically derived from these findings. • Make logical inferences based on the results of the survey and take into account the limitations of the survey methodology. Refer to data from other sources, if available. • Recommendations should reflect consultation with the survey coordinating group. They should be realistic, limited and focused on those areas where the greatest impact can be achieved. They should identify the problem to be addressed and the proposed solution. • Conclusions and recommendations that do not originate from the findings should not be included. When a draft report is written, a meeting of the survey coordinating group and key stakeholders (technical programmes, M&E units, statistical office, policy-makers, partners, etc.) should be held to present the survey results, discuss their interpretation and develop policy recommendations. The report should be finalized as soon as possible after this meeting.

8.7

Results dissemination

Dissemination of results is key to the successful implementation of a survey. Development of new data sources is only useful if data are received in a timely manner by their intended recipients and their strengths, potential uses and limitations are well understood by the target audience. The purpose of dissemination is to ensure that the right people receive survey results in a format that is targeted specifically to their needs. Target audiences for SARA are usually decision-makers at national, district and facility levels. Conducting the survey, along with analysing and interpreting the data, are important, but the final use of the results will depend on the effectiveness of final reporting and dissemination. Without these steps, the survey would fall short of achieving its objectives. Any of the following activities may be undertaken in order to disseminate SARA results: • national and/or regional dissemination workshops; • an annual health sector review; • web dissemination e.g. MoH web site, country observatory, etc. • publication of reports, presentations and brochures.

148

Informations clés

Organisation Organisation mondiale de la santé (OMS)

Type de document Technical Documents

Date d'adoption 24 août 2015

Source Organisation mondiale de la santé