EXPANDED PROGRAMME O N IM M UNIZATION Computer Sim ulation of the EPI Survey M ethodology
PROGRAMME ELARGI DE VACCINATION Sim ulation sar ordinateur de la méthodologie d’enquête du PEV
The Expanded Programme on Immunization (EPI) continually faces the problem of documenting immunization coverage rates. EPI has worked to develop a m ethod1which could yield accurate information quickly and cheaply, and could be implemented in a relatively standardized manner in different countries. The first stage of the EPI sampling scheme, in which 30 clusters are selected, may be characterized as a “probability proportionate to size” (PPS) cluster sample. In the second stage, 1 household is randomly selected within each cluster as a starting point from which the interviewer proceeds to the next nearest household, until 7 children have been identified m the target age group. Simple random sample (SRS) techniques would dictate that in the second stage 7 households are randomly selected and that from each starting point 1 child in the target age group is identified. In order to compare the results of the EPI scheme with the SRS technique, a computer simulation study was undertaken which evaluated the EPI survey methodology in 3 ways: 1. By assessing its ability to achieve the stated objective of producing estimates of immunization coverage accurate to within 10 percentage points of the actual level in the popu lation, with 95% confidence; 2. By examining its performance relative to a PPS sampling strategy including SRS with respect to bias and variability of estimates of true immunization coverage;3 3. By identifying those factors which may produce high bias and variability at the individual cluster level. Design of the Simulation In order to study the 2 sampling strategies, populations of clus ters were constructed. Each of the clusters was constructed with a specific combination of immunization coverage, population den sity, household distribution pattern and immunization pattern. The various levels of each of these factors are shown in Table 1, with some examples of household distribution patterns illustrated in Figure 1. Within the households, children of the target age group were placed at random, with the probability o f 1 child per 7 households. Once a cluster was established with its particular placement of immunized and non-immunized children, 500 independent sam ples of 7 children each were selected using the EPI sampling method and 500 additional samples using the SRS method. In order to simulate the programme applications of these sam pling methods, 5 populations o f 30 clusters were constructed, the ' See No 17, 1982, pp 129-131. Epidemiological noies contained in dus number
Le programme élargi de vaccination (PEV), qui est constamment con fronté au problème de l’information sur les taux de couverture vaccinale, s’est employé à élaborer une méthodologie1 qui soit capable de fournir rapidement et à peu de fiais une information précise, et qui puisse être appliquée dans les différents pays de façon relativement normalisée. La première étape du plan de sondage PEV, où 30 grappes sont choisies, peut être définie comme un échantillon en grappe de «probabilité pro portionnée à la taille» (PPS = probability proportionate to size). A la deuxième étape, on choisit au hasard, dans chaque grappe, un ménage «point de départ» à partir duquel l’enquêteur passe au ménage le plus proche jusqu’à ce que 7 enfants du groupe d’âge visé aient été trouvés. Les techniques de sondage aléatoire type (SRS — sim ple random sample) voudraient qu’au second stade, on tire au hasard 7 ménages et qu’un enfant du groupe d’âge visé soit sélectionné à partir de chaque point de départ. Pour comparer les résultats du plan PEV avec ceux de la technique SRS, on a procédé à une étude de simulation sur ordinateur où l’on a évalué la méthodologie d’enquête du PEV des 3 manières suivantes: 1. en mesurant son aptitude à atteindre l’objectif visé, c'est-à-dire à produire une estimation de la couverture vaccinale qui soit exacte à 10% près, au maximum, du niveau réel de la population, avec un seuil de confiance de 95%; 2. en examinant ses résultats par rapport à ceux d’une stratégie de sondage PPS comprenant la méthode SRS pour ce qui concerne le biais et la variabilité des estimations de la véritable couverture vaccinale; 3. en identifiant les facteurs qui peuvent produire des biais et une variabilité importante au niveau de chaque groupe. Elaboration de la simulation
Pour étudier les 2 stratégies de sondage, on a constitué des populations de grappes ; pour construire chacune d’elles, on a associé de façon spéci fique les facteurs suivants : couverture vaccinale, densité démographique, distribution des ménages et type de vaccination. Les divers niveaux de chacun de ces facteurs sont présentés dans le Tableau 1 tandis que la Figure 1 fournit quelques exemples de types de distribution des ménages. Dans les ménages, les enfants du groupe d’âge visé ont été placés au hasard, avec la probabilité d’un enfant par 7 ménages. Une fois la grappe constituée, avec son placement particulier d’enfants vaccinés et non vac cinés, on a choisi 500 échantillons indépendants de 7 enfants chacun au moyen de la méthode de sondage PEV et 500 autres au moyen de la méthode SRS. Pour simuler les applications de ces méthodes, on a construit 5 popu lations de 30 grappes en choisissant des paramètres qui reflètent les 1 Voix N ° 17, 1982, pp. 129-131. Informations épidémiologiques contenues dans ce numéro.
Expanded Programme on Immunization, Viral Hæmorrhagic Fever Surveillance. Index to Nos. 27 to 39, p. 301. List of Infected Areas, p. 303.
Programme élargi de vaccination, surveillance des fièvres hémorragiques virales. Index des N“ 27 à 39, p. 301. Liste des zones infectées, p. 303.
Wkly Epidem Rec No. 39 - 28 September 1984
-
298
-
Relevé epidém. hebd. N» 39 - 28 septembre 1984
parameters of which were chosen to reflect actual population char acteristics. Table 2 presents the characteristics o f these 5 popu lations, from which repeated sampling was carried out in order to evaluate the performance of the EPI and the SRS methodologies. Population A was designed to represent a predominantly urban area with high immunization coverage, population B represents an urban/rural mix with an immunization coverage of 66%, popu lation C a predominantly rural population with an immunization coverage of 64%, population D again an urban/niral mix with a coverage of 44%, and population E a rural population with a very poor coverage. Results
caractéristiques réelles de la population. Le Tableau 2 présente les carac téristiques de ces 5 populations où l’on a procédé à un sondage répété pour évaluer les résultats respectifs des méthodes PEV et SRS. La population A représente une population à prédominance urbaine, avec couverture vac cinale élevée ; la population B, une population mixte urbaine/rurale avec une couverture vaccinale de 66%; la population C, une population à prédominance rurale avec une couverture vaccinale de 64%; la popula tion D, une seconde population mixte urbaine/rurale, avec une couver ture de 44% et la population E, une population rurale avec une couverture vaccinale très faible. Résultats
The results of the 500 samples drawn with each of the 2 sampling methodologies in each of the 5 populations are summarized m Table 3. This table shows that in the 2 500 estimates in the 5 artificial populations, the EPI method was only 40 times outside the range of ± 10 percentage points o f the actual level o f coverage, although the SRS method performed consistently better. Even in population D, less than 4% of the estimates were outside the range of ± 10 percentage points of the true coverage. Furthermore, the EPI method rarely overestimated the true coverage : overestimates occurred only in 5 of the 40 estimates outside the range of ± 10%; m the other 35 cases there was an underestimation df the cov erage.
Les résultats des 500 échantillons obtenus au moyen de chacune des 2 méthodes de sondage dans chacune des 5 populations sont présentés dans le Tableau 3, Ce tableau montre que, sur les 2 500 estimations faites dans les 5 populations artificielles, la méthode PEV n’a été que 40 fois en dehors de l’écart de ± 10% par rapport au niveau réel de la couverture bien que la méthode SRS ait constamment donné de meilleurs résultats. Même dans la population D, moins de 4% des estimations se situaient en dehors de l’écart de plus ou moins 10% de la couverture réelle. En outre, la méthode PEV n’a surestimé la couverture réelle que 5 fois sur les 40 estimations qui se situaient en dehors de l’écart de ± 10%; dans les 35 autres « s , la couverture étau sous-estimée. Fig. I
Different Patterns of Household Distribution Used in a Computer Sim ulation of the EPI Sampling M ethodology, 1984 Types de distribution des ménages utilisés dans la simulation sur ordinateur de la méthodologie de sondage PEV, 1984
A «• random, 6 * ■ * concentration along a road, C " * * concentration around 1 focus, D — concentration around 2 foci A - aléatoire, B - concentration te long d'une route, C * concentration autour d'un foyer, O » concentration autour de 2 foyers
Wkty EpUkm. Rtx. No, 39 - 28 September 1984
-
299
-
Relevé epidém, hebd. N° 39 - 28 septembre 1984
Table 1 ■ Factors and Levels Used in the Design of Ousters for a Computer Simulation of the EPI Sampling Methodology, 1984 Tableau 1. Facteurs et taux utilisés dans la constitution des grappes destinées i une simulation sur ordinateur de la méthodologie de sondage PEV, 1984 Coverage - Couverture % 10 30 50 70 Very high — Très élevée 90 Population Density Densité démographique Low — Faible M oderate — Modérée High — Elevée Household Distribution Pattern Distribution des ménages R andom — Aléatoire Concentration along a road — Concentration le long d ’une route Concentration around 1 focus — Concentralion autour d'un foyer C oncentrauon around 2 foci — Concentration autour de 2 foyers Im m un,,, tim,
Panera Distribution des sujets vaccines R andom distribution — Aléatoire Concentration in 1 pocket — C oncentrauon en 1 poche C oncentration in 2 pockets — Concentration en 2 poches C oncentrauon m S pockets — C oncentrauon en 5 poches
Table 2. Composition of Populations for Cluster Sampling in a Computer Simulation of EPI Sampling Methodology, 1984 Tableau 2 Composition des populations pour le sondage par grappe dans une simulation sur ordinateur de la méthodologie de sondage PEV, 1984 Number of Ousters -- Nombre de grappes Coverage Couverture % Low Faible A ............. B................ C ............. D ............. E ............. X ............. 77.7 66.3 64.0 43.5 20.4 29.4 3 5 10 5 10 Population Density Densité démographique Moderate Modelée 8 9 9 9 9 High Elevée n h
Household Distribution Distribution des ménages Very High Très élevée 8 5 3 5 3 15 Random Aléatoire n 12 14 12 14 Road Route a 13 13 13 13 1 Focus 1 foyer 4 2 2 2 2 30 2 Fact 2 foyers 4 3 1 3 1 -
Immuntrannn Patlrm Distribution des sujets vaccinés Random Aléatoire 16 24 15 14 16 1 Pocket 1 poche 5 2 5 6 5 30 2 Pockets 2 poches 5 2 5 5 5 5 Pockets 5 poches 4 2 5 5 4 -
8 11 8 15
Table 3. Results of Computer Simulation of EPI and SRS Sampling Methodology, Showing Distribution of Coverage Estimates in Relation to Actual Coverage Levels, 1984 Tableau 3. Résultats de la simulation sur ordinateur des méthodologies de sondage PEV et SRS, montrant la distribution des estimations de la couverture par rapport aux niveaux réels de couverture, 1984 Actual Coverage Couverture réelle (P) 0,777 Range of Estimates Ecart des estimations Number of Estimates Nombre d’estunaoans EPI PEV 499 0 1 500 0 0 483 14 3 482 17 1 496 4 0 155 345 0 SRS 500 0 0 500 0 0 499 1 0 500 0 0 500 0 0 481 19 0
Population
A
.........................................
0.677 < p < 0.877 p < 0 .6 7 7 p > 0.877 0.563 0.763 p < 0.563 p > 0.763
B
.........................................
0.663
C
.........................................
0.640
0.540 < p < 0.740 p < 0.540 p > 0.740 0.335 < p < 0.535 p < 0.335 p > 0.535 0.104 < p < 0 .3 0 4 p < 0.104 p > 0.304 0.194 < p < 0.394 p < 0.194 p > 0.394
D
.........................................
0.435
E
......................................
0.204
X
................................
0.294
In order to identify which of the factors listed in Table I is particularly responsible for biased results, an analysis o f variance was carried out. It showed that higher density clusters demon strated a higher bias, particularly with the EPI method and that the bias tended to decrease with increasing coverage. There was a very strong main effect due to immunization design, with pocketing of immunized children demonstrating much higher bias than random assignment o f immunized children; while the SRS method was somewhat affected by pocketing, the effects upon the estimates from the EPI method were quite striking. This shows that the EPI method may not always satisfy its stated objective with respect to accuracy. To study this further, a “worst case” population was constructed, which combined high population density, low immunization coverage and pocketing o f immuniza tion m all clusters (population X in Tables 2 and 3 ). The use of the EPI method resulted in only 31 % o f estimates ha vmg an acceptable
Pour dépister les facteurs du Tableau 1 qui étaient responsables des biais, on a procédé à une analyse de la variance. Elle a fait apparaître que les grappes de plus forte densité présentaient un biais plus important, en particulier avec la méthode PEV, et que le biais tendait à décroître à mesure que s’élevait la couverture vaccinale. Il existait un effet principal très marqué hé au plan de vaccination, le biais étant beaucoup plus élevé pour la distribution groupée des enfants vaccinés que pour leur distribu tion aléatoire. Si la méthode SRS était, elle aussi, quelque peu influencée par la distribution groupée, ses effets sur les estimations obtenues par la méthode PEV étaient très marqués. Ceci montre que la méthode PEV ne remplit pas toujours, sur le plan de l’exactitude, les objectifs qui lui ont été assignés. Pour étudier plus à fond ce phénomène, on a construit une population représentant le «pire des cas», associant une forte densité démographique, une faible couverture vaccinale et une distribution groupée des enfhnts vaccinés dans toutes les grappes (population X dans les Tableaux 2 et i) . La méthode PEV n’a fourni que 31 % d’estimations
Wkty Cpulern. Rec No. 39 - 28 September 1984
-
300
-
Relevé èpidént hebtL N° 39 - 28 septembre 1984
degree of precision. However, all extreme results are underesti mates. It should be stressed that it is most unlikely that any real population would parallel the one represented by this artificial situation, in which immunized children are always grouped together in 1 pocket in a cluster. Conclusion
offrant un degré de précision acceptable. Toutefois, tous les résultats extrêmes sont des sous-esumauons et il convient de souligner qu’il est hautement improbable qu’il existe une population réelle semblable à la population représentée par cette situation artificielle où les enfants vac cinés étaient toujours groupés ensemble dans toutes les grappes. Conclusion
The stated aim o f the EP1 survey methodology is to produce estimates of immunization coverage accurate to within 10 per centage points of the true level in the population with 95% confi dence. Based on the results from the 5 simulated populations, there is no evidence to suggest that this aim is not being achieved. Feasibility permitting, the SRS strategy would be the optimal choice; however, operational constraints often override statistical considerations and lead to the selection of the EPI methodology for surveys of immunization coverage. This study would appear to provide reassuring evidence to users o f the EPI method, that it is possible to estimate the true level o f immunization to within 10 percentage points in typical populations.
L’objectif assigné à la méthodologie d’enquête PEV est de produire des estimations de la couverture vaccinale dont l’exactitude se situe à 10% prés, au maximum, du niveau réel de la population, avec un seuil de confiance de 95%. Les résultats obtenus avec les 5 populations simulées ne fournissent aucune preuve permettant de penser que cet objectif n’est pas atteint. Lorsqu’elle est matériellement réalisable, la stratégie SRS est la solution optimale, mais les contraintes opérationnelles l’emportent souvent sur les considérations statistiques et amènent à choisir la métho dologie PEV pour les enquêtes sur la couverture vaccinale. Cette étude semble apporter aux utilisateurs de la méthode EPI la preuve rassurante qu'il est possible d’estimer le niveau réel de la vaccination, à 10% près, dans des populations typiques.
(Based on/D’après: A joint study carried out by EPI and the Division o f Epidemiological Surveillance and Health Situation and Trend Assessment The full report has been submitted for publication/Une étude conjointe exécutée par le PEV et la Division de la Surveillance épidémiologique et appréciation de la situation sanitaire dans le monde. Le rapport complet est en instance de publication.)