Executive Summary of meeting on improving vaccine regulatory capacity, December 2007 WHO convened a 3-day informal consultation of experts from 17 to 19 December 2007 in Geneva to examine the progress that has been made during the past 10 years (1997–2007) by a WHO project, managed by the Department of Immunization, Vaccines and Biologicals, to strengthen vaccine regulatory capacity in countries and to provide guidance for the future of the project. Participants came from national regulatory authorities, control laboratories, pharmacovigilance centres and immunization programmes; together, they represented 25 countries and all WHO regions. Participants also included representatives from institutions such as the European Medicines Agency, the Pharmaceutical Inspection Convention and the Pharmaceutical Inspection Co-operation Scheme, and the Government of Canada. During the past 10 years, the vaccine regulatory system in 86 countries has been reviewed; some of these countries have had >10 visits by representatives from WHO. More than 1000 technical personnel have been trained through WHO’s Global Training Network on Vaccine Quality initiated in 1996. On the basis of these experiences, a robust system of evaluation as well as documented methods to be used to conduct assessments of national vaccine regulatory systems has evolved; these are now available for countries to use in self-assessment. More than 400 regulatory experts have been identified for the conduct of assessments; and a global database has been compiled of the experts who are willing to serve on a roster to conduct assessments. The impact of the project to strengthen national regulatory authorities has been 2-fold: functional national regulatory authorities have been established and strengthened (Fig. 1) and a flourishing number of manufacturers capable of supplying quality-assured vaccines has been established, particularly in the developing world. The programme now supports the United Nations’ vaccine prequalification system. Indeed, it is a mandatory precondition of prequalification for a vaccine that the producing country has a national regulatory authority that has been assessed and is functional. RELEVE EPIDEMIOLOGIQUE HEBDOMADAIRE, No 20, 16 MAI 2008
Compte rendu analytique d’une réunion sur le renforcement des capacités de réglementation des vaccins, décembre 2007 L’OMS a organisé à Genève une consultation informelle d’experts de 3 jours, du 17 au 19 décembre 2007, pour dresser le bilan, sur ces 10 dernières années (1997-2007), d’un projet de l’OMS administré par le Département Vaccination, vaccins et produits biologiques, pour renforcer les capacités de réglementation des vaccins dans les pays et réfléchir aux futures orientations du projet. Délégués par des autorités nationales de réglementation, des laboratoires de contrôle, des centres de pharmacovigilance et des programmes de vaccination, les participants représentaient au total 25 pays et toutes les Régions de l’OMS. Se trouvaient également parmi eux des représentants d’institutions comme l’Agence européenne du médicament, la Pharmaceutical Inspection Convention et le Pharmaceutical Inspection Co-operation Scheme, et des représentants du gouvernement canadien. Au cours des 10 dernières années, le système de réglementation des vaccins de 86 pays a été examiné; les représentants de l’OMS se sont rendus >10 fois dans certains pays. Plus de 1000 techniciens ont été formés dans le cadre du réseau mondial de formation aux questions de qualité des vaccins créé par l’OMS en 1996. Sur cette base, un système solide d’évaluation s’est constitué, qui fait appel à des méthodes éprouvées d’évaluation des systèmes nationaux de réglementation des vaccins; les pays peuvent maintenant s’en servir aux fins d’auto-évaluation. Plus de 400 experts de la réglementation ont été désignés pour procéder aux évaluations; on a aussi établi une base de données mondiale recensant les experts qui souhaitent figurer sur la liste des évaluateurs. Le projet a contribué de 2 façons à renforcer les autorités nationales de réglementation: d’une part, il a permis de créer des autorités de réglementation opérationnelles et de les renforcer (Fig. 1) et, d’autre part, le nombre de fabricants capables de fournir des vaccins de qualité garantie a nettement augmenté, surtout dans le monde en développement. Le programme s’inscrit désormais dans le dispositif de présélection des vaccins du système des Nations Unies. De fait, l’un des impératifs pour qu’un vaccin soit présélectionné est que l’autorité nationale de réglementation du pays producteur ait fait l’objet d’une évaluation et soit fonctionnelle.
181
Fig. 1 Number of Member States with a functional national regulatory authority, by main source of vaccines, December 2007 (total number of Member States = 193) Fig. 1 Nombre d’Etats Membres ayant une autorité nationale de réglementation opérationnelle, par source principale de vaccins, décembre 2007 (nombre total d’Etats Membres = 193) 83 countries – 83 pays Number of Member States – Nombre d’Etats Membres 66 countries – 66 pays
90 80 70 60 50 40 30 20 10 0
44 countries – 44 pays
71 12 United Nations agency – Institution du système des Nations Unies Functional – Opérationnelle
51 15 Procuring – Achat Not functional – Non opérationnelle
13 31 Producing – Production
Five main themes have been identified that, if addressed, will build upon the achievements outlined above and will strengthen the project itself and thus regulatory oversight of vaccines within countries. These themes are: 1. to develop a process for ensuring appropriate and consistent training of newly recruited experts for WHO’s assessments since the standards of the experts, and their experience and understanding of the vaccine regulatory process, inevitably vary; 2. to increase harmonization of WHO’s assessment procedures for national regulatory oversight of vaccines and drugs. A dual system of assessment (for drugs and vaccines) will create confusion among national regulatory authorities and those who have to make policy decisions, and there will be fatigue, confusion and frustration among those reviewed. On the other hand, increased harmonization will potentially benefit countries, simplify the process and facilitate synergies in the management of both drugs and vaccines; 3. to recognize that the institutional development plan is an important and necessary outcome of the review process and that the plan has considerable potential for increasing the capacity of individuals within national regulatory authorities and for training them. It also bears on the improvement of systems and within-country management of vaccine regulatory systems. The plan must contain commitments from countries in terms of human resources, the development of facilities, the provision of sustained financial support, political involvement and buy-in. The plan should specify follow-up tasks and provide specific timelines, and it should be based on sound practices such as those embodied by WHO’s Global Training Network on Vaccine Quality and other training activities. The plan also places obliga182
Cinq grands axes d’action ont été dégagés qui, si l’on prend les mesures voulues, permettront de mettre à profit les acquis exposés ci-dessus et renforceront le projet lui-même et, partant, le contrôle réglementaire des vaccins dans les pays: 1. mettre au point un processus pour offrir une formation adaptée et cohérente aux experts nouvellement recrutés qui seront chargés des évaluations, car leurs critères, leur expérience et leur connaissance du processus de réglementation des vaccins varient inévitablement; 2. mieux harmoniser les procédures de l’OMS pour évaluer les systèmes nationaux de contrôle réglementaire des vaccins et des médicaments. Un système d’évaluation double (pour les médicaments et les vaccins) sèmera la confusion parmi les autorités nationales de réglementation et les responsables chargés de prendre des décisions de politique générale et sera source de lassitude, de confusion et de frustration pour les entités soumises à l’évaluation. A l’inverse, l’harmonisation des procédures sera profitable aux pays, simplifiera le processus et facilitera les synergies dans la gestion des médicaments et des vaccins; 3. reconnaître que le plan de développement institutionnel est un aboutissement important et nécessaire du processus d’examen et qu’il peut beaucoup contribuer à développer les capacités individuelles du personnel des autorités nationales de réglementation et à le former. Les plans de développement institutionnel concourent également à l’amélioration des systèmes et à la gestion des systèmes de réglementation des vaccins au sein des pays. Dans leur plan, les pays doivent prendre des engagements en termes de ressources humaines, prévoir le développement des installations, un appui financier prolongé et s’impliquer politiquement et financièrement. Les plans doivent indiquer les activités complémentaires à entreprendre, fixer des calendriers précis et s’appuyer sur des pratiques sérieuses comme celles perpétuées par le réseau mondial de l’OMS de formation aux questions de qualité des vaccins et par d’autres WEEKLY EPIDEMIOLOGICAL RECORD, NO. 20, 16 MAY 2008
tions on WHO to facilitate follow-up activities and to recognize the role of WHO’s regional offices. For this purpose, WHO’s headquarters and the regions should use this plan to a greater extent to monitor progress and coordinate support for national vaccine regulatory systems. Joint ownership of the plan, between countries and WHO, is the best assurance for achieving sustained improvement; 4. to continue to increase the involvement of WHO’s regional offices in the strengthening project. It is not suggested that assessments of national regulatory authorities for WHO’s vaccine prequalification purposes should be a regional activity; that is the responsibility of WHO headquarters. However, WHO’s regions have much to contribute to the assessment review process, especially in assessments that are primarily intended to build capacity; 5. to acknowledge that vast amounts of data have been generated during the course of the project and that these data are a valuable research resource, potentially for research into health-systems strengthening, and should be analysed further. The computerized database has enormous potential, particularly for planning, understanding resource needs and for developing evidence to guide policy-makers. WHO’s process for assessing national regulatory authorities depends on the quality of the assessors, and the meeting recommended that assessors be assessed themselves in order to sustain the credibility of the system. In general, the competence of the assessors has been high and their approach objective. However, more can be done to ensure that in the future, all assessors have a thorough understanding of the assessment tools and their application and that consistency among assessors is sustained. The meeting noted that WHO is not the only institution that has experience in building capacity among national regulatory authorities for vaccines. The delegate from the European Medicines Agency shared her experience of working with the European Medicines Agency’s Benchmarking of European Medicines Agencies project (also known as BEMA). A concept of performance maturity levels is applied by the project. The merits of this approach are that it allows for standardization across disciplines and activities; its success depends on training as well as using uniform standards. Most importantly, it addresses the consistency of the approach and the assessors. The applicability of this approach will be explored for WHO’s model, especially those concerning providing guidance to and training for assessors. Every assessment of a national regulatory authority requires a team leader. Traditionally, that function has been assumed by a WHO staff member with a thorough knowledge of the process. The team leader minimizes subjectivity by ensuring that the same rules are applied when similar situations are assessed in different countries with different team members and also ensures standardization in the assessment of national regulatory systems. The team leader also ensures that the team is well briefed and informed regarding the background to the assessment and the health systems and health status in the country. Participants at the meeting recommended that the number of team leaders be inRELEVE EPIDEMIOLOGIQUE HEBDOMADAIRE, No 20, 16 MAI 2008
activités de formation. Ils doivent aussi imposer à l’OMS de faciliter les activités complémentaires et de tenir compte du rôle de ses bureaux régionaux. A cette fin, le Siège et les Régions de l’OMS devraient faire un plus grand usage de ces plans pour suivre l’évolution des systèmes nationaux de réglementation des vaccins et coordonner l’appui qui leur est fourni. L’adhésion conjointe des pays et de l’OMS à ces plans est la meilleure garantie d’une amélioration durable; 4. continuer à accroître la participation des bureaux régionaux de l’OMS au projet de renforcement. Cela ne signifie pas que les évaluations des autorités nationales de réglementation entreprises aux fins de présélection des vaccins par l’OMS devraient être une activité régionale; c’est au Siège de l’OMS que la tâche incombe. Les Régions de l’OMS peuvent toutefois apporter une importante contribution au processus d’évaluation, surtout en ce qui concerne les évaluations principalement destinées à renforcer les capacités; 5. reconnaître que de grandes quantités de données ont été générées dans le cadre du projet, qu’elles sont utiles pour la recherche, éventuellement pour la recherche sur le renforcement des systèmes de santé, et qu’elles doivent être analysées de façon plus approfondie. La base de données informatique a un très grand potentiel, en particulier pour la planification, la détermination des besoins en ressources et l’élaboration de bases factuelles pour guider les responsables du choix des politiques. Le processus d’évaluation des autorités nationales de réglementation entrepris par l’OMS dépend de la qualité du travail des experts et il a été recommandé lors de la réunion d’évaluer les experts eux-mêmes pour que le système reste crédible. D’une manière générale, les évaluateurs sont très compétents et suivent une démarche objective. On peut toutefois faire davantage pour qu’à l’avenir, tous maîtrisent bien les outils d’évaluation et leur application et travaillent de manière plus cohérente. Il a été noté à la réunion que l’OMS n’est pas la seule institution à avoir l’expérience du renforcement des capacités des autorités nationales de réglementation des vaccins. La déléguée de l’Agence européenne du médicament a fait part de son expérience dans le cadre du projet Benchmarking of European Medicines Agencies (BEMA, projet de comparaison des pratiques des agences européennes du médicament) de l’Agence européenne du médicament. Le projet fait appel au concept de niveaux de maturité de la performance. Cette démarche a pour mérite de permettre une harmonisation entre les disciplines et les activités; sa réussite dépend de la formation des experts et de l’utilisation de critères uniformes. Mais surtout, elle règle les problèmes de cohérence entre les méthodes et de différences entre les experts. On étudiera si cette approche est applicable au modèle OMS, en ce qui concerne plus particulièrement l’orientation et la formation des experts. Toute évaluation d’une autorité nationale de réglementation nécessite un chef d’équipe. Cette fonction est habituellement exercée par un membre du personnel de l’OMS qui connaît bien le processus. Le chef d’équipe limite au maximum la subjectivité en veillant à ce que les mêmes règles soient appliquées lors de l’évaluation de situations similaires dans différents pays par différents membres de l’équipe et à ce que l’évaluation des systèmes de réglementation nationaux soit standardisée. Il veille aussi à ce que l’équipe soit bien renseignée sur le contexte dans lequel l’évaluation est effectuée, le système de santé et la situation sanitaire du pays. Les participants à la réunion ont recommandé d’augmenter le nombre de chefs d’équipe et sont convenus à l’unanimité que ceux-ci 183
creased, and they unanimously agreed that the team leader should be a WHO staff member and not an invited external expert. The meeting reviewed in some depth the assessment tools used by WHO. Participants considered that quality management systems should be used as indicators for all regulatory functions. This is an aspiration, since few countries have a thorough quality management system governing all activities of the national regulatory authority. Elements for assessing quality management systems governing all functions should be clearly defined in future plans for national regulatory authorities. Participants emphasized that this should not be confused with a requirement to establish an ISO 9001 quality management system, which would set the bar unrealistically and unnecessarily high in many countries. Moving towards ISO 17025 accreditation for laboratory activities was also expressed as a desire rather than a requirement for the present. The WHO assessment tool will be modified to reflect these desires. The meeting considered a number of other related issues about revising the WHO assessment tool and methods, as well as steps to be taken in the future. For these purposes, 3 working groups were established, each of which made recommendations. After discussion, some overall recommendations were agreed by participants. These recommendations include the need to finalize the review of the WHO assessment tool, including its functions, indicators and sub-indicators, and to link indicators with scoring systems for prequalification assessments and capacity-building assessments; a recommendation was also made that a comprehensive guidance document be developed to help assessors. Participants also recommended that the standard operating procedures for selecting experts and for ensuring the overall competence of the assessment team be revised. Countries have the right to decline an individual as a member of the expert team; if they do so, however, adequate reason should be provided. The meeting considered a vision for 2012. A competent national regulatory authority is central to meeting these objectives. It would require the following: strengthening the prequalification process based on the premise that there should be independent and functional national regulatory authorities in all countries acting at the appropriate level; ensuring strong regional participation in the process; using the institutional development plan to provide the ongoing terms of agreement between the national regulatory authority and its political authority on the one hand and WHO on the other; developing systems for retrieving and analysing the assessment data; and providing an ongoing system of robust external review of the process by either an independent external advisory committee acting in an advisory capacity to the Director of the Department of Immunization, Vaccines and Biologicals and; through the department’s Director, to the Director-General of WHO or through ad hoc committees called together from time to time to address particular issues. Ⅲ WWW access • http://www.who.int/wer E-mail • send message subscribe wer-reh to listserv@who.int Fax: (+4122) 791 48 21/791 42 85 Contact: wantzc@who.int/wer@who.int 184
devaient être des membres du personnel de l’OMS et non des experts extérieurs invités. Les participants ont examiné d’assez près les outils d’évaluation utilisés par l’OMS. Ils ont estimé qu’il faudrait utiliser les systèmes de gestion de la qualité comme indicateurs pour toutes les fonctions de réglementation. C’est un but vers lequel tendre car peu de pays ont un système de gestion de la qualité régissant toutes les activités de l’autorité nationale de réglementation. Les éléments d’évaluation des systèmes de gestion de la qualité régissant toutes les fonctions devraient être clairement définies dans les futurs plans des autorités nationales de réglementation. Les participants ont souligné qu’on ne devait pas entendre par là qu’il faut établir un système de gestion de la qualité selon la norme ISO 9001, exigence irréaliste qui mettrait la barre trop haut dans beaucoup de pays. Ils ont par ailleurs jugé souhaitable plutôt que nécessaire pour le moment de progresser vers l’accréditation des activités de laboratoire selon la norme ISO 17025. L’outil d’évaluation de l’OMS sera modifié pour tenir compte de ces aspirations. Les participants ont examiné d’autres questions concernant la révision de l’outil et des méthodes d’évaluation de l’OMS et ont réfléchi aux mesures à prendre à l’avenir. Trois groupes de travail ont été créés à cet effet et chacun d’entre eux a fait des recommandations. Après délibération, les participants se sont entendus sur quelques recommandations globales. Ils préconisent notamment d’achever l’examen de l’outil d’évaluation de l’OMS, en tenant compte de ses fonctions, des indicateurs et des sous-indicateurs, de relier les indicateurs à des systèmes de notation pour les évaluations de présélection et de renforcement des capacités et d’établir un document d’orientation exhaustif pour aider les experts. Ils ont par ailleurs recommandé de réviser les modes opératoires normalisés pour sélectionner les experts et garantir globalement la compétence de l’équipe d’évaluation. Les pays ont le droit de s’opposer à ce qu’une personne fasse partie de l’équipe d’experts, mais ils doivent motiver leur refus.
Les participants ont envisagé des objectifs pour 2012. Pour atteindre ces objectifs, une autorité nationale de réglementation compétente est indispensable. Cela suppose de renforcer le processus de présélection en partant du principe que tous les pays devraient avoir une autorité nationale de réglementation indépendante et opérationnelle agissant au niveau approprié; de garantir une forte participation régionale au processus; de se servir du plan de développement institutionnel pour définir les termes permanents de l’accord entre l’autorité nationale de réglementation et son instance politique, d’une part, et l’OMS d’autre part; de créer des systèmes d’extraction et d’analyse des données d’évaluation; et de mettre en place un système permanent d’examen extérieur du processus soit par un comité consultatif indépendant qui conseille le Directeur du Département Vaccination, vaccins et produit biologiques et, par l’intermédiaire de celui-ci, le Directeur général de l’OMS, soit par des comités spéciaux convoqués au coup par coup pour traiter de questions particulières. Ⅲ
Accès WWW • http://www.who.int/wer Courrier électronique • envoyer message subscribe wer-reh à listserv@who.int Fax: +41-(0)22 791 48 21/791 42 85 Contact: wantzc@who.int/wer@who.int WEEKLY EPIDEMIOLOGICAL RECORD, NO. 20, 16 MAY 2008