WEEKLY EPID EM IO LO G IC A L RECORD, N o . 3 3 , 1 3 A U G U ST 1 9 9 3
RELEVE E PID EM IO LO G IQ U E H E B D O M A D A IR E, N “ 3 3 , 1 3 A O Û T 1 9 9 3
Diorrhoeol Diseases Control Programme Evaluation of training and performance P h ilip p in e s. T he N ational D iairhoeal Diseases Control Programme (N CD D P) of the D epartm ent of H ealth has actively trained physicians and nurses in diarrhoea case management since the establishm ent of the N ational Rehydration, T reatm ent and Training Centre in M anila in 1985. Since then, 2 other national level diarrhoea training units (DTUs) have been established in Cebu and Zam boanga. Since 1990, 7 regional training units have been actively conducting case m anagement training of regional health workers. A joint team from the D epartm ent o f H ealth, W HO, and the USAID-funded PR ITEC H and Quality Assurance Projects have developed a tw o-part evaluation m ethod to assess the quality of training, the competence of course graduates, and the quality of case managem ent performance in home facilities. This m ethod also examined a variety of factors beyond training, including supervision, supplies and materials, facility procedures and staffing, case-load, and motivational factors. In Septem ber 1991, the joint team evaluated courses in Cebu and M anila in term s of content and teaching methods, and o f the knowledge and skills attainm ent of the course participants. T he evaluation team considered both courses acceptable as regards content and teaching m ethods. T he post-course knowledge and competence of the participants were assessed using w ritten pre- and post-tests, and facilita tor evaluations; 5 case simulations were set up to test parti cipants’ acquisition of assessment, treatm ent and counsell ing skills. T he course in M anila (with m ore patients for practical training) produced graduates who did better in assessment and treatm ent. T he course in Cebu (with fewer patients), which spent m ore tim e on role-playing of counselling strategies, produced graduates who were better in counselling skills.
Programme de lutte contre les maladies diarrhéiques Evaluation de la formation et des compétences P h ilip p in e s. Depuis la création du Centre national de form ation, de traitem ent et de réhydratauon à M anille, en 1985, le Programme national de lutte contre les maladies diarrhéiques (N CD D P) du D épartem ent de la Santé s’emploie activement à form er des m éde cins et des infirmières à la prise en charge des cas de diarrhée. Depuis, 2 autres unités de formation au traitem ent de la diarrhée (UFD) de niveau national ont été créées à Cebu et Zamboanga. A partir de 1990, 7 unités régionales form ent des agents de santé régionaux à la prise en charge des cas. U ne équipe composée de représentants du D épartem ent de la Santé, de l’OMS et des projets PRTTECH et Quality Assurance (financés par l’AID des Etats-U nis d ’Amérique) a m is au point une m éthode d ’évaluation en 2 parties perm ettant d ’apprécier la qualité de la formation, la compétence des diplômés et la qualité de la prise en charge des cas dans leurs établissements d ’origine. L a m éthode a également permis d’étudier divers facteurs outre la form ation, no tam m ent l’encadrem ent, les fournitures et les m atériels, les procé dures en vigueur dans l’établissem ent et sa dotation en effectifs, le nom bre de cas et les fréteurs de motivation. E n septembre 1991, l’équipe a évalué le contenu des cours et les m éthodes d’enseignement des centres de Cebu et de M anille, ainsi que le niveau des compétences et des connaissances des participants. Elle a estimé que le contenu des cours et les m éthodes d’enseigne m ent étaient acceptables dans les 2 centres. Pour évaluer les connais sances et les compétences des participants après le cours, l’équipe a utilisé des tests écrits effectués avant et après le cours, et les évalua tions de l’anim ateur; 5 simulations de cas ont perm is de tester les com pétences acquises par les participants en m atière d ’évaluation, de traitem ent et de conseil. A M anille, où ils avaient pu s’entraîner sur davantage de patients, les participants ont eu de meilleurs résul tats sur le plan de l’évaluation et du traitem ent. A Cebu, où les participants avaient consacré davantage de tem ps au jeu de rôles pour l’application des m éthodes de conseil, les participants on t eu de meilleurs résultats sur ce plan.
Table 1 Training materials available to national diarrhoea! diseases control (CDD) programmes Target group - Groupe cible
Tableau 1 Matériels de formation dont disposent les programmes nationaux de lotte contre les maladies diarrhéiques (U IR D ) Training materials - Matériels de formation
In-servicetraining- Formationen coursd'emploi Training o f health s ta ff in m anagem ent and su p e rvision-F orm ation du personnel de santé à k gestion e t à b supervision
N ational and provinàal/regional staff- Personnel national et régiond/provinriol Provincial and districtlevel supervisais- Superviseursau niveaude la province et du district
Program m emanager's com se- C ouispour les adm inistrateurs de program m e Supervisoryskillscouse- Cous deform ation auxtechniques desupervision
Training o f heahh s ta ff responsible fo r aise managem ent - Form ation des personnels de santé chargés de la prise en charge des cas
H eads of diarrhoeatraining units (D T U s), seuor paediatricians- C hefsd'unités de form ation outraitementde la diarrhée (U FD ), pédiatres principaux Trainers (fromD T U s, distorthospitals, health centres) - Form ateurs (U F D , hôpitaux de district, centres desanté) H ealth w orkers m anogingcasesat hospitalsor healthcentres- A gentsdesanté prenanten charge descas à l'hôpital oudans les centresdesanté H ealth w orkers without accessto anyof the above couses - Agents desanté n'ayant accès ô aucunde ces cours
D T Upackage- Ensem blede maténels U F D G udelm esforconductingdincal training courses at health centres and sm all hospitalsD irectivespourla conduitede coursdeform ation dûnquedans des centres de santé et de petitshôpitaux G uidelinesfor conductingclinical training courses at heahh centres and small hospitalsD irectivespou la conduitede coursdeform ationdinique dans des centres desanté et de petits hôpitaux Q injcal skills: Aseff-rnstructronal couse0- Com pétencesdoriques: cous d'auto apprentissage0
Pre-service trailing - Formation préalable à l'activité professionnelle
M edical studm iésand their tounms— Etudiantsen médecineet leursformateurs N ursingstudents andtheir trainee, nuisesintraining- Etudiants en soins infiim iers et leursformateurs, infirm ièresenform ation
M edical educationtraining padeage0- M oduledeform ation des étudiants en m édecine0 N ursingeducationtraining package0- M odule deform ation des étudiants en soins infirm iers0
° Tobe amptetedmiB nextfew monfc Mowing MtteSing.-Doit élis nusou pointau courdes produira moisaprès essaissur le tenoio.
239
WEEKLY EPIDEMIOLOGICAL RECORD, No. 3 3 , 1 3 AUGUST 1 9 9 3
•
RELEVE EPIDEMIOLOGIQUE HEBDOMADAIRE, N“ 3 3 , 1 3 AOÛT 1 99 3
A further objective was to follow up graduates of the September 1991 courses 4-6 months after graduation to de termine their current level of knowledge and competence in diarrhoea case management. Although the N CD D P mamtains a training participant database, the joint team was able to survey only 11 of the 27 participants in the 2 courses. How ever, the joint team did find over 70 graduates from the past 5 years from these 2 training centres. Seventeen health facili ties (hospitals and medical centres) were visited in 5 of the 10 regions of the Philippines. A total of 111 health workers were interviewed: 106 of them were given a case simulation exercise; the management of 42 cases of diarrhoea was ob served. Heads of the health facility or paediatric department were also interviewed, and the health facility checked for materials necessary for optimal diarrhoea case management. A comparison between physicians who had received D T U training and those who had not showed that both groups did well in history, clinical assessment, and treat m ent. Both groups did poorly in counselling of mothers regarding home m anagement o f the child with diarrhoea. T he performance on assessment and treatm ent, and the negligible difference between trained and untrained physi cians were interpreted by the N C D D P as reflecting the emphasis placed upon informal training in health facilities (“echo training”). In support of this, the joint team found that 83% of D T U graduates had at some tim e trained others on the job, and 67% of D T U graduates had organized “echo training”. Tw o-thirds of D T U graduates felt that training had prepared them to train others; tw o-thirds had been provided with training materials. A list of training materials developed by the W HO Division of Diarrhoeal and Acute Respiratory Disease Control (CDR) is provided in Table 1.
L ’équipe devait par ailleurs suivre les diplômés des cours de septembre 1991 pendant 4 à 6 mois après la fin des cours afin d’évaluer leur niveau de connaissances et de com pétences en matiè re de prise en charge des cas de diarrhée. Bien que le N CD D P dispose d’une base de données recensant les participants aux cours, l’équipe n ’a pu suivre que 11 des 27 participants aux 2 cours. Par contre, elle a retrouvé plus de 70 diplômés des 5 années précédentes (des 2 centres). Elle s’est rendue dans 17 établissements de santé (hôpitaux et centres médicaux) dans 5 des 10 régions des Philippi nes. Au total, elle a interrogé 111 agents de santé: elle a demandé à 106 d ’entre eux de faire un exercice de sim ulation de cas. La prise en charge de 42 cas de diarrhée a été observée. L ’équipe a également interrogé des chefs d’établissem ent ou de service de pédiatrie et vérifié que l’établissement disposait bien des m atériels nécessaires à une prise en charge optimale des cas de diarrhée. La comparaison entre les médecins ayant suivi la formation U KD et les autres m ontre que les 2 groupes ont obtenu de bons résultats en ce qui concerne l’anam nèse, l’évaluation clinique et le traite m ent. En revanche, ils n ’ont obtenu que des résultats médiocres pour ce qui est du conseil aux mères concernant la prise en charge de l’enfant diarrhéique à domicile. Le N C D D P a interprété les résultats obtenus en m atière d’évaluation et de traitem ent et l’écart négligeable entre médecins formés et non formés comme témoi gnant de l’im portance accordée dans les établissements à la forma tion informelle (formation répercutée entre médecins). A l’appui de cet argum ent, l’équipe conjointe a constaté que 83% des diplômés d’U FD avaient à un m om ent ou à un autre formé d’autres person nes sur leur lieu de travail et que 67% des diplômés d’U FD avaient organisé des séances d’inform ation. Les deux tiers des diplômés d’U FD estim aient que la form ation les avait préparés à form er leurs collègues; les deux tiers avaient également reçu des matériels de formation. U ne liste des matériels de formation mis au point par la Division OMS de la Lutte contre les M aladies diarrhéiques et les Infections respiratoires aiguës (CDR) figure au Tableau 1.
F ig. 1 Practical experience and performance, health facility survey, Nationnl Diarrhoeal Diseases Control Programme, Philippines, 1992 100 — r 80 1 1 1Q )
F ig. 1 Expérience pratique et compétences, enquête sur les établissements de santé, Programme national de lutte contre les maladies diarrhéiques, Philippines, 1992
s i ç ÿ E o o “
u m
0 ) tj o > a > < o — c < J >
28
ya > a. c
History A nam nese
Clinical assessm ent Evaluation clinique
Treatment Traitement
Counselling Conseil
Case managem ent task - Prise en charge des cas Adequate practical instruction Formation pratique satisfaisante Inadequate practical instruction Formation pratique non satisfaisante
■
t& M
Fig. 1 illustrates details o f case m anagement perfor mance in term s of simulation for those who had received adequate practical instruction and those who had not. Several factors were notable for their association with quality of performance: these included internal supervision by a senior supervisor in the health facility, and training coverage (defined as the proportion o f all health workers treating children with diarrhoea who have been trained). Aspects of internal supervision — including whether the internal supervisor was trained, the occurrence of regular 240
La Fig. 1 illustre les compétences en m atière de prise en charge des cas évaluées sur simulation, pour les médecins qui avaient reçu une formation pratique appropriée et les autres. La qualité des résultats a été attribuée à plusieurs facteurs: l’encadrem ent interne par un supérieur hiérarchique de l’établisse m ent de santé et l’étendue de la formation (proportion de l’ensemble des agents de santé traitant des enfants atteints de diarrhée ayant été formés). Tous les aspects de l’encadrement interne — notam m ent le fait que le superviseur hiérarchique ait été formé, l’organisation de réunions régulières avec le personnel et la conviction que les supé-
WEEKLY EPIDEMIOLOGICAL RECORD, H o. 3 3 , 1 3 AUGUST 1 9 9 3
•
RELEVE EPIDEMIOLOGIQUE HEBDOMADAIRE, N» 3 3 , 1 3 AOÛT 1 9 9 3
staff meetings, and the belief th at internal supervisors were helpful in getting post-training plans implemented — were all positively associated with the quality o f perform ance. This suggests that on-the-job training and support are crucial for m aintaining performance levels. It is particularly notable that external supervision (a visit b y a supervisor horn outside the health facility) was n o t associated with the quality of performance. T his may be the result o f uniformly good quality of perform ance, and the infrequency o f external supervisory visits which were directed tow ards improving the quality o f facilities rather th an improving the quality of health worker perform ance. Results o f this T raining and perform ance evaluation have since been used by the D epartm ent o f H ealth to improve training procedures. After consultation w ith policy-makers and hospital adm inistrators, better m ethods to advise m others on hom e case m anagement were incorporated into the D T U training. T he evaluation dem onstrates the feasibil ity of developing a standardized m ethod for evaluating train ing courses; it also dem onstrates the difficulties inherent in following up graduates of training courses as part o f a pro spective perform ance evaluation. Sim ulations may be parti cularly useful in those instances where there is a paucity of diarrhoea cases either during training o r during evaluation. W ith the high levels of performance found in fois evaluation, the Philippines training and perform ance evaluation was not an adequate validation o f sim ulation m ethods; this valida tion awaits future studies designed for this purpose. (Based on: A report from the joint team .)
rieurs hiérarchiques jouent un rôle déterm inant dans l’exécution des plans post-formation ont été invoqués comme ayant contribué à la qualité des compétences. Cela sous-entend que la formation sur le tas est essentielle pour m aintenir un niveau de compétences élevé. Il est particulièrem ent intéressant de noter q u ’u n encadrem ent exté rieur (c’est-à-dire la visite d ’u n superviseur extérieur à l’établisse m ent de santé) n ’a pas d’incidence, sem ble-t-il, sur la qualité des compétences. Cela s’explique peut-être p ar le fait que de bons résultats ont été enregistrés partout, ou par la rareté des visites de superviseurs extérieurs, qui visaient plutôt à am éliorer la qualité des établissem ents plutôt que la qualité des compétences des agents de santé. Les résultats de cette évaluation de la form ation et des compé tences ont été utilisés depuis par le D épartem ent de la Santé pour am éliorer les m éthodes de form ation. Après consultation des respon sables et des adm inistrateurs des hôpitaux, de meilleures m éthodes ont été intégrées à la form ation à l’U FD en ce qui concerne le conseil aux mères sur la prise a i charge des cas de diarrhée à domicile. L’évaluation m ontre qu’il est possible de m ettre au point une m éthode normalisée pour évaluer les cours de form ation; elle m ontre également les difficultés que présente le suivi des diplômés de cours de form ation en vue d ’une évaluation des compétences. Les sim ulations peuvent s’avérer particulièrem ent utiles lorsque le nom bre de cas de diarrhée à traiter pendant la form ation ou pendant l’évaluation est foible. D u foit du niveau élevé de com pétences mis en évidence, l’évaluation effectuée aux Philippines n ’a pas perm is de vérifier l’efficacité des m éthodes de sim ulation; ces m éthodes devront être validées lors d ’études ultérieures. (D ’après: U n rapport de l’équipe conjointe.)