Курс по углубленному изучению аспектов информации здравоохранения и данных научных исследований для формирования политики: аналитический отчет об отзывах участников о курсе, проведенном 27 июня – 1 июля 2017 г. в г. Сараево, Босния и Герцеговина

Курс по углубленному изучению аспектов информации здравоохранения и данных научных исследований для формирования политики Аналитический отчет об отзывах участников о курсе, проведенном 27 июня – 1 июля 2017 г. в г. Сараево, Босния и Герцеговина Курс по углубленному изучению аспектов информации здравоохранения и данных научных исследований для формирования политики Аналитический отчет об отзывах участников о курсе, проведенном 27 июня – 1 июля 2017 г. в г. Сараево, Босния и Герцеговина АННОТАЦИЯ Углубленный курс представляет собой важное мероприятие по наращиванию потенциала в рамках Европейской инициативы в области информации здравоохранения (ЕИИЗ) ВОЗ, организованное Отделом информации, фактических данных, научных исследований и инноваций Европейского регионального бюро ВОЗ. Несмотря на то что, по неофициальным данным, проводившиеся в прошлом углубленные курсы были успешными, в Отделе пожелали получить более подробные сведения том, как содержание курса и методы его проведения повлияли на степень удовлетворенности участников и эффект от курса с точки зрения наращивания потенциала. Ввиду этого при помощи ряда инструментов количественной и качественной оценки было проведено соответствующее исследование и опрос участников Углубленного курса 2017 г. Для анализа данных из трех источников было использовано два качественных метода. Такое методологическое сочетание позволило аналитикам дифференцировать положительные и отрицательные отзывы, оценить относительную важность различных тем, выявленных в полученных данных, и выяснить, какие элементы содержания курса, лекторы и методы обучения оказались наиболее эффективными, а также как можно было бы усовершенствовать курс. По результатам анализа отзывов и интервью участников было выявлено 6 основных тем и 23 подтемы. 80% отзывов и 87% ответов на вопросы интервью были положительными. Остальные отзывы и ответы почти поровну разделились на нейтральные рекомендации и отрицательные комментарии. В итоге можно сделать вывод о том, что теоретические знания в курсе были хорошо сбалансированы практическими аспектами их применения и что модули были логически связаны между собой. Запросы относительно публикаций Европейского регионального бюро ВОЗ следует направлять по адресу: Publications WHO Regional Office for Europe UN City, Marmorvej 51 DK-2100 Copenhagen Ø, Denmark Кроме того, запросы на документацию, информацию по вопросам здравоохранения или разрешение на цитирование или перевод документов ВОЗ можно заполнить в онлайновом режиме на сайте Регионального бюро: http://www.euro.who.int/ PubRequest?language=Russian. Номер документа: WHO/EURO:2017-3060-42818-59755 © Всемирная организация здравоохранения, 2017 Все права защищены. Европейское региональное бюро Всемирной организации здравоохранения принимает запросы на предоставление разрешений на воспроизведение или перевод своих публикаций в полной или частичной форме. Использованные в настоящей публикации обозначения и материалы не подразумевают выражения какой-либо точки зрения Всемирной организации здравоохранения в отношении правового статуса какой-либо страны, территории, города или района или их администраций, или же демаркации их границ. Пунктирные линии на географических картах обозначают приблизительные границы, в отношении которых пока еще может быть не достигнуто полное согласие. Упоминание конкретных компаний или продукции отдельных изготовителей не означает, что Всемирная организация здравоохранения отдает им предпочтение по сравнению с другими, не упомянутыми в настоящей публикации, или рекомендует их к использованию. За исключением случаев, когда имеют место ошибки и пропуски, названия патентованных продуктов выделяются начальными прописными буквами. ВОЗ были приняты все разумные меры предосторожности для проверки информации, содержащейся в настоящей публикации. Тем не менее опубликованные материалы распространяются без какой-либо явно выраженной или подразумеваемой гарантии их правильности. Ответственность за интерпретацию и использование материалов ложится на пользователей. Всемирная организация здравоохранения ни в коем случае не несет ответственности за ущерб, возникший в результате использования этих материалов. Взгляды, выраженные авторами, редакторами или группами экспертов, не обязательно отражают решения или заявленную политику Всемирной организации здравоохранения. Фото в тексте: © WHO /Damir Begović. Фото на обложке: © WHO /Olga Fradkina и Damir Begović. vКурс по углубленному изучению аспектов информации здравоохранения и данных научных исследований для формирования политики Содержание Благодарность ................................................................................................................................................... vii Предпосылки ......................................................................................................................................................... 1 Цели ........................................................................................................................................................................... 1 Условия курса ...................................................................................................................................................... 2 Подходы ................................................................................................................................................................... 2 Сбор данных и управление ими ......................................................................................................................................... 2 Аналитические методы ....................................................................................................................................................... 5 Результаты.............................................................................................................................................................5 Показатель отклика ............................................................................................................................................................. 5 Анализ тональности текста ответов .................................................................................................................................. 6 Идентификация тем .......................................................................................................................................................... 11 Анализ на уровне модулей ............................................................................................................................................... 16 Интервью ............................................................................................................................................................................ 26 Наблюдение ........................................................................................................................................................................ 32 Оценочные ответы на вопросы анкет .............................................................................................................................. 32 Выводы ...................................................................................................................................................................33 Рекомендации.....................................................................................................................................................34 Литература ..........................................................................................................................................................35 Приложение 1. Пример анкеты ....................................................................................................................36 Приложение 2. Образец формы для записи наблюдений ............................................................... 37 Приложение 3. Образец плана интервью ..............................................................................................38 Приложение 4. Сравнение результатов анализа тональности и количественной оценки ...................................................................................................................................................................39 Приложение 5. Распределение тем по занятиям и тональности ...............................................40 Приложение 6. Облако слов .......................................................................................................................45 Приложение 7. Ответы на вопросы форм оценки ...............................................................................46 Общее мнение о курсе ....................................................................................................................................................... 46 День 1 .............................................................................................................................................................................................. 47 День 2 .............................................................................................................................................................................................. 51 День 3 .............................................................................................................................................................................................. 53 День 4 .............................................................................................................................................................................................. 56 День 5 .............................................................................................................................................................................................. 59 vi vii Курс по углубленному изучению аспектов информации здравоохранения и данных научных исследований для формирования политики Благодарность Сбор и анализ качественных отзывов о курсе по углубленному изучению аспектов информации здравоохранения и данных научных исследований для формирования политики проводились под общим руководством директора Отдела информации, фактических данных, научных исследований и инноваций Европейского регионального бюро ВОЗ Claudia Stein. Планирование и проведение сбора первичных данных было осуществлено Elizabeth Eziashi (студенткой программы бакалавриата по здравоохранению Ирландского национального университета в Корке, Ирландия). Основными авторами настоящей публикации являются: ■ Patricia J. Tidmarsh, консультант ВОЗ; ■ Tina Dannemann Purnat, руководитель Отдела информации и информационных систем здравоохранения, временно исполняющий обязанности руководителя подразделения и Программы по информации здравоохранения, мониторингу и анализу Отдела информации, фактических данных, научных исследований и инноваций Европейского регионального бюро ВОЗ. viii 1Курс по углубленному изучению аспектов информации здравоохранения и данных научных исследований для формирования политики Предпосылки Курс по углубленному изучению аспектов информации здравоохранения и данных научных исследований для формирования политики представляет собой регулярное продолжение Осенней школы – флагманского курса Европейского регионального бюро ВОЗ по информации здравоохранения и данным научных исследований для формирования политики (1). Каждый год государства-участники, представители которых прошли Осеннюю школу, выбирают темы, которые позволят им усовершенствовать свои технические навыки использования информации здравоохранения для реализации политики Здоровье-2020 (2). Особый упор в таких курсах делается на оценку качества данных, использование инструментов и стандартов ВОЗ по сбору, систематизации и анализу данных и разработку стратегий преобразования информации здравоохранения в соответствующую политику. Углубленный курс проводится в формате пятидневного мероприятия, состоящего из лекций и семинаров, на которых происходит более глубокое изучение тем, затронутых на Осенней школе. На семинарах Курса 2017 г. были, в частности, охвачены следующие темы: электронное здравоохранение и разработка стратегии в области электронного здравоохранения, источники данных в информационных системах здравоохранения, оценка благополучия и качественные методы, практическое применение знаний и формирование информационных сообщений, а также эффективная коммуникация информации здравоохранения (3). Углубленный курс представляет собой важное мероприятие по наращиванию потенциала в рамках Европейской инициативы в области информации здравоохранения (ЕИИЗ) ВОЗ (4). Он организуется каждый год в одном из государств-участников Отделом информации, фактических данных, научных исследований и инноваций Европейского регионального бюро ВОЗ. В 2017 году Отделом был разработан комплекс количественных и качественных инструментов, обеспечивающих более детальную оценку степени удовлетворенности участников Углубленного курса 2017 г. и эффекта от него с точки зрения наращивания потенциала. По итогам анализа результатов исследований, интервью и наблюдений будет определено, насколько курс достиг поставленных целей, и будут даны рекомендации по дальнейшему усовершенствованию подобных курсов. В настоящем отчете приводится обзор результатов систематического анализа всех компонентов проведенных исследований, интервью и наблюдений. Цели Цель настоящего анализа и отчета – это более детальная оценка эффективности Углубленного курса 2017 г. с точки зрения достижения поставленных целей обучения. Инструментами проведения исследования и интервью был определен первичный круг исследуемых вопросов – в первую очередь касающихся уместности содержания курса, эффективности курса с точки зрения приобретения участниками новых навыков или знаний, а также оценки степени удовлетворенности участников методами проведения обучения. Для расширения масштаба и глубины исследования, обеспечиваемых количественными компонентами, были также использованы средства качественной оценки – исследования, интервью и наблюдения. Таким образом, настоящий аналитический отчет может быть использован для более комплексной оценки удовлетворенности ожиданий участников курса и для определения мер по усовершенствованию дальнейших углубленных курсов и других курсов, проводимых Отделом информации, фактических данных, научных исследований и инноваций. 2Условия курса Углубленный курс 2017 г. проводился в городе Сараево в Боснии и Герцеговине в период с 27 июня по 1 июля 2017 г. Как и Осенняя школа, курс предназначался для технических экспертов, работающих в сфере информации и статистики в здравоохранении, а также экспертов в области здравоохранения, чья деятельность связана с анализом данных и отчетностью, предоставляемой в Министерство здравоохранения. В курсе приняли участие 24 человека, направленные министерствами здравоохранения 11 государств-участников. 17 из них также прошли Осеннюю школу в 2016 году. Каждый учебный день был посвящен одной теме-модулю, разбитой на 4–8 занятий, проводимых специалистами по конкретным теоретическим и техническим дисциплинам. Модули предполагали интерактивный формат работы, обычно с чередованием лекций и групповых практических заданий, общих дискуссий или презентаций. Учебный день длился 8 часов с двумя короткими перерывами в первой и второй половине дня и более продолжительным перерывом на обед. Подходы Для тщательного и систематического анализа необходимо использование различных источников информации и нескольких методов исследования и анализа. Этот процесс зачастую определяется как триангуляция (5). В некоторых формах качественного анализа сбор данных носит неструктурированный характер, а знания получают на основании наблюдений и неструктурированных интервью опрашиваемых. В других вариантах анализ строится на конкретных вопросах или проблемах. В таком случае ответы, получаемые по результатам анкетирования и интервью участников по окончании курса, являются основным источником данных. Как анкетирование, так и интервью четко структурируются, ответы и отзывы напрямую увязываются со структурой инструментов сбора данных. Вследствие этого выявленные темы, если и не были предопределены, так или иначе зачастую зависели от содержания анкет и вопросов интервью. Преимущество использования структурированных инструментов сбора данных для анализа состоит в том, что такие инструменты могут быть специально адаптированы под конкретные запросы проводящей исследование организации в плане определения успешности курса 2017 г. и выведения рекомендаций по усовершенствованию подобных углубленных курсов в будущем. Источники данных описаны в разделе «Сбор данных и управление ими» настоящего отчета. Методология представлена в разделе «Методы анализа». Сбор данных и управление ими В рамках данного анализа было использовано четыре источника информации: блок комментариев опросника, который участники заполняли во время прохождения курса, форма обратной связи по результатам наблюдения за групповыми занятиями, стенограммы интервью, проводимых по окончании курса, и оценочные ответы на вопросы анкеты. 3Курс по углубленному изучению аспектов информации здравоохранения и данных научных исследований для формирования политики Ежедневные оценочные формы и форма финальной оценки курса По окончании каждого учебного дня участникам предлагалось заполнить набор форм для оценки мероприятий прошедшего дня. В конце всего курса всем были розданы финальные анкеты. Как ежедневные, так и финальная форма были доступны на английском и русском языках и включали в себя количественные и качественные составляющие. Блоки комментариев были структурированы таким образом, чтобы прояснить количественные ответы, а также предоставить участникам возможность дать обратную связь о курсе. Поскольку качественные блоки были связаны с количественными, тематика и структура количественного блока определяли, хотя и не ограничивали, тематику и структуру блока комментариев. По этой причине, хотя в настоящем отчете в первую очередь рассматриваются качественные составляющие оценки курса, целесообразно вкратце представить все содержание анкеты и разъяснить, как ее вопросы помогли сформировать тематическую структуру комментариев. Пример анкеты приведен в приложении 1 к настоящему отчету. По окончании каждого модуля участники курса оценивали мероприятия прошедшего дня, заполняя письменные формы оценки по каждому конкретному занятию. Форма оценки каждого занятия состояла из шести утверждений о содержании и эффективности занятия, а также трех вопросов о мнении участника о качестве обучения и учебных материалов. Утверждения и вопросы во всех формах были одинаковыми. Участникам предлагалось оценить девять элементов обучения по шкале от 1 до 5 в зависимости от степени своего согласия с утверждением или от собственного мнения о качестве указанного элемента. Более высокая оценка соответствовала большей степени согласия или более высокому качеству. В конце каждой формы оценки имелся блок комментариев, который представлял собой качественный компонент анкеты. Во вступлении к этому блоку участникам предлагалось пояснить свои ответы, предоставить свои комментарии или предложения, а также идеи о том, как можно было бы улучшить подобные занятия в будущем. Таким образом, структура и цель вопросов (или количественная часть анкет) может использоваться для прогнозирования или определения исходной тематической структуры для анализа самих комментариев. По завершении курса участникам были предложены анкеты, похожие на ежедневные формы оценки. Они состояли из 13 вопросов о курсе с оценкой по пятибалльной шкале, где 1 – это наименее благоприятная оценка, а 5 – наиболее благоприятная. За последним вопросом шел блок комментариев. Во вступлении к нему участникам предлагалась возможность уточнить свои ответы и изложить свои мысли о том, как можно было бы улучшить курс в будущем. 4Всего на протяжении курса было собрано 567 оценочных форм и анкет. Хотя комментарии за определенный день можно было соотнести с неким (анонимным) человеком, анкеты одного и того же человека за разные дни не группировались. Несмотря на возможность определить количество участников, предоставивших комментарии за любой конкретный день, определить общее количество человек, давших комментарии в рамках всего исследования, не представлялось возможным. Заполненные формы были сгруппированы по дням, отсканированы и сохранены в формате PDF. Комментарии на русском языке были переведены русскоговорящим сотрудником Отдела и прикреплены в качестве примечаний к соответствующим файлам PDF. Затем все эти файлы были переданы аналитику, который занес все письменные комментарии в таблицу формата Excel в целях проведения анализа. Наблюдение за участниками В качестве одного из методов качественной оценки также использовалось наблюдение за участниками. Оно проводилось присутствовавшим на курсе членом Секретариата ВОЗ, чьи задачи включали мониторинг и фиксацию поведения, взаимодействия и участия учащихся в групповых занятиях. Наблюдатель заносил свои наблюдения в краткую форму обратной связи, состоящую из шести вопросов о взаимодействии в группе и призванную выявить проблемы со структурой, планом и реализацией курса. Наблюдения излагались в документе формата Word, который затем передавался аналитику. Пустая форма для записи наблюдений и указания по ее заполнению приведены в приложении 2. Интервью участников Третий источник данных для качественного анализа был получен вскоре после завершения курса в результате проведения структурированных интервью с пятью участниками, которые согласились высказать свои соображения о конкретных аспектах курса, которые им понравились или не понравились, а также о том, как, по их мнению, можно было бы улучшить курс в будущем. Каждое интервью длилось около 20 минут. В состав интервью вошли вопросы о темах курса, лекторах, организации и логистике. Также интервьюируемым была предоставлена возможность обсудить любые темы, которые они не сочли удобным затрагивать открыто или письменно. Каждое 5Курс по углубленному изучению аспектов информации здравоохранения и данных научных исследований для формирования политики интервью было записано на пленку, а затем стенографировано. На протяжении всего процесса проведения интервью обеспечивалась полная конфиденциальность, стенограммы интервью были анонимными. По запросу интервьюируемых им разрешалось ознакомиться со стенограммой своего интервью и внести корректировки в нее по своему усмотрению в течение пяти рабочих дней после получения стенограммы. Однако аналитиком не было зафиксировано ни одного такого запроса. Список вопросов, задававшихся на интервью, и соответствующие инструкции приводятся в приложении 3. Аналитические методы Для анализа текста из трех источников данных использовался ряд качественных методов. Единицей анализа анкет для оценки отдельных занятий был принят текст отдельно взятого комментария. Единице анализа структурированных интервью стал текст ответа на отдельно взятый вопрос интервью. Для определения положительной, отрицательной или нейтральной окраски или отношения в неструктурированных комментариях были применены методы анализа тональности текста или обработки естественного языка. Два неподготовленных автоматических инструмента (6,7) обеспечивали перекрестную проверку достоверности определения тональности. В случае расхождений в выводах двух инструментов аналитик проводил дополнительную оценку по определению отношения, выраженного в комментарии участника. Для определения и кодировки категорийных тем, объединяющих все ответы и комментарии, использовался метод тематического анализа. Также оценивалась частота использования отдельных слов и фраз для определения относительной важности повторяющихся тем и подтверждения тематической схемы. В качестве инструмента перекрестной проверки сделанных аналитиком выводов использовалось наблюдение за участниками. Оценочные ответы на каждый вопрос анкеты были проанализированы отдельно, и была вычислена средняя оценка по каждому вопросу. Количественные результаты исследования использовались для перепроверки результатов анализа тональности текста и подтверждения выводов, приведенных в данном отчете. Результаты Показатель отклика Углубленный курс 2017 г. длился пять дней. Каждый день был посвящен отдельной всеобъемлющей теме, и все занятия дня строились вокруг этой темы. Количество занятий варьировалось в зависимости от дня/темы. В общей сложности было проведено 28 занятий. В конце каждого дня участникам раздавались формы для оценки каждого занятия. Еще одна анкета была предложена участникам по завершении всего курса. Общий показатель отклика 6составил 81%, было зафиксировано 72 индивидуальных комментария. Распределение показателей отклика по анкетам и комментариям представлено на рисунке 1. Рисунок 1. Показатели отклика по анкетам и комментариям в зависимости от дня и темы 0% 20% 40% 60% 80% 100% День 1. Укрепление электронного здравоохранения и выработка стратегии в области электронного здравоохранения Показатель отклика на анкеты (% возвращенных анкет) День 2. Интерпретация и установление приоритетности разных источников данных в информационной системе здравоохранения День 3. Практическое применение знаний и научные исследования. Разработка кратких обзоров по определенным темам на основе информации и научных исследований в области здравоохранения: преодоление разрыва между знанием и действием День 4. Измерение благополучия и качественные методы День 5. Коммуникация как функция общественного здравоохранения Оценка курса 24% 88% 92% 58% 88% 83% 88% 23% 43% 14% 20% 57% Показатель отклика по комментариям (% респондентов, вернувших как минимум 1 форму с комментариями) Анализ тональности текста ответов Цель и применение метода анализа тональности текста Цель анализа тональности текста двояка. С одной стороны, он дает представление о соотношении положительных и отрицательных чувств, выраженных респондентами в отношении курса. С другой, категоризация комментариев в зависимости от эмоционального содержания облегчает процесс группировки и анализа удавшихся и не удавшихся аспектов курса как по всей программе в целом, так и применительно к отдельным темам. 7Курс по углубленному изучению аспектов информации здравоохранения и данных научных исследований для формирования политики Сопоставление данных анализа тональности текста с тематиками данных и другими источниками дает действенный инструмент, позволяющий четко определить, что в курсе было удачно, а что требует улучшения. Также анализ тональности текста может помочь в выявлении тех аспектов курса, которые не были достаточно явно или эффективно затронуты в процессе сбора данных. Например, хотя в состав интервью входил прямой вопрос о том, были ли на курсе какие-либо «не заинтересовавшие» участника лекторы, только один человек ответил на этот вопрос утвердительно. Это показывает, как сложно получить реалистичную информацию, когда подавляющее большинство откликов на курс – положительные. Поскольку только один участник выразил мнение о том, что некий лектор недостаточно заинтересовал аудиторию, по этому вопросу сложно определить, насколько участники курса на самом деле были заинтересованы этим лектором. Однако анализ тональности положительных комментариев подтвердил важность того, чтобы лектор заинтересовывал аудиторию (8 комментариев), и помог определить некоторые параметры того, что под этим подразумевается: ■ «…Это был приятный тренинг, на котором давалась… новая информация». ■ «Превосходно! Весело, увлекательно, по существу». ■ «...Доходчиво. Аудитория была очень активной». ■ «...Благодаря графикам и повествовательному изложению фактов тренинг был очень понятным и интересным». На основании этих комментариев можно прийти к выводу, что заинтересованность подразумевает веселый, приятный опыт, новую и интересную информацию, которая представляется в понятной и четкой форме. Такое описание можно затем сопоставить с анализом вопроса анкеты, в котором отсутствие заинтересованности объяснялось сложным содержанием, недостаточной подготовкой нового материала и недостаточным временем, предоставленным на его понимание, осмысление и практическое применение. Понимание как положительной, так и отрицательной стороны заинтересованности позволяет лучше понять важность и характеристики интересного занятия, а также того, что препятствует созданию заинтересованности. Результаты анализа тональности текста ответов Из 72 комментариев, полученных в формах ежедневной оценки и финальных анкетах, 60 касались отдельных занятий, а 12 – всего курса в целом. Некоторые комментарии повторялись применительно к разным занятиям одного и того же дня/модуля, например «Все было на высшем уровне». Поскольку респондент в своем комментарии имел в виду не одно конкретное занятие, такие идентичные комментарии оставлялись в пуле анализа, и за соответствующими занятиями закреплялась определенная тональность отзывов. Два комментария по занятиям были удалены из пула анализа тональности, так как они не имели отношения к содержанию или результативности самого занятия. Например, в одном из таких комментариев просто говорилось, что респондент пропустил это занятие. Оставшиеся 70 комментариев были проанализированы индивидуально и категоризированы по шкале от позитивного к негативному. Окончательная классификация предусматривала четыре этапа: классификация посредством двух имеющихся в продаже инструментов анализа текста, сравнение и выверка результатов автоматической классификации, корректировка категорий в соответствии с реальной выборкой данных и окончательная классификация комментариев аналитиком. Большинство комментариев было классифицировано обоими автоматическими инструментами в качестве положительных. Хотя все комментарии были в индивидуальном порядке рассмотрены аналитиком, особое внимание было уделено тем комментариям, классификация которых согласно двум автоматическим инструментам не совпала. В ходе этого процесса было выявлено, что все комментарии, классифицированные одним инструментом как «не классифицируемые», были охарактеризованы другим инструментом как «нейтральные». Это позволило аналитику сделать вывод о схожести критериев, используемых двумя инструментами лексического анализа для классификации комментариев как «не классифицируемых» и как «нейтральных», на основании чего она приняла решение о классификации всех «не классифицируемых» комментариев в качестве «нейтральных». В таблицах 1 и 2 представлен обзор первого этапа классификации тональности текста. 8Таблица 1. Анализ тональности текста комментариев с помощью инструментов классификации текста Результат Инструмент 1 [5]1 Инструмент 2 [6] Совпадения Негативный 8 14 4 Нейтральный 7 11 4 Позитивный 57 47 43 Талица 2. Распределение комментариев с не совпавшей оценкой2 Инструмент 1 Инструмент 2 Негативный Нейтральный Позитивный Негативный 1 1 Нейтральный 0 3 Позитивный 72 7 Анализ комментариев, по-разному классифицированных двумя автоматическими инструментами, показал, что некоторые из них содержали несколько утверждений разной тональности. Например, комментарий «Поскольку электронное здравоохранение не в моей компетенции, это занятие не несло пользы для моей текущей работы. Но семинар был хороший» явно передает два отношения – негативное и позитивное. Замечание о том, что содержание семинара не было полезным лично для респондента, представляет собой негативный отклик. Однако при этом респондент счел сам семинар хорошим. Что он конкретно имел в виду под «хорошим», он не объяснил, но это очевидно позитивный отклик. Многие из таких спорно классифицируемых комментариев содержали одновременно различные по тональности отклики. Комментарии, классифицированные автоматическими инструментами как «нейтральные», также были тщательно изучены. В некоторых случаях оказывалось, что такая классификация была ошибочна. Например, «Слишком много информации за такое короткое время» – не нейтральный комментарий: он явно отражает неудовлетворенность одним или более аспектами занятия. В других случаях нейтральные комментарии скорее представляли собой предложения или рекомендации по улучшению. Например, комментарий «Я бы рекомендовал проводить курс с 9:00 до 16:30, сократив продолжительность кофе-пауз и обеда» содержит важный отзыв. Поэтому более целесообразно классифицировать его в соответствии с его содержанием как «рекомендацию». Хотя использование двух автоматических инструментов не дало абсолютно успешного анализа тональности, оно обеспечило очень полезную базу для окончательной оценки результатов анализа. Эта база стала отправной точкой для следующего этапа – формирования новых категорий тональности и рабочих определений, более точно характеризующих данные и цель качественной оценки. Окончательная классификация тональности была перепроверена путем сравнения категоризации комментариев с количественной оценкой в соответствующих анкетах (приводится в приложении 4). По результатам первых трех этапов процесса анализа были выделены следующие категории тональности комментариев. 1 В инструменте 1 предусматривалось два уровня позитивной тональности – позитивная и позитивная-плюс. В нашем анализе бы объединили обе эти категории в категорию «позитивная». 2 В обоих случаях, когда инструмент 2 классифицировал комментарий как негативный, а инструмент 1 классифицировал его же как позитивный, в тексте фигурировало слово «очень». Похоже, в инструменте 2 заложена системная ошибка, так что окончательная классификация обоих таких комментариев была определена как позитивная. 9Курс по углубленному изучению аспектов информации здравоохранения и данных научных исследований для формирования политики ■ Негативная. В комментарии изложено совершенно или преимущественно негативное мнение о некоем аспекте или аспектах семинара или курса: например, «Слишком короткий» и «Слишком мало времени было уделено теме перед началом работы в группах». ■ Смешанная негативная. В комментарии изложены как негативное, так и позитивное мнение о некоем аспекте или аспектах семинара или курса, при этом негативное мнение превалирует или относится к большему количеству аспектов, чем позитивное. В эту категорию попал всего один комментарий. ■ Рекомендация. Комментарий главным образом нейтрален по своему тону и содержит конкретное предложение по улучшению некоего аспекта или аспектов семинара или курса: например, «Было бы полезно больше примеров» и «Узнавать о стратегиях других стран интересно, но еще было бы интересно узнать о том, как они их реализуют – насколько их стратегии оказались успешными». ■ Смешанная позитивная. В комментарии изложены как негативное, так и позитивное мнение о некоем аспекте или аспектах семинара или курса, при этом позитивное мнение превалирует или касается большего количества аспектов, чем негативное: например, «Лектор был очень профессионален и доходчив. На некоторых слайдах использовался слишком мелкий шрифт. Я бы предпочел, чтобы участников больше вовлекали в работу, хотя стиль преподнесения информации был все равно более эффективным, чем обычно». ■ Позитивная. В комментарии изложено совершенно или преимущественно позитивное мнение о некоем аспекте или аспектах семинара или курса: например, «Великолепная лекция, лектор был очень информативен!» и «Очень хорошая работа! Очень интересный лектор и интересная тема. Использование графиков и изложение информации сделали семинар ясным и понятным. Я узнал много нового. Спасибо!» Новые категории и рабочие определения были использованы аналитиком для кодировки всех комментариев в зависимости от их тональности. Наибольшее число комментариев было получено по итогам дня 1 и дня 3. Наименьшее число комментариев поступило по завершении дня 4. Все комментарии по итогам дней 1, 2 и 5 оказались позитивными. В таблице 3 приведены результаты в разбивке по дням и темам. Таблица 3. Анализ тональности комментариев в разбивке по дням и темам3 День/тема Нега­ тивная Сме­ шанная нега­ тивная Рекомен­ дация Сме­ шанная пози­ тивная Пози­ тивная Показа­ тель отклика3 День 1. Укрепление электронного здравоохра- нения и выработка стра- тегии в области электрон- ного здравоохранения 4 1 4 4 4 17 (5) 24% День 2. Интерпретация и установление приоритет- ности разных источников данных в информацион- ной системе здравоохра- нения 8 8 (5) 23% 3 Показатель отклика приводится как число участников, предоставивших комментарии в своих формах оценки, так и процент участников, давших комментарии, относительно числа участников, заполнивших формы оценки. 10 День/тема Нега­ тивная Сме­ шанная нега­ тивная Рекомен­ дация Сме­ шанная пози­ тивная Пози­ тивная Показа­ тель отклика3 День 3. Практическое применение знаний и на- учные исследования. Раз- работка кратких обзоров по определенным темам на основе информации и научных исследований в области здравоохранения: преодоление разрыва между знанием и дей- ствием 21 21 (6) 43% День 4 Измерение благо- получия и качественные методы 1 3 4 (3) 14% День 5. Коммуникация как функция обществен- ного здравоохранения 8 8 (4) 20% День 5. Оценка курса 3 3 6 12 (12) 57% Всего 5 1 7 7 50 70 Исходя из количества негативных комментариев по результатам дня 1 и низкого показателя отклика по дню 4, можно проанализировать комментарии о дне 1 («Укрепление электронного здравоохранения и выработка стратегии в области электронного здравоохранения») и дне 4 («Измерение благополучия и качественные методы») для определения неудавшихся частей курса. В формах оценки по результатам дня 1 и в финальной анкете были приведены рекомендации по улучшению курса. Позитивные аспекты были зафиксированы по результатам каждого из дней. Для обеспечения более полного понимания тенденций и проблем, касающихся отдельных занятий и всего курса, эти результаты будут представлены в следующем разделе «Идентификация тем» в разбивке по темам. 11 Курс по углубленному изучению аспектов информации здравоохранения и данных научных исследований для формирования политики Неявная гипотеза, используемая инструментами оценки курса, состоит в том, что курс должен давать одновременно теоретическую базу и возможность практического применения полученных по теме знаний. Структура модулей сочетает в себе теорию и практику, предлагая чередования лекционной формы обучения, выполнения заданий в группах и дискуссий. На основании этого был проведен анализ тональности отзывов по каждому формату занятия. Формат занятия определялся по заголовку формы оценки. За исключением примеров из практики, распределение тональности отзывов на различные форматы занятий следовало практически единой модели. Распределение тональности отзывов в зависимости от формата занятия показано на рисунке 2. Рисунок 2. Распределение тональности отзывов в зависимости от формата занятия Негативная Смешанная негативная Рекомендация Смешанная позитивная Позитивная Пример из практики (1) Дискуссия (4) Работа в группах (8) Лекция (12) Интерактивная лекция (3) 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Результаты этого анализа говорят о том, что разбор примера из практики оказался наименее успешным режимом проведения занятий, а дискуссия – наиболее успешным. В то же время за курс было проведено всего одно занятие в режиме разбора примера из практики, и на него было дано три комментария. Поэтому делать выводы об уместности такого вида занятий нельзя. Однако содержание рекомендации в этом отношении можно использовать для улучшения таких занятий в будущем. В данном случае в комментарии дается очень конкретный совет: «Узнавать о стратегиях других стран интересно, но еще было бы интересно узнать о том, как они их реализуют – насколько их стратегии оказались успешными». Аналогичным образом из комментариев о дискуссии можно понять, каковы характеристики хорошего занятия в этом режиме: «Полезно получать обратную связь, чтобы улучшить в будущем свои навыки составления кратких обзоров. Это очень важно. Равно как и узнать о других подходах» (то есть участники хотят получать обратную связь, узнавать о других подходах к выполнению задачи или решению проблемы). Идентификация тем Идентификация тем – это он из наиболее распространенных методов качественного анализа (8). Тщательное многократное чтение «сырого» текста позволяет аналитику идентифицировать в нем темы. Системы классификации или кодировки часто проводят несколько итераций проверки схемы классификации для 12 того, чтобы четко определить коды и охватить все данные. В своем анализе мы использовали дополнительный источник данных для определения и проверки тем, а также для того, чтобы убедиться, что тематическая структура соответствует цели анализа, то есть помогает понять, что в курсе было особенно удачно, и как можно улучшить Углубленный курс и другие подобные курсы в будущем. Таким дополнительным источником были текст анкеты и вопросы интервью. В таблице 4 приводится использованная тематическая схема. Таблица 4. Тематическая схема комментариев и интервью участников Основные тематические категории Код Описание A Общее замечание A1 Курс или модуль B Содержание модуля/курса B1 Актуальный/полезный/практичный B2 Организованный C Приобретенные знания или навыки C1 Цели обучения были достигнуты C2 Получил новую информацию или навыки C3 Баланс теории и практики C4 Уровень обучения C4.1 Базовый C4.2 Продвинутый C5 Достаточно подготовленный к обучению C6 Распределение времени D Процесс обучения D1 Высокопрофессиональный лектор/веду- щий D2 Весело/приятно D3 Интересно/занимательно/захватывающе D4 Коллеги E Формы проведения занятий E1 Лекция E2 Слай ды E3 Примеры E4 Дискуссия E5 Упражнения и практика E6 Работа в группе F Администрация F1 Оборудование для конференций F2 Организация конференций F3 Место проведения конференций В разнообразных комментариях участников было идентифицировано множество тем. Особенно это касается комментариев в анкетах по всему курсу и комментариев об отдельных занятиях, где присутствовало сразу несколько тональностей, например позитивный комментарий с рекомендацией. Всего было идентифицировано 138 тем, распределенных по 70 закодированным комментариям. В комментариях по модулям был выделен ряд тематических категорий – от четырех тем по модулю «Коммуникация как функция общественного здравоохранения» до шести основных тем (A–F) в комментариях обо всем курсе в целом. Комментарии о процессе обучения и приобретенных знаниях/навыках наиболее часто относились к модулю «Практическое применение знаний и научные исследования». В комментариях к трем из четырех модулей чаще всего затрагивалась тема процесса обучения. При этом основной темой всех комментариев об отдельных модулях стал модуль 13 Курс по углубленному изучению аспектов информации здравоохранения и данных научных исследований для формирования политики «Электронное здравоохранение». На рисунке 3 показаны различия по количеству комментариев и распределение по темам в зависимости от модуля. Рисунок 3. Распределение тем в зависимости от модуля День 1. Электронное здравоохранение День 2. Источники данных День 3. Практическое применение знаний и научные исследования: краткие обзоры День 4. Измерение благополучия День 5. Коммуникация как функция общественного здравоохранения Оценка курса 0 2 4 6 8 10 12 [A] Общее замечание [B] Содержание [C] Приобретенные знания или навыки [D] Процесс обучения [E] Формы проведения занятий [F] Администрация 14 На рисунке 4 показано, что наибольшее количество негативных замечаний по всем пяти модулям касается содержания и приобретенных знаний/навыков. Это говорит о том, что, хотя отзывы на Углубленный курс 2017 г. являются преимущественно позитивными, курс можно улучшить, скорректировав его содержание так, чтобы оно больше соответствовало ожиданиям участников. На рисунке 5 показано, что негативные комментарии по этим двум темам касаются в основном первого дня, то есть модуля «Электронное здравоохранение». Рисунок 4. Распределение тональности по темам [A] Общее замечание [B] Содержание [C] Приобретенные знания или навыки [D] Процесс обучения [E] Формы проведения занятий Администрация 0 20 40 60 80 100 120 Негативная Позитивная Рекомендация 15 Курс по углубленному изучению аспектов информации здравоохранения и данных научных исследований для формирования политики Рисунок 5. Распределение негативной тональности по темам «Содержание» и «Приобретенные знания или навыки» Негативная Негативная НегативнаяРекомендация Рекомендация День 2. Источники данных День 3. Практическое применение знаний и научные исследования: краткие обзоры День 4. Измерение благополучия Оценка курсаДень 1. Электронное здравоохранение Рекомендация Рекомендация [B] Содержание [C] Приобретенные знания или навыки 0.0 0.5 1.0 1.5 2.0 2.5 3.0 3.5 4.0 4.5 На рисунке 6 приводится разбивка всех комментариев по пяти модулям Углубленного курса 2017 г. в зависимости от их тональности (негативная, позитивная и рекомендация) по основным темам. Особо выделяется среди остальных как по количеству комментариев, так и по количеству затрагиваемых тем модуль «Практическое применение знаний и научные исследования», в котором речь шла о составлении кратких обзоров. Количество 16 комментариев по модулю «Коммуникация как функция общественного здравоохранения» намного ниже, однако они все позитивные. В разделе «Анализ на уровне модулей» описано, что именно было особенно удачным в этих двух модулях. Рисунок 6. Распределение тем и тональности комментариев по модулям 0 2 4 6 8 10 12 День 2. Источники данных День 3. Практическое применение знаний и научные исследования: краткие обзоры День 4. Измерение благополучия День 1. Электронное здравоохранение Н ег ат и вн ая Н ег ат и вн ая П оз и ти вн ая П оз и ти вн ая П оз и ти вн ая П оз и ти вн ая П оз и ти вн ая Ре ко м ен да ци я Ре ко м ен да ци я Ре ко м ен да ци я [B] Содержание[A] Общее замечание [C] Приобретенные знания или навыки [D] Процесс обучения [E] Формы проведения занятий День 5. Коммуникация как функция общественного здравоохранения Анализ на уровне модулей День 1. Укрепление электронного здравоохранения и выработка стратегии в области электронного здравоохранения Первый модуль курса состоял из восьми занятий – больше, чем любой другой модуль. Не удивительно, что и в отзывах на него фигурировало наибольшее количество тем и тональностей. Чаще всего комментарии к этому модулю касались актуальности, полезности и практичности его содержания (B1). Обзор тем, идентифицированных в комментариях участников о первом дне курса, приведен в таблице 5. Самое большое количество комментариев касалось актуальности и полезности содержания модуля и распределения времени. Чтобы понять, какие аспекты модуля «Электронное здравоохранение» оказались успешными, а какие требуют улучшения, мы провели более детальный анализ тем и тональности в привязке к отдельным занятиям модуля. В 17 Курс по углубленному изучению аспектов информации здравоохранения и данных научных исследований для формирования политики таблицах 6, 7 и 8 приводятся данные по комментариям, которые иллюстрируют положительные и отрицательные стороны первого модуля. Таблица 5. Представленность тем в комментариях о дне 1 Тема Общее заме­ чание Содер­ жание Приобретенные знания или навыки Процесс обучения Формы проведения занятий Всего К ур с и ли м од ул ь А кт у а ль ны й , п ол ез - ны й , п ра к т и чн ы й Д ос ти г н ут ы е це ли об уч е н и я П ол уч и л но ву ю и нф ор м а ц и ю и ли на вы ки Ра сп ре де ле ни е вр ем ен и В ы со ко пр о ф ес си - он ал ьн ы й л ек то р/ ве ду щ и й И нт ер ес но , з ан и - м ат ел ьн о, з ах ва ты - ва ю щ е К ол ле ги Л ек ци я С ла й ды П ри м е р ы О бс уж де ни е Предыстория 1 1 1 1 1 1 6 Введение в тему электронного здравоохранения и представление Методического руководства ВОЗ/МСЭ по стратегии в об­ ласти электрон­ ного здравоохра­ нения 1 1 1 3 Разработка общего видения и плана дей­ ствий в области электронного здравоохранения 1 2 2 1 6 Разработка концептуальной системы монито­ ринга и оценки электронного здравоохранения 2 1 3 Примеры из практики: стра­ тегии в области электронного здравоохранения на практике 1 1 1 1 1 5 Работа в груп­ пах: разработка общего видения и плана дей­ ствий в области электронного здравоохранения 2 2 Работа в груп­ пах: разработка концептуальной системы монито­ ринга и оценки электронного здравоохранения 1 1 18 Тема Общее заме­ чание Содер­ жание Приобретенные знания или навыки Процесс обучения Формы проведения занятий Всего К ур с и ли м од ул ь А кт у а ль ны й , п ол ез - ны й , п ра к т и чн ы й Д ос ти г н ут ы е це ли об уч е н и я П ол уч и л но ву ю и нф ор м а ц и ю и ли на вы ки Ра сп ре де ле ни е вр ем ен и В ы со ко пр о ф ес си - он ал ьн ы й л ек то р/ ве ду щ и й И нт ер ес но , з ан и - м ат ел ьн о, з ах ва ты - ва ю щ е К ол ле ги Л ек ци я С ла й ды П ри м е р ы О бс уж де ни е Работа в груп­ пах: создание национальной структуры стратегического руководства в интересах разви­ тия электронно­ го здравоохра­ нения 1 1 Итого 3 8 1 1 4 1 2 1 1 2 2 1 27 Таблица 6. Темы и тональности комментариев о занятии «Предыстория» Тональность Содер­ жание Процесс обучения Формы проведения занятия Все го Акту аль- ный, полез- ный, прак- тичный Высокопро- фессиональ- ный лектор или веду- щий Интересно, увлека- тельно, захватыва- ю ще Кол леги Лек ция Слай ды Примеры Негативная 1 1 Рекомендация 1 1 Позитивная 1 1 1 1 4 Все го 1 1 1 1 1 1 6 Отзывы участников на занятие «Предыстория» были преимущественно положительные: «В сжатой форме осветить темы этого курса и прошлого было действительно необходимо. Хорошая работа!» Это пример позитивного комментария, в котором есть аллюзия на тему распределения времени. (Поскольку напрямую о распределении времени здесь не говорится, кодировка этой темы не приводится.) Однако, как показано в таблице 7, это говорит в пользу обеспокоенности участников нехваткой времени на все занятия этого модуля. Предложения по улучшению были выявлены в рамках процесса классификации и приводятся ниже. ■ «Шрифт некоторых слайдов был слишком мелкий – трудно читать». ■ «Я бы предпочел, чтобы участников больше вовлекали в работу, хотя стиль преподнесения информации был все равно более эффективным, чем обычно». 19 Курс по углубленному изучению аспектов информации здравоохранения и данных научных исследований для формирования политики Таблица 7. Темы и тональность комментариев о лекциях и разборе примеров из практики в модуле «Электронное здравоохранение» Тональность Общее замеча­ ние Содер­ жание Приобретенные знания или навыки Процесс обучения Формы проведения занятий Всего К ур с и ли м од ул ь А кт у а ль ны й , п ол ез - ны й , п ра к т и чн ы й Д ос ти г н ут ы е це ли об уч е н и я П ол уч и л но ву ю и нф ор м ац и ю и ли на вы ки Ра сп ре де ле ни е вр ем ен и И нт ер ес но , з ан и - м ат ел ьн о, з ах ва ты - ва ю щ е С ла й ды П ри м ер ы Д и ск ус си я Введение в тему электронного здравоохранения и представление Методического руководства ВОЗ/МСЭ по стра­ тегии в области электронного здравоохранения Негативная 1 1 2 Позитивная 1 1 Разработка общего видения и плана действий в области электронного здравоохранения Негативная 1 2 1 4 Позитивная 1 1 2 Разработка концептуальной системы мониторинга и оценки электронного здравоохранения Негативная 1 1 Рекомендация 1 1 2 Примеры из практики: стратегии в области электронного здравоохранения на практике Позитивная 1 1 1 1 4 Рекомендация 1 1 Итого 3 4 1 1 4 1 1 1 1 17 В общем, комментарии о занятиях были позитивными; при этом отзывы по конкретным темам равномерно распределились на позитивные и негативные (7/7). Наиболее животрепещущими оказались темы актуальности, полезности и практичности содержания занятий и распределения времени. Что касается последней, то комментарии либо были негативными, либо содержали в себе совет по улучшению. Очевидно, что, по мнению участников, время не было правильно распределено. В данном случае его было мало. ■ «Слишком короткое занятие». ■ «Очень много информации за короткое время. Если тема нова, сложно сконцентрироваться и все запомнить за короткое время, когда информация представляется так бегло. Слишком много текста на слайдах – сложно сконцентрироваться, и при этом слушать лектора. Но представленный материал определенно полезен тем, кому придется разрабатывать видение и план действий в области электронного здравоохранения». ■ «Слишком много информации за такое короткое время». ■ «Занятие можно было бы сделать длиннее, учитывая, сколько еще нового можно было бы охватить». Озабоченность нехваткой времени также проявилась в комментариях ко всему курсу в целом и в интервью, где участников спрашивали их мнение о продолжительности ежедневных занятий и курса. Что касается этой темы, то в своих комментариях ко всему курсу и в ответах на интервью участники разделились на две группы: одни рекомендовали рассылать участникам материалы или задания до начала курса, а другие – увеличить продолжительность курса. Урезать содержание курса в качестве решения этой проблемы не предложил никто, некоторые же сочли выделенное время достаточным для достижения целей обучения. Эти точки зрения хорошо иллюстрируются следующими комментариями. 20 ■ «Пожалуйста, рассылайте материалы хотя бы за неделю». ■ «Я бы был не против, если бы курс продлился на день-два дольше… Может, стоило давать участникам домашние задания для самостоятельного изучения отдельных тем до начала курса». ■ «Немного затянуто, но, если бы курс был короче, было бы жаль не успеть охватить что-то важное». ■ «Сложный курс. Правда, не думаю, что его можно было бы сделать короче. А так вполне реально». Мнения о полезности и практичности занятий модуля «Электронное здравоохранение» разделились и, похоже, зависели как от состояния самого электронного здравоохранения на родине участника, так и от того, насколько самому участнику эта тема была профессионально близка и входила в сферу его компетенции. Ниже приводятся комментарии, подтверждающие такое разделение. ■ «...Представленный материал определенно полезен тем, кому придется разрабатывать общее видение и план действий в области электронного здравоохранения». ■ «Поскольку я не отвечаю за электронное здравоохранение, эта тема не пригодится мне в моей текущей работе». Разбор примеров из практики получил очень позитивные отклики. Однако результаты анализа говорят о необходимости внесения некоторых изменений или улучшений в модуль. Учитывая положительное мнение об этом занятии, лектор может изучить его с тем, чтобы использовать реализованные в нем сильные стороны для улучшения других учебных мероприятий модуля. Ниже приводятся два положительных комментария об этом занятии. ■ «Это было замечательно!» ■ «Полезные примеры из реальной жизни». Таблица 8. Темы и тональность комментариев о работе в группах по модулю «Электронное здравоохранение» Тональность Содержание Форма проведения заня­ тий Всего Акту аль ный, полез ный, прак- тичный примеры Работа в группах: разработка общего видения и плана действий в области электронного здравоохранения Негативная 1 1 Позитивная 1 1 Работа в группах: разработка концептуальной системы мониторинга и оценки электронного здравоохранения Негативная 1 Работа в группах: создание национальной структуры стратегического руководства в интересах развития элек­ тронного здравоохранения Рекомендация 1 1 Итого 3 1 4 На три занятия в малых группах по модулю «Электронное здравоохранение» было получено всего три комментария, в которых было идентифицировано всего четыре темы. Эти комментарии вторят остальным отзывам на данный модуль. Актуальность и полезность таких занятий зависят от предыдущего опыта участников в области электронного здравоохранения и того, насколько их работа связана с этой тематикой. Учитывая то, что организаторы стремились обеспечить во всех модулях оптимальных баланс теории и практики, а также то, что темы занятий вытекают одна из другой, следовало ожидать, что участники, которые сталкивались с трудностями 21 Курс по углубленному изучению аспектов информации здравоохранения и данных научных исследований для формирования политики в усвоении теоретических аспектов или не считали их полезными, затем испытывали те же проблемы на практических занятиях. Примером тому служит следующий комментарий. ■ «Сложно оценивать видение, когда у вас нет стратегии, и согласовывать при этом показатели оценки результата и эффекта. Может быть, это только мое мнение, но стратегия в области электронного здравоохранения в моей стране выходит за рамки моих компетенций; так что это неплохо знать, но практического применения этому у меня нет». День 2. Интерпретация и установление приоритетности разных источников данных в информационной системе здравоохранения Комментарии по модулю об источниках данных в информационной системе здравоохранения оказались крайне положительными и затрагивали все основные темы, применимые к занятиям модуля. Участники сочли содержание занятий актуальным, хвалили лектора за высокое качество лекции и руководства. Занятия в группах были «хорошо проведены» с «хорошими примерами… и... дискуссией». Один участник отметил, что, хотя лектор и был великолепен, на будущее лекции на данную тему можно было бы сделать более углубленными и добавить больше примеров. «Лектор очень хороший, интересно и понятно излагает. Хотя в самой лекции было мало нового для меня. Тема очень важная, и мне бы хотелось услышать больше конкретных примеров, получить более углубленные знания». В таблице 9 показан разброс тем, которых касались полученные позитивные комментарии. Таблица 9. Темы и тональность комментариев о модуле «Интерпретация и установление приоритетности разных источников данных» Тональ ность Общее заме­ чание Содер­ жание Приобретенные зна­ ния или навыки Процесс обучения Формы проведе­ ния занятий Всего К ур с и ли м од ул ь А кт уа ль ны й , п ол ез - ны й , п ра кт и ч н ы й П ол уч и л но ву ю и нф ор м ац и ю и ли на вы ки У ро ве нь о бу че ни я: ба зо вы й Ра сп ре де ле ни е вр е- м ен и В ы со ко пр о ф ес си о- на ль ны й л ек то р и ли ве ду щ и й В ес ел о, п ри ят но И нт ер ес но , з ан и м а- те ль но , з ах ва ты ва ю щ е К ол ле ги пр и м ер ы ди ск ус си я Гр уп по ва я ра бо та Обзор источников данных Позитивная 2 1 1 2 1 2 9 Рекомен дация 1 1 2 Обсуждение трудностей, возникающих в практической работе Позитивная 1 1 1 1 1 5 Обсуждение трудностей, возникающих в практической работе Позитивная 2 1 3 Итого 2 3 1 1 1 3 1 2 1 2 1 1 19 22 День 3. Практическое применение знаний и научные исследования. Разработка кратких обзоров по определенным темам на основе информации и научных исследований в области здравоохранения: преодоление разрыва между знанием и действием Комментарии по этому модулю были исключительными. Хотя показатель отклика по анкетам был ниже, чем по другим модулям, отклик по комментариям был самым высоким, равно как и количество полученных комментариев о самом модуле. Все 21 комментарий были идентифицированы как позитивные. После применения тематической кодировки была обнаружена всего одна рекомендация в комментарии к групповому занятию по разработке кратких обзоров: «Мне понравилось практическое задание. На него можно было бы дать значительно больше времени (минут 30). Тогда мы бы выполнили его еще лучше. В общем, оно действительно было очень практичным …[чего] я и ожидал от этого обучения». Анализ тональности и идентификация тем выявили ключевые факторы успеха этого модуля. Его содержание было полезным и практически ориентированным, участники приобрели новые знания и навыки, а лектор был крайне профессиональным. Более подробно результаты анализа изложены в таблице 10. Таблица 10. Темы и тональность комментариев о модуле «Практическое применение знаний и научные исследования. Разработка кратких обзоров» Тональ ность Общее заме­ чание Содер­ жание Приобретенные знания или навыки Процесс обу­ чения Формы проведе­ ния занятий Все го К ур с и ли м од ул ь А кт уа ль ны й , п о- ле зн ы й , п ра кт и ч- ны й це ли о бу че ни я до ст и г н ут ы П ол уч и л но ву ю и нф ор м а ц и ю и ли на вы ки У ро ве нь о бу че ни я: пр од ви ну ты й П од го то в л ен но ст ь к об уч ен и ю Ра сп ре де ле ни е вр ем ен и В ы со ко -к ач ес т- ве нн ы й л ек то р и ли ве ду щ и й И нт ер ес но , з ан и м а- те ль но , з ах ва ты - ва ю щ е К ол ле ги Л ек ци я П ри м ер ы Роль ВОЗ в поощрении использования данных научных исследований при формировании политики: главная задача, концепции и инструменты Позитивная 1 1 1 3 1 1 8 Определение контекста, целей и задач: темы, заинтересованные стороны и шаблон краткого обзора по заданной теме Позитивная 2 2 1 1 1 7 Краткое представление написанных участниками обзоров по заданной теме во время «прохождения по галерее» Позитивная 1 1 1 1 1 5 Итоги работы за день, включая уроки и выводы и дальнейшие шаги Позитивная 1 1 1 1 4 Упражнение 1: поиск систематизированных обзоров Позитивная 2 1 1 4 Упражнение 2: написание кратких обзоров по заданной теме Позитивная 1 3 1 1 1 1 2 10 Рекомен дация 1 1 Итого 6 7 1 7 1 1 1 8 1 1 1 4 39 23 Курс по углубленному изучению аспектов информации здравоохранения и данных научных исследований для формирования политики День 4. Измерение благополучия и качественные методы Хотя на этот модуль было получено меньше отзывов, у нас нет качественных доказательств того, что этот модуль отличался по качеству от других высоко оцененных участниками модулей. Есть вероятность того, что к четвертому дню курса участники уже устали писать отзывы. Что бросается в глаза, так это акцент на темы категории «Процесс обучения». Ниже приводятся комментарии, подтверждающие высокое качество полученного участниками опыта. ■ «Профессионально, доходчиво. Аудитория очень активная. Сложность темы не ввергает в уныние, а заставляет задуматься и заняться анализом». ■ «Очень-очень хорошие слай ды, лектор и содержание!» Таблица 11. Темы и тональность комментариев о модуле «Измерение благополучия и качественные методы» Тональ­ ность Общее заме­ чание Содержа­ ние Приобре­ тенные знания или навыки Процесс обучения Формы проведе­ ния занятий Всего К ур с и ли м од ул ь А кт уа ль ны й , п о- ле зн ы й , п ра кт и ч- ны й У ро ве нь о бу че ни я Ра сп ре де ле ни е вр ем ен и В ы со ко пр оф ес си - он ал ьн ы й л ек то р и ли в ед ущ и й И нт ер ес но , за ни м а т ел ьн о, з ах - ва ты ва ю щ е К ол ле ги ле кц и я Измерение благополучия и качества жизни: кто что делает и зачем? Позитивная 1 1 1 2 1 1 1 8 Выбор и интерпретация мер оценки благополучия Негативная 1 1 Итого 1 1 1 1 2 1 1 1 9 День 5. Коммуникация как функция общественного здравоохранения Как уже упоминалось ранее, все комментарии о модуле «Коммуникация как функция общественного здравоохранения» оказались позитивными. Что особенно любопытно, на первое и последнее занятие участники дали много отзывов, а на два промежуточных – наоборот. Первого занятия «Формирование ваших информационных сообщений» и последнего «Интервью» касались шесть из восьми комментариев по модулю. Причем четыре из этих шести приходились на «Интервью». В этих шести комментариях было идентифицировано 16 тем; особенно часто затрагивались подтемы актуальности и полезности, приобретенных знаний или навыков и высокого профессионализма лектора или ведущего (которого также называли увлекающим, интересным или заинтересовывающим). Ниже приводятся комментарии, доказывающие успешность данного модуля. ■ «Это крайне важная тема. Она заставляет задуматься над тем, как мы общаемся с общественностью, что нужно продумать перед тем, как начинать такое общение. Это занятие мне помогло систематизировать уже имеющиеся знания и расширить мой кругозор с точки зрения того, что мне еще предстоит изучить. Работа в группах и обратная связь … это лучший метод обучения … он показывает, что никто из нас не идеален, и все мы допускаем ошибки». ■ «Супер хорошая работа! Очень интересный лектор. Использование графиков и факты сделали занятие очень понятным и интересным. Я много узнал. Спасибо!» 24 ■ «Очень полезное и информативное упражнение. … Подводя итоги этого дня, хочу сказать, что очень здорово, когда курс ведет такой настоящий профессионал. Спасибо!» ■ «Очень интересный модуль. Я получил новые навыки и знания о том, как проводить интервью. Форма подачи модуля очень ясная и четкая». ■ «Практика – лучший метод обучения». Отзывы на занятия модуля «Коммуникация как функция общественного здравоохранения» показали, что делает модуль успешным: он должен быть посвящен важной теме; он должен предлагать новый взгляд или расширять кругозор участников; он должен наделять участников новыми навыками или инструментами работы и при этом предусматривать достаточно времени для практики и обратной связи; и его должен вести уважаемый профессионал в своей области и эксперт по теме. Наконец, в комментариях к этому модулю всплывает ранее не затронутая тема – это роль поддержки со стороны коллег. Тема взаимодействия с коллегами и их поддержки не часто затрагивалась, а вот в комментариях к занятиям данного модуля периодически всё-таки проскальзывала. Ниже приводятся соответствующие цитаты в порядке поступления – с дня 1 по день 5. ■ «Было бы хорошо, если бы участники более активно вовлекались в процесс». ■ «Очень полезно было услышать мнение коллег». ■ «Мне понравилось получать обратную связь о том, как улучшить свои краткие обзоры в будущем. Это крайне важно. А еще узнать о других подходах». ■ «Аудитория очень активна». ■ «Работа в группах и обратная связь – это лучший метод обучения, который показывает, что никто из нас не идеален, и все мы допускаем ошибки». Обзор всех комментариев и соответствующих тем по данному модулю приведен в таблице 12. Таблица 12. Темы и тональность комментариев о модуле «Коммуникация как функция общественного здравоохранения» Тональ­ ность Содер­ жание Приобретенные знания или на­ выки Процесс обучения Формы проведения занятий Всего А кт у а ль ны й , по ле з н ы й , п ра к- ти чн ы й П ол уч и л но ву ю и нф ор -м ац и ю и ли на вы ки У ро ве нь о бу че ни я В ы со ко ка че ст -в ен - ны й л ек то р, ве ду щ и й и нт ер ес но , з ан и м а- те ль но , з ах -в ат ы - ва ю щ е ко лл ег и пр и м ер ы У пр аж -н ен и я и пр ак ти ка Гр уп по ва я ра бо та Формирование ваших информационных сообщений Пози тивная 1 1 1 1 1 1 1 7 Создание коммуникационных продуктов Пози тивная 1 1 Работа со средствами массовой информации Пози тивная 1 1 Интервью Пози тивная 2 2 2 1 1 1 9 Итого 5 3 1 3 2 1 1 1 1 18 25 Курс по углубленному изучению аспектов информации здравоохранения и данных научных исследований для формирования политики Оценка курса Более 50% участников дополнили свои анкеты по результатам всего курса комментариями. Двенадцать человек дали комментарии о курсе – это в два раза больше, чем в любой другой оценочной форме. Хотя вопросы анкеты отличались от вопросов, из которых состояли формы оценки отдельных занятий, затронутые в ответах на эту финальную анкету темы вписываются в общую тематическую структуру нашего анализа. Учитывая большее количество респондентов и другие вопросы, логично было ожидать некоторых изменений в структуре ответов по сравнению с предыдущими формами оценки. На рисунке 7 показано, что это ожидание оправдалось. Однако изменения затронули только две темы: формы проведения занятий и приобретенные знания или навыки. Здесь мы отметили увеличение доли рекомендаций в комментариях. Возможно, количество рекомендаций по этим двум темам не достаточно велико, чтобы делать какие-то выводы (всего пять тематических рекомендаций). Тем не менее есть некоторые конкретные рекомендации, которые могут быть полезны при подготовке будущих углубленных курсов, так как они перекликаются с актуальными темами, в том числе темой выделения времени на разбор нового или сложного материала, баланса между теорией и практикой и ценности поддержки коллег и групповой работы. ■ «Пожалуйста, рассылайте материалы хотя бы за неделю». ■ «Работать в группах по страновому признаку, а не в большой группе, чтобы иметь больше возможностей высказать свои соображения». ■ «Электронное здравоохранение: возможно, стоит сделать больший упор на практический аспект информации здравоохранения (но обязательно использовать пример стратегического подхода); КРАТКИЕ ОБЗОРЫ… не все идеально… БЛАГОПОЛУЧИЕ: Я бы лично предпочел больше теории». Рисунок 7. Сравнение соотношения тональности комментариев по основным темам и видам анкет Негативная РекомендацияПозитивная Оценка курса: общее замечание Оценка курса: содержание Оценка курса: приобретенные знания или навыки Оценка курса: процесс обучения Оценка курса: формы проведения занятий Занятие: общее замечание Занятие: содержание Занятие: приобретенные знания или навыки Занятие: процесс обучения Занятие: формы проведения занятий 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Более полный обзор распределения тем по дням, занятиям и тональности приведен в приложении 5. 26 Интервью В период с 11 по 24 июля 2017 г. было проведено пять интервью с участниками курса. Каждое интервью состояло из 13 вопросов. Одиннадцать из них были высокоструктурированными: один был фактологическим – то есть о предыдущем участии в тренингах ВОЗ; в пяти вопросах интервьюируемых просили сравнить (больше/ меньше понравилось) процесс обучения, модули курса, занятия, лекторов и форму проведения занятий. Еще пять вопросов касались реакции на групповые занятия, распределение времени на отдельные занятия и общей продолжительности курса, сложных аспектов занятий или курса, администрации и организации курса. В первом вопросе интервьюируемым предлагалось в трех словах описать курс. Последний же вопрос был задан в более открытой форме и был очень похож на последний вопрос форм оценки занятий и финальной анкеты по курсу. На четыре вопроса подразумевался однозначный ответ (да или нет). Стенограммы интервью были занесены в файл Excel и проанализированы на предмет тональности и тем. Пять ответов на вопрос 2 (о предыдущем участии в тренингах ВОЗ) не оценивались в плане тональности, но им присваивался тематический код в соответствии с уровнем подготовленности к обучению. Простой способ сравнить тональность и темы этих ответов с промежуточными результатами (из форм оценки, которые заполнялись в течение курса) – это сравнить кривые по результатам анализа тональности и тем двух источников данных. Такое сравнение приведено на рисунке 8. Результаты необычайно схожи. Ответы различались только по двум темам. По одной из них было получено более равномерное распределение тональности, что одинаково прослеживалось и в анкетах, и в интервью. Анализ проведенных интервью показал более позитивную оценку актуальности и полезности содержания курса, а также форм проведения занятий по сравнению с анкетами. В обоих источниках данных оценка приобретенных на курсе знаний или навыков была ниже, чем по остальным аспектам.4 Однако это отличие тесно связано с подтемой распределения времени. 4 Тематические данные по теме администрации курса в данных анализ включены не были. 27 Курс по углубленному изучению аспектов информации здравоохранения и данных научных исследований для формирования политики Рисунок 8. Сравнение данных по относительному распределению тональности по основным темам Негативная рекомендацияпозитивная [А] Общее замечание (комментарии в анкетах) [В] Содержание (комментарии в анкетах) [С] Приобретенные знания или навыки (комментарии в анкетах) [D] Процесс обучения (комментарии в анкетах) [Е] Формы проведения занятий (комментарии в анкетах) [А] Общее замечание (интервью) [В] Содержание (интервью) [С] Приобретенные знания или навыки (интервью) [D] Процесс обучения (интервью) [Е] Формы проведения занятий (интервью) 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Те же самые данные дают возможность понять или предположить, почему в ответах на интервью было получено больше позитивных комментариев по темам содержания и форм проведения занятий. ■ Во время проведения курса участники озвучивали отрицательное мнение о содержании модуля «Электронное здравоохранение». Это отрицательное мнение основывалось на актуальности электронного здравоохранения для участника и ситуации с электронным здравоохранением в его родной стране. На интервью эти моменты не были высказаны. Один респондент неоднократно высказывал такое негативное отношение в комментариях к нескольким занятиям модуля, что отразилось на доле негативных комментариев по этой теме. ■ Сценарий интервью включал в себя вопрос о групповой работе, в результате чего это тема была затронута в большем количестве ответов, и все полученные комментарии были позитивными. ■ Наконец, в анкетах респонденты комментировали слай ды к лекциям, и многие из этих комментариев 28 были негативными. В ходе интервью слайды не упоминались. Это различие может быть связано с тем, что во время проведения курса слай ды являются основным способом представления материала; однако это еще и односторонний метод коммуникации (от отправителя к получателю) без прямой обратной связи. Многие другие формы проведения занятий (работа в группах, дискуссии, упражнения и практика) более интерактивны, благодаря этому, возможно, больше откладываются в памяти и, соответственно, с большей вероятностью упоминаются в комментариях после завершения курса. В свете этого более детального анализа нам представляется маловероятным, что распределение тональности по основным темам на самом деле существенно различается во время и после завершения курса. Различия, показанные на рисунке 8, скорее являются результатом изменения содержания самого исследования и задаваемых вопросов. На рисунке 9 приведено распределение тональности по вопросам интервью. Рисунок 9. Тональность ответов на вопросы интервью 0 2 4 6 8 10 12 14 16 Негативная позитивная рекомендация В 1 – т ри с ло ва В 3 – о сн ов но е от ли чи е от пр ош лы х ку рс ов В 4 – к ак и е м од ул и б ол ьш е вс ег о по нр ав и ли сь и п оч ем у В 5 – к ак и е м од ул и м ен ьш е вс ег о по нр ав и ли сь и ли … В 6 – к ак и е ле кт ор ы б ол ьш е вс ег о по нр ав и ли сь и п оч ем у В 7 – к ак и е ф ор м ы з ан ят и й б ол ьш е вс ег о по нр ав и ли сь и п оч ем у В 8 – ч то в ы д ум ае те о б уп ра ж не ни ях в г ру пп ах В 9 – ч то в ы д ум ае те о ра зд ел ен и и г ру пп В 10 – ч то в ы д ум ае те о пр од ол ж и те ль но ст и к ур са В 11 – б ы ло л и чт о- то , чт о вы зв ал о ос об ы е тр уд но ст и В 12 – б ы ли л и а сп ек ты , тр еб ую щ и е лу чш ей о рг ан и за ци и В 13 – х от ел и б ы в ы е щ е чт о- то д об ав и ть В вопросе 5 было предложено назвать наименее понравившиеся модули – никто не назвал ни одного. Однако анализ негативных комментариев и рекомендаций в ответах на этот вопрос выявил двух интервьюируемых, упомянувших модуль, которым они остались наименее довольны. ■ «Тема EVIPNet была сложной, не было показано, в чем преимущества членства, разница между членами и не членами также осталась не ясной. Преподавателю стоит использовать больше примеров для иллюстрации теоретического материала». 29 Курс по углубленному изучению аспектов информации здравоохранения и данных научных исследований для формирования политики ■ «День 4 – модуль о благополучии. Нужно больше теории. У меня нет предварительной подготовке в области социологии, так что я не был знаком с этой концепцией. Не уверен, что правильно определил метод проведения качественного исследования. Было сложно. День 3 – упражнения были сложными. Было нелегко справиться в отведенное время. Все остальное было хорошо». Любопытно, что эти два модуля получили достаточно позитивные отклики по результатам анкетирования, а модуль, который на этом этапе комментировали негативно, на интервью не упоминался. Возможно, дело в том, что те участники, которые давали свои комментарии в анкетах, не участвовали затем в интервью. Распределение наиболее часто возникающих тем в комментариях в анкетах также изменилось в ответах на интервью. Это касается всех комментариев, в том числе негативных и рекомендаций. На рисунке 10 показано, как изменился состав тем по всем ответам. Изменение тем по негативным ответам или рекомендациям показано на рисунке 11. Рисунок 10. Наиболее распространенные темы в обоих источниках, любая тональность В1: Актуальное, полезное содержание С2: Приобрел новые знания или навыкиE6 D4: Коллеги 25% 20% 15% 10% 5% 0% D1: Качество лекторов Все комментарии в анкетах (n = 138) Все ответы на интервью (n = 119) На рисунке 10 видны два различия между двумя источниками информации. Во-первых, несмотря на схожие размеры выборки, ответы на интервью продемонстрировали более равномерное распределение по темам. Во-вторых, заметен перенос тематического акцента. Рейтинг темы приобретенных знаний/навыков, одной из наиболее часто возникающих в комментариях в анкетах, упал с 10% в анкетах до 0% в интервью. Скорее всего, это связано с различиями между самими инструментами сбора данных (вопросами). Тем не менее перемещение акцента с содержания курса (B1, C2) на опыт взаимодействия с коллегами и работу в группах (D4, E6) очевидно, и это говорит о том, насколько эта тема была реализована в структуре курса, хотя и очень вскользь затрагивалась в анкетах и в вопросах интервью. Этот факт говорит о состоятельности структуры курса и его интерактивного компонента. Ниже приводятся некоторые самые яркие высказывания участников о важности и роли взаимодействия с коллегами на курсе. ■ «Группы были сплоченные, все активно участвовали в работе. Некоторых членов группы я уже знал по Осенней школе. Вводная часть, работа в группах, пленарная часть и дискуссия были насыщенными и полезными». ■ «…На Углубленном курсе все уже были лучше знакомы между собой, появилось некоторое доверие, солидарность и уверенность друг в друге». ■ «[Моя] единственная проблема состояла в том, что иногда я не мог понять материал, но мои коллеги мне помогали. От этого становилось легче следовать ходу мысли лектора». ■ «Приглашайте периодически людей из разных стран рассказывать о своем личном опыте и проблемах. (Что-то вроде… группы выпускников.)». 30 Взаимодействие с коллегами вышло на первый план как основное условие успешного обучения на курсе. Последний из приведенных выше комментариев показывает, что некоторые участники хотели бы сохранить завязанные на курсе отношения и продолжить общение с коллегами. Негативные комментарии и рекомендации касались одних и тех же тем в обоих источниках данных. Недостаточная продолжительность некоторых занятий и модулей упоминалась как проблема даже после окончания курса. На интервью чаще отмечалась обеспокоенность темами, касающимися успешности обучения: наличие адекватной подготовки к курсу или модулю, сложный материал и баланс теории и практики. Эти различия показаны на рисунке 11. Рисунок 11. Темы, наиболее часто встречающиеся в негативных комментариях и рекомендациях в обоих источниках данных В1: Актуальное, полезное содержание С5: Адекватная подготовка по теме курсу или модуля С3: Баланс теории и практикиE3 С6: Распределение времени 25% 20% 15% 10% 5% 0% С4.2: Уровень материала: продвинутый Все негативные комментарии и рекомендации в анкетах (n = 29) Все негативные комментарии и рекомендации в ответах на интервью (n = 16) Последний вопрос интервью был «Хотели бы вы еще что-то добавить?». Трое интервьюируемых ответили на него рекомендациями и одним наставлением. ■ «Осенняя школа и Углубленный курс связаны между собой. В приглашении на Углубленный курс указывалось, что участник должен быть тот же, что и на Осенней школе. Может, стоит перемешать темы двух курсов. На Осенней школе больший упор делался на данные, а на Углубленном курсе – на формирование политики. Так перемешайте темы, чтобы люди на Осенней школе не думали, что речь идет только о данных. И в приглашении на каждую программу укажите, для кого она – для тех, кто формирует политику, или для пользователей данных, и так далее». ■ «…Небольшое домашнее задание перед началом курса помогло бы быстрее продвигаться по программе. Содержание и логистика на очень хорошем уровне». ■ «Приглашайте периодически людей из разных стран рассказывать о своем личном опыте и проблемах. (Что-то вроде форума или группы выпускников.)». ■ «ВОЗ может высылать материалы участникам заранее для самостоятельной подготовки, как это делалось на Осенней школе». 31 Курс по углубленному изучению аспектов информации здравоохранения и данных научных исследований для формирования политики Анализ слов, использованных в ответах на интервью В первом вопросе интервью участникам предлагалось тремя словами описать курс. На рисунке 12 приводится получившееся «облако слов»5. Полное «облако слов» по ответам на все вопросы интервью приведено в приложении 6. Рисунок 12. «Облако слов», использованных интервьюируемыми для описания курса 5 Для создания облака использовался специальный инструмент, доступный по ссылке https://www.wordclouds.com/, на 24 октября 2017 г. 32 Наблюдение На третий день курса было проведено единственное за весь курс исследование посредством наблюдения. Его осуществлял член Секретариата ВОЗ, присутствовавший на курсе в качестве лектора. Его задача состояла в мониторинге и регистрации стилей поведения, видов взаимодействия и участия присутствующих в групповой работе в рамках модуля. Наблюдатель заносил свои наблюдения в краткую форму обратной связи, состоявшую из шести вопросов о взаимодействии в группе, и должен был выявлять любые возможные проблемы, которые могли бы помешать эффективному взаимодействию в группе. Необходимость в таком наблюдении обусловлена важностью групповой работы и поддержки коллег для успешности всего курса. ■ «Очень активное участие всех членов группы и оживленные дебаты. Очень понятные выступления ведущих. Участники выглядели очень довольными и заинтересованными». ■ «[Участники], судя по всему, поддерживали друг друга». Несмотря на лаконичность и небольшое количество данных из этого источника, результаты наблюдения позволили подтвердить результаты анализа с точки зрения тем и тональности, необходимых для успешности курса. Оценочные ответы на вопросы анкет Средний балл по оценочным ответам высчитывался отдельно по каждому вопросу форм оценки конкретных занятий и анкеты по всему курсу. В общем, разброс средних баллов оказался очень незначительным. Например, средний балл по вопросу финальной анкеты «В какой мере этот учебный курс позволил вам достичь ясного понимания информации здравоохранения и ее использования в качестве доказательной основы при формировании политики?» был 4,71, а по вопросу «Как бы вы оценили этот учебный курс в целом?» – 4,95. Этот результат говорит о том, что в оценке по этим двум вопросам практически нет разницы, при том что один призван определить степень удовлетворенности участников от курса, а другой – достижение общей цели обучения. Это подтверждает ценность качественных методов оценки курса. Результаты по всем оценочным ответам на вопросы форм оценки конкретных занятий и финальной анкеты приведены в приложении 7. 33 Курс по углубленному изучению аспектов информации здравоохранения и данных научных исследований для формирования политики Выводы Главной целью данного анализа было использовать отзывы участников для дальнейшего усовершенствования программы Углубленного курса. Поскольку подавляющее большинство отзывов участников Углубленного курса 2017 г. оказалось позитивным, в ходе анализа необходимо было провести дифференциацию между негативными отзывами, рекомендациями и позитивными отзывами. Анализ сильных сторон курса дает возможность узнать о имеющихся возможностях его улучшения и о проблемах, решив которые эти возможности можно реализовать. В качестве новой альтернативы знакомому анализу по методу SWOT (сильные и слабые стороны, возможности и угрозы) предлагается анализ по методу SCOC (сильные стороны, сложности, возможности и сложности). Эта методика больше соответствует подходу к стратегическому планированию будущих углубленных курсов с опорой на имеющиеся активы6. В таблице 13 приведен краткий обзор основных выводов проведенного качественного анализа и данного отчета. Таблица 13. Основные выводы отчета Внутрен­ ние Сильные стороны • Высокое качество преподавательского состава и материала • Четкие темы модулей и курса { Здоровье-2020 { ЕИИЗ • Поддержка государств-членов • Поддержка ЕИИЗ • Учет отзывов участников • Баланс теоретического обучения и развития прак- тических навыков • Поддержка коллег и разнообразный состав участников Сложности • Сложности, связанные с разнообразным соста- вом участников { Языковой барьер { Разный уровень внутреннего и технического потенциала государств-членов { Разные стили обучения участников { Разный уровень подготовки участников к курсу • Повышение качества обратной связи от участни- ков без перегрузки их анкетами и интервью { Обратная связь может быть однобокой, так как исходит только от тех участников, которых действительно заинтересовал курс • Поддержание или повышение качества препода- вательского состава и материала { Оптимальный баланс теоретического обу- чения и развития практических навыков по каждому модулю { Достаточность времени, выделяемого как на сложные, так и особо интересные занятия Внешние Возможности • Усиление взаимодействия с коллегами { Сообщество выпускников { Продолжение обучения • Привлечение большего количества преподава- телей для расширения и углубления содержания курса • Охват более широкой аудитории Сложности • Сохранение внешней поддержки • Поддержка развития практик в сфере информации здравоохранения и политик здравоохранения • Выделение времени преподавателями и участниками Одним из самых важных выводов нашего анализа стал вывод о важности взаимодействия с коллегами для успешности курса. Это доказывает правильность предпринимаемых в данный момент мер по обеспечению баланса между лекциями и групповыми заданиями, дискуссиями и другими интерактивными формами проведения занятий. Также это говорит о возможности организации неформального сообщества выпускников Углубленного курса, которое будет содействовать целям ЕИИЗ и способствовать наращиванию технического потенциала в государствах-членах. 6 Более подробно об анализе по методу SCOC см. https://www.linkedin.com/pulse/swot-more-armin-forstner/ – по состоянию на 25 октября 2017 г. 34 Рекомендации ■ Продолжить развивать успех Углубленного курса { Развивать интерактивные занятия • В отношении модулей по новым, инновационным или сложным темам (измерение благополучия, электронное здравоохранение, практическое применение знаний) обеспечить наличие у участников хорошей теоретической базы, чтобы они были готовы применять на практике новые навыки и использовать новые инструменты. Для этого может понадобиться сократить другие блоки программы, чтобы дать участникам достаточно времени для освоения нового материала. Из-за языкового барьера может понадобиться еще больше времени. { Скорректировать некоторые аспекты, требующие улучшения. Разработать контрольный список для инструкторов и ведущих с перечислением того, что может отвлекать участников от занятия. • Использовать простые тексты: слишком длинные тексты делают слай ды нечитаемыми. • Использовать примеры для иллюстрации и объяснения теоретических концепций. • Использовать визуальное представление данных и идей. • Тщательнее выбирать, когда и как включать дискуссии в план занятия; другими словами, насколько приемлемо в каждом конкретном случае увлечься интересным обсуждением или важнее успеть пройти все слай ды? • Проходить весь жизненный цикл в разборе примеров из практики (от разработки до реализации и результатов). • Давать возможность участникам встретиться один на один с инструктором после занятий для получения помощи или обсуждения возникших вопросов. ■ Запланировать процедуру оценки следующего курса и рассмотреть возможные подходы к обеспечению получения различных мнений. Ниже приводятся некоторые примеры. { Провести опрос инструкторов или, что еще лучше, запланировать личное подведение итогов с ними по завершении курса. { Организовать фокус-группу выпускников для выработки идей по улучшению текущей программы Углубленного курса и определения их ожиданий от будущих курсов (например, создание сообщества выпускников или поддержание контактов с выпускниками другими способами, привлечение выпускников на волонтерской основе и т. п.). { Организовать проведение профессиональным ведущим мероприятия с узкими специалистами с использованием Дельфийского метода для определения новых тем, еще не охваченных курсом. 35 Курс по углубленному изучению аспектов информации здравоохранения и данных научных исследований для формирования политики Литература 1. Autumn School on health information and evidence for policy-making. In: World Health Organization Regional Office for Europe [website]. Copenhagen: WHO Regional Office for Europe; 2017 (http://www.euro.who.int/en/ media-centre/events/events/2016/10/autumn-school-on-health-information-and-evidence-for-policy-making, accessed 10 November 2017). 2. Целевые ориентиры и индикаторы для политики Здоровье-2020. Версия 3 (2016). Европейское региональное бюро ВОЗ [веб-сайт]. Копенгаген: Европейское региональное бюро ВОЗ; 2017 (http://www.euro.who.int/ru/ health-topics/health-policy/health-2020-the-european-policy-for-health-and-well-being/publications/2016/targets- and-indicators-for-health-2020.-version-3-2016, по состоянию на 8 декабря 2017 г.). 3. Advanced Course on Health Information and Evidence for Policy-making. In: World Health Organization Regional Office for Europe [website]. Copenhagen: WHO Regional Office for Europe; 2017 (http://www.euro.who.int/ en/media-centre/events/events/2017/06/advanced-course-on-health-information-and-evidence-for-policy-making, accessed 10 November 2017). 4. Европейская инициатива в области информации здравоохранения. Европейское региональное бюро ВОЗ [веб- сайт]. Копенгаген: Европейское региональное бюро ВОЗ; 2017 (http://www.euro.who.int/ru/data-and-evidence/ european-health-information-initiative-ehii/european-health-information-initiative, по состоянию на 8 декабря 2017 г.). 5. Oliver-Hoyo M, Allen D. The use of triangulation methods in qualitative educational research. Journal of College Science Teaching 2006;35(4):42–7. 6. MeaningCloud for Excel. In: MeaningCloud [website]. Union, NJ: MeaningCloud LL; 2017 (https://www. meaningcloud.com/products/excel-addin, accessed 10 November 2017). 7. Sentiment Analysis. In: MonkeyLearn [website]. San Francisco, CA: MonkeyLearn Inc; 2017 (https://app. monkeylearn.com/main/classifiers/cl_Jx8qzYJh/, accessed 10 November 2017). 8. Guest G, MacQueen KM, Namey EE. Applied thematic analysis. Thousand Oaks, CA: Sage Publishing; 2012. 36 Приложение 1. Пример анкеты Курс по углубленному изучению аспектов информации здравоохранения и данных научных исследований для формирования политики День Работа в группах: Лектор(ы): 1=Очень плохо/мало 2=Плохо 3=Средне 4=Хорошо/достаточно 5=Очень хорошо/очень много Обведите свой ответ Цель обучения была достигнута 1 2 3 4 5 Содержание было полезным 1 2 3 4 5 Мы получили достаточно справочной документации/информации, которая стала полезным дополнением к материалам модуля 1 2 3 4 5 Продолжительность модуля была достаточной 1 2 3 4 5 Я приобрел новые знания и/или навыки 1 2 3 4 5 Я рекомендую проводить такой модуль в будущем 1 2 3 4 5 По той же шкале оцените, пожалуйста: Лектора(ов) 1 2 3 4 5 Слай ды 1 2 3 4 5 Метод проведения занятия 1 2 3 4 5 Пожалуйста, уточните ваши ответы и поделитесь любыми другими комментариями или предложениями. Нам особенно интересно было бы узнать, как мы могли бы улучшить это занятие в рамках программы Углубленного курса в будущем. 37 Курс по углубленному изучению аспектов информации здравоохранения и данных научных исследований для формирования политики Приложение 2. Образец формы для записи наблюдений Форма обратной связи наблюдателя Углубленный курс ВОЗ 2017 г. Данная форма обратной связи предназначена для целей качественной оценки Углубленного курса ВОЗ. Нам хотелось бы узнать, какими были отношения, поведение и взаимодействие участников во время групповой работы. Данная форма заполняется во время групповой работы. Походите, пожалуйста, по аудитории, понаблюдайте за разными группами и запишите, что особенного вы отметили в работе любой из них. Вы можете указать конкретную группу или писать обо всех группах в общем. Инструкции для наблюдателя ■ Ваша роль заключается в наблюдении с целью мониторинга взаимодействия, поведения и отношений участников в процессе групповой работы в рамках курса. ■ В ходе групповой работы походите по аудитории с этой формой и понаблюдайте за различными группами, чтобы затем ответить на приведенные ниже вопросы. ■ Старайтесь быть как можно более незаметным. Группы не должны знать о том, что за ними наблюдают. Ни в коем случае не разговаривайте с участниками и не спрашивайте их мнения. Отвечайте на вопросы данной формы исключительно на основании своих собственных наблюдений за работой в группах. ■ Вы можете использовать обратную сторону формы для записи дополнительных наблюдений или комментариев. День 3 Модуль: Данные научных исследований для формирования политики Групповое задание___ Общие наблюдения о работе групп? Задействовано ли большинство участников в работе, если не все? Если нет, то почему? Цели группового задания: Достаточно ли ясно, чему участники должны научиться? Возникало ли недопонимание какого-либо рода? Если да, то какого? Как инструктор поступал в случае возникновения недопонимания? Помогали ли участники друг другу понять материал или использовать его во время работы в группах или презентаций? Хватило ли группе времени на выполнение группового задания? Не оказалось ли времени слишком много? ___ Да ___ Нет Пришла ли группа в конечном итоге к результату, который доказывает эффективность такого метода работы для практики и применения только что изученного материала? 38 Приложение 3. Образец плана интервью Интервью Углубленный курс ВОЗ 2017 г. Интервью 1 11 июля 2017 г., 12:00 Опишите Углубленный курс ВОЗ этого года тремя словами. Принимали ли вы участие в других программах обучения ВОЗ ранее? В частности, в углубленных курсах или Осенней школе? Заметили ли вы какие-нибудь значительные различия между этим Углубленным курсом и другими программами обучения? Какие модули этого Углубленного курса вам больше всего понравились и почему? Какие занятия/модули вам не понравились и по какой причине? Были ли на курсе какие-то лекторы, которые вам особенно понравились? Как вы думаете, почему они вам понравились? Были ли какие-то лекторы, которые вам показались неинтересными? В чем причина этого? Среди всех занятий какие методы проведения вам понравились и почему? Что вы думаете об упражнениях в группах? Как вы знаете, для выполнения упражнений в группах участники были разбиты на группы по языковому/ страновому принципу. Что вы думаете о таком принципе разделения? Что вы думаете о продолжительности курса – как о продолжительности занятий в течение дня, так и о длительности курса в целом? Были ли какие-то части курса, которые вызвали у вас особые трудности? Были ли какие-то аспекты курса, которые, по вашему мнению, требуют лучшей организации? Хотели бы вы что-то еще добавить? 39 Курс по углубленному изучению аспектов информации здравоохранения и данных научных исследований для формирования политики Приложение 4. Сравнение результатов анализа тональности и количественной оценки Рисунок 13. Сравнение результатов анализа тональности и количественной оценки ПозитивнаяСмешанная (−) Смешанная (+) РекомендацияНегативная 0,0 0,5 1,0 1,5 2,0 2,5 3,0 3,5 4,0 4,5 5,0 40 Приложение 5. Распределение тем по занятиям и тональности Таблица 14. Распределение тем по занятиям и тональности Т он ал ьн ос ть A 1 B 1 B 2 C 1 C 2 C 4 C 5 C 6 D 1 D 2 D 3 D 4 E 1 E 2 E3 E 4 E 5 E 6 F 1 В се ­ го О ц ен к а к ур са Н ег ат и вн ая 1 2 1 1 1 6 П оз и ти вн ая 4 5 2 1 1 1 14 Ре ко м ен да ци я 1 1 1 1 1 1 6 О ц ен к а к ур са , вс ег о 4 6 1 2 1 1 3 2 1 2 1 1 1 26 Д ен ь 1 Гр уп п ов ое з ад ан и е 1 Н ег ат и вн ая 1 1 П оз и ти вн ая 1 1 Гр уп п ов ое з ад ан и е 1, в се го 2 2 Гр уп п ов ое з ад ан и е 2 Н ег ат и вн ая 1 1 Гр уп п ов ое з ад ан и е 2, в се го 1 1 Гр уп п ов ое з ад ан и е 3 Ре ко м ен да ци я 1 1 Гр уп п ов ое з ад ан и е 3, в се го 1 1 З ан ят и е 1 Н ег ат и вн ая 1 1 П оз и ти вн ая 1 1 1 1 4 Ре ко м ен да ци я 1 1 З ан ят и е 1, в се го 1 1 1 1 1 1 6 З ан ят и е 2 Н ег ат и вн ая 1 1 2 П оз и ти вн ая 1 1 З ан ят и е 2, в се го 1 1 1 3 41 Курс по углубленному изучению аспектов информации здравоохранения и данных научных исследований для формирования политики Таблица 14. (продолжение) Т он ал ьн ос ть A 1 B 1 B 2 C 1 C 2 C 4 C 5 C 6 D 1 D 2 D 3 D 4 E 1 E 2 E3 E 4 E 5 E 6 F 1 В се ­ го З ан ят и е 3 Н ег ат и вн ая 1 2 1 4 П оз и ти вн ая 1 1 2 З ан ят и е 3, в се го 1 2 2 1 6 З ан ят и е 4 Н ег ат и вн ая 1 1 Ре ко м ен да ци я 1 1 2 З ан ят и е 4, в се го 2 1 3 З ан ят и е 5 П оз и ти вн ая 1 1 1 1 4 Ре ко м ен да ци я 1 1 З ан ят и е 5, в се го 1 1 1 1 1 5 Д ен ь 1, в се го 3 8 1 1 4 1 2 1 1 1 3 1 27 Д ен ь 2 Гр уп п ов ое з ад ан и е 1 П оз и ти вн ая 1 1 1 1 1 5 Гр уп п ов ое з ад ан и е 1, в се го 1 1 1 1 1 5 Гр уп п ов ое з ад ан и е 3 П оз и ти вн ая 2 1 3 Гр уп п ов ое з ад ан и е 3, в се го 2 1 3 З ан ят и е 1 П оз и ти вн ая 2 1 1 2 1 2 9 Ре ко м ен да ци я 1 1 2 З ан ят и е 1, в се го 2 1 1 1 2 1 2 1 11 Д ен ь 2, в се го 2 3 1 1 1 3 1 2 1 2 1 1 19 42 Таблица 14. (продолжение) Т он ал ьн ос ть A 1 B 1 B 2 C 1 C 2 C 4 C 5 C 6 D 1 D 2 D 3 D 4 E 1 E 2 E3 E 4 E 5 E 6 F 1 В се ­ го Д ен ь 3 Гр уп п ов ое з ад ан и е 1 П оз и ти вн ая 2 1 1 4 Гр уп п ов ое з ад ан и е 1, в се го 2 1 1 4 Гр уп п ов ое з ад ан и е 2 П оз и ти вн ая 1 3 1 1 1 1 2 10 Ре ко м ен да ци я 1 1 Гр уп п ов ое з ад ан и е 2, в се го 1 3 1 1 1 1 1 2 11 З ан ят и е 1 П оз и ти вн ая 1 1 1 3 1 1 8 З ан ят и е 1, в се го 1 1 1 3 1 1 8 З ан ят и е 2 П оз и ти вн ая 2 2 1 1 1 7 З ан ят и е 2, в се го 2 2 1 1 1 7 З ан ят и е 3 П оз и ти вн ая 1 1 1 1 1 5 З ан ят и е 3, в се го 1 1 1 1 1 5 З ан ят и е 4 П оз и ти вн ая 1 1 1 1 4 З ан ят и е 4, в се го 1 1 1 1 4 Д ен ь 3, в се го 6 7 1 7 1 1 1 8 1 1 1 4 39 Д ен ь 4 З ан ят и е 1 П оз и ти вн ая 1 1 1 2 1 1 1 8 З ан ят и е 1, в се го 1 1 1 2 1 1 1 8 43 Курс по углубленному изучению аспектов информации здравоохранения и данных научных исследований для формирования политики Таблица 14. (продолжение) Т он ал ьн ос ть A 1 B 1 B 2 C 1 C 2 C 4 C 5 C 6 D 1 D 2 D 3 D 4 E 1 E 2 E3 E 4 E 5 E 6 F 1 В се ­ го З ан ят и е 3 Н ег ат и вн ая 1 1 З ан ят и е 3, в се го 1 1 Д ен ь 4, в се го 1 1 1 1 2 1 1 1 9 Д ен ь 5 З ан ят и е 1 П оз и ти вн ая 1 1 1 1 1 1 1 7 З ан ят и е 1, в се го 1 1 1 1 1 1 1 7 З ан ят и е 2 П оз и ти вн ая 1 1 З ан ят и е 2, в се го 1 1 З ан ят и е 3 П оз и ти вн ая 1 1 З ан ят и е 3, в се го 1 1 З ан ят и е 4 П оз и ти вн ая 2 2 2 1 1 1 9 З ан ят и е 4, в се го 2 2 2 1 1 1 9 Д ен ь 5, в се го 5 3 1 3 2 1 1 1 1 18 И Т О ГО 16 30 1 2 14 5 2 10 19 2 8 5 3 3 7 2 5 3 1 13 8 44 Кодировка тем7 A1 Общее замечание Курс или модуль B1 Содержание модуля/курса Актуальный/полезный/практический B2 Содержание модуля/курса Хорошо организованный C1 Приобретенные знания или навыки Цели обучения достигнуты C2 Приобретенные знания или навыки Приобрел новые знания или навыки C3 Приобретенные знания или навыки Баланс теории и практики C4 Приобретенные знания или навыки Уровень обучения C4.1 Приобретенные знания или навыки Базовый C4.2 Приобретенные знания или навыки Продвинутый C5 Приобретенные знания или навыки Достаточная подготовленность к обучению C6 Приобретенные знания или навыки Распределение времени D1 Процесс обучения Высокопрофессиональный лектор/ведущий D2 Процесс обучения Весело/приятно D3 Процесс обучения Интересно/увлекательно/захватывающе D4 Процесс обучения Коллеги E1 Формы проведения занятий Лекция E2 Формы проведения занятий Слай ды E3 Формы проведения занятий Примеры E4 Формы проведения занятий Дискуссия E5 Формы проведения занятий Упражнения и практика E6 Формы проведения занятий Групповое задание F1 Администрация Оборудование для конференций F2 Администрация Организация конференций F3 Администрация Место проведения конференций 7 Темы F2 и F3 в комментариях не фигурировали. 45 Курс по углубленному изучению аспектов информации здравоохранения и данных научных исследований для формирования политики Приложение 6. Облако слов Рисунок 14. Облако слов, образованное в результате подсчета частотности различных слов в стенограммах интервью 46 Приложение 7. Ответы на вопросы форм оценки На диаграммах, представленных ниже, показано относительное количество оценок по шкале от 1 до 5, выставленных респондентами тем или иным аспектам курса. В серых кружках для удобства сравнения приводится средняя оценка. Общее мнение о курсе (21 респондент) % 4.95 4.90 4.86 4.71 4.71 4.81 4.81 4.90 4.90 4.86 4.86 4.86 4.81 1 - очень плохо/мало 2 - плохо 3 - средне 4 - хорошо/достаточно 5 - очень хорошо/много Как бы вы оценили этот учебный курс в целом? Как бы вы оценили лекторов? Как бы вы оценили презентации? Как бы вы оценили время, выделенное на весь учебный курс? В какой мере этот учебный курс позволил вам достичь ясного понимания информации здравоохранения и ее использования в качестве доказательной основы при формировании политики? В какой мере были удовлетворены ваши ожидания? В какой мере вы получили новую информацию и/или приобрели новые навыки в ходе данного учебного курса? Правильно ли было определено число участников данного учебного курса? Как бы вы оценили работу в группах/работу в формате группы экспертов и дискуссии? Общее распределение времени между упражнениями, практической работой и работой в группах? Как бы вы оценили условия для проведения занятий (помещение, оборудование и т.д.)? Как бы вы оценили административные/организационные аспекты (билеты, визы и т.д.)? Как бы вы оценили местные условия (отель, удобства, ресторан, транспорт, магазины)? 0 10 20 30 40 50 60 70 80 90 100 47 Курс по углубленному изучению аспектов информации здравоохранения и данных научных исследований для формирования политики День 1 (21 респондент) Занятие 1. Предыстория (Tina Dannemann Purnat) 4.81 4.76 4.81 4.71 4.67 4.67 4.86 4.70 4.81 % 0 10 20 30 40 50 60 70 80 90 100 Учебные цели были достигнуты Содержание было полезным Мы получили достаточно справочной документации Продолжительность модуля была такой, как нужно Я получил(а) новую информацию и/или новые навыки Я рекомендую повторить этот модуль Лектора (лекторов) Слайды, показанные в ходе лекции Форму и методику проведения занятия 1 - очень плохо/мало 2 - плохо 3 - средне 4 - хорошо/достаточно 5 - очень хорошо/много Занятие 2: Введение в тему электронного здравоохранения и представление Методического руководства ВОЗ/МСЭ по стратегии в области электронного здравоохранения – презентация (Clayton Hamilton) 4.81 4.62 4.71 4.33 4.43 4.29 4.76 4.57 4.67 % 0 10 20 30 40 50 60 70 80 90 100 Учебные цели были достигнуты Содержание было полезным Мы получили достаточно справочной документации Продолжительность модуля была такой, как нужно Я получил(а) новую информацию и/или новые навыки Я рекомендую повторить этот модуль Лектора (лекторов) Слайды, показанные в ходе лекции Форму и методику проведения занятия 1 - очень плохо/мало 2 - плохо 3 - средне 4 - хорошо/достаточно 5 - очень хорошо/много 48 Занятие 3. Разработка общего видения и плана действий в области электронного здравоохранения – презентация (Clayton Hamilton) 4.57 4.48 4.57 4.00 4.52 4.14 4.67 4.48 4.48 % 0 10 20 30 40 50 60 70 80 90 100 Учебные цели были достигнуты Содержание было полезным Мы получили достаточно справочной документации Продолжительность модуля была такой, как нужно Я получил(а) новую информацию и/или новые навыки Я рекомендую повторить этот модуль Лектора (лекторов) Слайды, показанные в ходе лекции Форму и методику проведения занятия 1 - очень плохо/мало 2 - плохо 3 - средне 4 - хорошо/достаточно 5 - очень хорошо/много Занятие 4. Групповое задание: разработка общего видения и плана действий в области электронного здравоохранения (Clayton Hamilton) 4.85 4.65 4.70 4.30 4.65 4.15 4.85 4.75 4.80 % 0 10 20 30 40 50 60 70 80 90 100 Учебные цели были достигнуты Содержание было полезным Мы получили достаточно справочной документации Продолжительность модуля была такой, как нужно Я получил(а) новую информацию и/или новые навыки Я рекомендую повторить этот модуль Лектора (лекторов) Слайды, показанные в ходе лекции Форму и методику проведения занятия 1 - очень плохо/мало 2 - плохо 3 - средне 4 - хорошо/достаточно 5 - очень хорошо/много 49 Курс по углубленному изучению аспектов информации здравоохранения и данных научных исследований для формирования политики Занятие 5. Разработка концептуальной системы мониторинга и оценки электронного здравоохранения – презентация (Clayton Hamilton) % 4.75 4.70 4.85 4.25 4.70 4.45 4.80 4.65 4.80 0 10 20 30 40 50 60 70 80 90 100 Учебные цели были достигнуты Содержание было полезным Мы получили достаточно справочной документации Продолжительность модуля была такой, как нужно Я получил(а) новую информацию и/или новые навыки Я рекомендую повторить этот модуль Лектора (лекторов) Слайды, показанные в ходе лекции Форму и методику проведения занятия 1 - очень плохо/мало 2 - плохо 3 - средне 4 - хорошо/достаточно 5 - очень хорошо/много Занятие 6. Групповое задание: разработка концептуальной системы мониторинга и оценки электронного здравоохранения (Clayton Hamilton) 4.65 4.70 4.70 4.25 4.65 4.45 4.80 4.75 4.80 % 0 10 20 30 40 50 60 70 80 90 100 Учебные цели были достигнуты Содержание было полезным Мы получили достаточно справочной документации Продолжительность модуля была такой, как нужно Я получил(а) новую информацию и/или новые навыки Я рекомендую повторить этот модуль Лектора (лекторов) Слайды, показанные в ходе лекции Форму и методику проведения занятия 1 - очень плохо/мало 2 - плохо 3 - средне 4 - хорошо/достаточно 5 - очень хорошо/много 50 Занятие 7. Примеры из практики: стратегии в области электронного здравоохранения на практике (Clayton Hamilton) 4.80 4.70 4.75 4.40 4.75 4.37 4.85 4.65 4.85 % 0 10 20 30 40 50 60 70 80 90 100 Учебные цели были достигнуты Содержание было полезным Мы получили достаточно справочной документации Продолжительность модуля была такой, как нужно Я получил(а) новую информацию и/или новые навыки Я рекомендую повторить этот модуль Лектора (лекторов) Слайды, показанные в ходе лекции Форму и методику проведения занятия 1 - очень плохо/мало 2 - плохо 3 - средне 4 - хорошо/достаточно 5 - очень хорошо/много Занятие 8. Групповое задание: создание национальной структуры стратегического руководства в интересах развития электронного здравоохранения (Clayton Hamilton) 4.55 4.60 4.60 4.30 4.50 4.50 4.80 4.65 4.75 % 0 10 20 30 40 50 60 70 80 90 100 Учебные цели были достигнуты Содержание было полезным Мы получили достаточно справочной документации Продолжительность модуля была такой, как нужно Я получил(а) новую информацию и/или новые навыки Я рекомендую повторить этот модуль Лектора (лекторов) Слайды, показанные в ходе лекции Форму и методику проведения занятия 1 - очень плохо/мало 2 - плохо 3 - средне 4 - хорошо/достаточно 5 - очень хорошо/много 51 Курс по углубленному изучению аспектов информации здравоохранения и данных научных исследований для формирования политики День 2 (22 респондента) Занятие 1. Обзор источников данных – презентация (Neville Calleja) 4.86 4.82 4.77 4.68 4.41 4.50 4.86 4.77 4.73 % 0 10 20 30 40 50 60 70 80 90 100 Учебные цели были достигнуты Содержание было полезным Мы получили достаточно справочной документации Продолжительность модуля была такой, как нужно Я получил(а) новую информацию и/или новые навыки Я рекомендую повторить этот модуль Лектора (лекторов) Слайды, показанные в ходе лекции Форму и методику проведения занятия 1 - очень плохо/мало 2 - плохо 3 - средне 4 - хорошо/достаточно 5 - очень хорошо/много Занятие 2. Обсуждение трудностей, возникающих в практической работе – групповое задание (Neville Calleja) 4.77 4.77 4.77 4.73 4.82 4.64 4.86 4.75 4.77 % 0 10 20 30 40 50 60 70 80 90 100 Учебные цели были достигнуты Содержание было полезным Мы получили достаточно справочной документации Продолжительность модуля была такой, как нужно Я получил(а) новую информацию и/или новые навыки Я рекомендую повторить этот модуль Лектора (лекторов) Слайды, показанные в ходе лекции Форму и методику проведения занятия 1 - очень плохо/мало 2 - плохо 3 - средне 4 - хорошо/достаточно 5 - очень хорошо/много 52 Занятие 3. Обсуждение трудностей, возникающих в практической работе, – групповое задание (Neville Calleja) 4.67 4.62 4.62 4.67 4.62 4.52 4.75 4.65 4.71 % 0 10 20 30 40 50 60 70 80 90 100 Учебные цели были достигнуты Содержание было полезным Мы получили достаточно справочной документации Продолжительность модуля была такой, как нужно Я получил(а) новую информацию и/или новые навыки Я рекомендую повторить этот модуль Лектора (лекторов) Слайды, показанные в ходе лекции Форму и методику проведения занятия 1 - очень плохо/мало 2 - плохо 3 - средне 4 - хорошо/достаточно 5 - очень хорошо/много Занятие 4. Обсуждение в группах примеров из практики участников – групповое задание (Neville Calleja) 4.67 4.71 4.67 4.62 4.57 4.52 4.76 4.63 4.67 % 0 10 20 30 40 50 60 70 80 90 100 Учебные цели были достигнуты Содержание было полезным Мы получили достаточно справочной документации Продолжительность модуля была такой, как нужно Я получил(а) новую информацию и/или новые навыки Я рекомендую повторить этот модуль Лектора (лекторов) Слайды, показанные в ходе лекции Форму и методику проведения занятия 1 - очень плохо/мало 2 - плохо 3 - средне 4 - хорошо/достаточно 5 - очень хорошо/много 53 Курс по углубленному изучению аспектов информации здравоохранения и данных научных исследований для формирования политики День 3 (19 респондентов) Занятие 1. Роль ВОЗ в поощрении использования данных научных исследований при формировании политики: главная задача, концепции и инструменты (Tanja Kuchenmüller) 4.85 4.79 4.79 4.79 4.79 4.79 4.84 4.79 4.79 % 0 10 20 30 40 50 60 70 80 90 100 Учебные цели были достигнуты Содержание было полезным Мы получили достаточно справочной документации Продолжительность модуля была такой, как нужно Я получил(а) новую информацию и/или новые навыки Я рекомендую повторить этот модуль Лектора (лекторов) Слайды, показанные в ходе лекции Форму и методику проведения занятия 1 - очень плохо/мало 2 - плохо 3 - средне 4 - хорошо/достаточно 5 - очень хорошо/много Занятие 2. Упражнение 1: поиск систематизированных обзоров (Tanja Kuchenmüller) 4.80 4.80 4.80 4.80 4.55 4.79 4.80 4.80 4.80 % 0 10 20 30 40 50 60 70 80 90 100 Учебные цели были достигнуты Содержание было полезным Мы получили достаточно справочной документации Продолжительность модуля была такой, как нужно Я получил(а) новую информацию и/или новые навыки Я рекомендую повторить этот модуль Лектора (лекторов) Слайды, показанные в ходе лекции Форму и методику проведения занятия 1 - очень плохо/мало 2 - плохо 3 - средне 4 - хорошо/достаточно 5 - очень хорошо/много 54 Занятие 3. Определение контекста, целей и задач: темы, заинтересованные стороны и шаблон краткого обзора по заданной теме (Tanja Kuchenmüller) 4.80 4.75 4.80 4.80 4.90 4.80 4.80 4.80 4.80 % 0 10 20 30 40 50 60 70 80 90 100 Учебные цели были достигнуты Содержание было полезным Мы получили достаточно справочной документации Продолжительность модуля была такой, как нужно Я получил(а) новую информацию и/или новые навыки Я рекомендую повторить этот модуль Лектора (лекторов) Слайды, показанные в ходе лекции Форму и методику проведения занятия 1 - очень плохо/мало 2 - плохо 3 - средне 4 - хорошо/достаточно 5 - очень хорошо/много Занятие 4. Упражнение 2: написание кратких обзоров по заданной теме (Tanja Kuchenmüller) 4.85 4.80 4.75 4.75 4.80 4.84 4.80 4.80 4.80 % 0 10 20 30 40 50 60 70 80 90 100 Учебные цели были достигнуты Содержание было полезным Мы получили достаточно справочной документации Продолжительность модуля была такой, как нужно Я получил(а) новую информацию и/или новые навыки Я рекомендую повторить этот модуль Лектора (лекторов) Слайды, показанные в ходе лекции Форму и методику проведения занятия 1 - очень плохо/мало 2 - плохо 3 - средне 4 - хорошо/достаточно 5 - очень хорошо/много 55 Курс по углубленному изучению аспектов информации здравоохранения и данных научных исследований для формирования политики Занятие 5. Краткое представление написанных участниками обзоров по заданной теме во время «прохождения по галерее» (Tanja Kuchenmüller) 4.80 4.75 4.70 4.75 4.70 4.70 4.80 4.75 4.75 % 0 10 20 30 40 50 60 70 80 90 100 Учебные цели были достигнуты Содержание было полезным Мы получили достаточно справочной документации Продолжительность модуля была такой, как нужно Я получил(а) новую информацию и/или новые навыки Я рекомендую повторить этот модуль Лектора (лекторов) Слайды, показанные в ходе лекции Форму и методику проведения занятия 1 - очень плохо/мало 2 - плохо 3 - средне 4 - хорошо/достаточно 5 - очень хорошо/много Занятие 6. Итоги работы за день, включая уроки и выводы и дальнейшие шаги; в частности, как участники могли бы распространять краткий обзор и привлечь к нему внимание лиц, формирующих политику на центральном уровне (Tanja Kuchenmüller) 4.79 4.84 4.68 4.74 4.68 4.83 4.74 4.74 4.89 % 0 10 20 30 40 50 60 70 80 90 100 Учебные цели были достигнуты Содержание было полезным Мы получили достаточно справочной документации Продолжительность модуля была такой, как нужно Я получил(а) новую информацию и/или новые навыки Я рекомендую повторить этот модуль Лектора (лекторов) Слайды, показанные в ходе лекции Форму и методику проведения занятия 1 - очень плохо/мало 2 - плохо 3 - средне 4 - хорошо/достаточно 5 - очень хорошо/много 56 День 4 (20 респондентов) Занятие 1. Измерение благополучия и качества жизни: кто что делает и зачем? (Claudia Stein) 4.71 4.62 4.67 4.43 4.62 4.62 4.71 4.71 4.71 % 0 10 20 30 40 50 60 70 80 90 100 Учебные цели были достигнуты Содержание было полезным Мы получили достаточно справочной документации Продолжительность модуля была такой, как нужно Я получил(а) новую информацию и/или новые навыки Я рекомендую повторить этот модуль Лектора (лекторов) Слайды, показанные в ходе лекции Форму и методику проведения занятия 1 - очень плохо/мало 2 - плохо 3 - средне 4 - хорошо/достаточно 5 - очень хорошо/много Занятие 2. Измерение благополучия и качества жизни: кто что делает и зачем? Групповое задание (Claudia Stein) 4.75 4.70 4.75 4.50 4.65 4.75 4.90 4.80 4.80 % 0 10 20 30 40 50 60 70 80 90 100 Учебные цели были достигнуты Содержание было полезным Мы получили достаточно справочной документации Продолжительность модуля была такой, как нужно Я получил(а) новую информацию и/или новые навыки Я рекомендую повторить этот модуль Лектора (лекторов) Слайды, показанные в ходе лекции Форму и методику проведения занятия 1 - очень плохо/мало 2 - плохо 3 - средне 4 - хорошо/достаточно 5 - очень хорошо/много 57 Курс по углубленному изучению аспектов информации здравоохранения и данных научных исследований для формирования политики Занятие 3. Качественные и количественные аспекты благополучия – интерактивная презентация (Claudia Stein) % 0 10 20 30 40 50 60 70 80 90 100 4.62 4.62 4.57 4.24 4.57 4.52 4.67 4.57 4.71 Учебные цели были достигнуты Содержание было полезным Мы получили достаточно справочной документации Продолжительность модуля была такой, как нужно Я получил(а) новую информацию и/или новые навыки Я рекомендую повторить этот модуль Лектора (лекторов) Слайды, показанные в ходе лекции Форму и методику проведения занятия 1 - очень плохо/мало 2 - плохо 3 - средне 4 - хорошо/достаточно 5 - очень хорошо/много Занятие 4. Качественные и количественные аспекты благополучия – работа в группах (Claudia Stein) 4.76 4.71 4.71 4.38 4.57 4.62 4.71 4.62 4.67 % 0 10 20 30 40 50 60 70 80 90 100 Учебные цели были достигнуты Содержание было полезным Мы получили достаточно справочной документации Продолжительность модуля была такой, как нужно Я получил(а) новую информацию и/или новые навыки Я рекомендую повторить этот модуль Лектора (лекторов) Слайды, показанные в ходе лекции Форму и методику проведения занятия 1 - очень плохо/мало 2 - плохо 3 - средне 4 - хорошо/достаточно 5 - очень хорошо/много 58 Занятие 5. Выбор и интерпретация мер оценки благополучия – интерактивная презентация (Claudia Stein) 4.62 4.71 4.52 4.29 4.67 4.67 4.71 4.62 4.71 % 0 10 20 30 40 50 60 70 80 90 100 Учебные цели были достигнуты Содержание было полезным Мы получили достаточно справочной документации Продолжительность модуля была такой, как нужно Я получил(а) новую информацию и/или новые навыки Я рекомендую повторить этот модуль Лектора (лекторов) Слайды, показанные в ходе лекции Форму и методику проведения занятия 1 - очень плохо/мало 2 - плохо 3 - средне 4 - хорошо/достаточно 5 - очень хорошо/много Занятие 6. Групповое задание – выбор и интерпретация показателей благополучия в вашей стране (Claudia Stein) 4.70 4.60 4.65 4.40 4.70 4.65 4.70 4.65 4.60 0 10 20 30 40 50 60 70 80 90 100 Учебные цели были достигнуты Содержание было полезным Мы получили достаточно справочной документации Продолжительность модуля была такой, как нужно Я получил(а) новую информацию и/или новые навыки Я рекомендую повторить этот модуль Лектора (лекторов) Слайды, показанные в ходе лекции Форму и методику проведения занятия 1 - очень плохо/мало 2 - плохо 3 - средне 4 - хорошо/достаточно 5 - очень хорошо/много 59 Курс по углубленному изучению аспектов информации здравоохранения и данных научных исследований для формирования политики День 5 (19 респондентов) Занятие 1. Формирование ваших информационных сообщений (Claudia Stein) 4.84 4.89 4.84 4.79 4.84 4.74 4.84 4.79 4.79 % 0 10 20 30 40 50 60 70 80 90 100 Учебные цели были достигнуты Содержание было полезным Мы получили достаточно справочной документации Продолжительность модуля была такой, как нужно Я получил(а) новую информацию и/или новые навыки Я рекомендую повторить этот модуль Лектора (лекторов) Слайды, показанные в ходе лекции Форму и методику проведения занятия 1 - очень плохо/мало 2 - плохо 3 - средне 4 - хорошо/достаточно 5 - очень хорошо/много Занятие 2. Создание коммуникационных продуктов (Claudia Stein) 4.83 4.78 4.78 4.78 4.78 4.83 4.83 4.78 4.78 % 0 10 20 30 40 50 60 70 80 90 100 Учебные цели были достигнуты Содержание было полезным Мы получили достаточно справочной документации Продолжительность модуля была такой, как нужно Я получил(а) новую информацию и/или новые навыки Я рекомендую повторить этот модуль Лектора (лекторов) Слайды, показанные в ходе лекции Форму и методику проведения занятия 1 - очень плохо/мало 2 - плохо 3 - средне 4 - хорошо/достаточно 5 - очень хорошо/много 60 Занятие 3. Работа со средствами массовой информации (Claudia Stein) 4.84 4.84 4.84 4.79 4.84 4.79 4.84 4.79 4.79 % 0 10 20 30 40 50 60 70 80 90 100 Учебные цели были достигнуты Содержание было полезным Мы получили достаточно справочной документации Продолжительность модуля была такой, как нужно Я получил(а) новую информацию и/или новые навыки Я рекомендую повторить этот модуль Лектора (лекторов) Слайды, показанные в ходе лекции Форму и методику проведения занятия 1 - очень плохо/мало 2 - плохо 3 - средне 4 - хорошо/достаточно 5 - очень хорошо/много Занятие 4. Интервью (Claudia Stein) 4.84 4.84 4.79 4.79 4.84 4.84 4.84 4.84 4.84 % 0 10 20 30 40 50 60 70 80 90 100 Учебные цели были достигнуты Содержание было полезным Мы получили достаточно справочной документации Продолжительность модуля была такой, как нужно Я получил(а) новую информацию и/или новые навыки Я рекомендую повторить этот модуль Лектора (лекторов) Слайды, показанные в ходе лекции Форму и методику проведения занятия 1 - очень плохо/мало 2 - плохо 3 - средне 4 - хорошо/достаточно 5 - очень хорошо/много Европейское региональное бюро воз Всемирная организация здравоохранения (ВОЗ) – специализированное учреждение Организации Объединенных Наций, созданное в 1948 г., основная функция которого состоит в решении международных проблем здравоохранения и охраны здоровья населения. Европейское региональное бюро ВОЗ является одним из шести региональных бюро в различных частях земного шара, каждое из которых имеет свою собственную программу деятельности, направленную на решение конкретных проблем здравоохранения обслуживаемых ими стран. Государства-члены Австрия Азербайджан Албания Андорра Армения Беларусь Бельгия Болгария Босния и Герцеговина Бывшая югославская Республика Македония Венгрия Германия Греция Грузия Дания Израиль Ирландия Исландия Испания Италия Казахстан Кипр Кыргызстан Латвия Литва Люксембург Мальта Монако Нидерланды Норвегия Польша Португалия Республика Молдова Российская Федерация Румыния Сан-Марино Сербия Словакия Словения Соединенное Королевство Таджикистан Туркменистан Турция Узбекистан Украина Финляндия Франция Хорватия Черногория Чехия Швейцария Швеция Эстония оригинал: английский Номер документа: WHO/EURO:2017-3060-42818-59755 Всемирная организация здравоохранения Европейское региональное бюро UN City, Marmorvej 51, DK-2100 Copenhagen Ø, Denmark Тел: +45 45 33 70 00 Факс: +45 45 33 70 01 Эл. адрес: eucontact@who.int Веб-сайт: www.euro.who.int