Начальник отдела внутреннего аудита качества
|
Скачать 57.58 Kb.
|
| Начальник отдела внутреннего аудита качества Козлов С.А. Технология подготовки и проведения независимого мониторинга оценки качества учебного процесса. В Пермском филиале Государственного университета – Высшей школы экономики на протяжении нескольких лет используется технология проведения независимых мониторингов оценки качества учебного процесса. За это время технология была проверена множество раз, доработана с учётом выявленных недостатков и новых идей. Рассмотрим технические и организационные стороны этой технологии. 1. Подготовка тестовых материалов для мониторинга Мониторинг начинается с подготовки тестовых материалов. Эксперты предметных комиссий составляют тестовые материалы с учётом требований ЕГЭ, ИГА, ЕМТ, требований школьных программ и т.п. Ответственность за содержание тестовых материалов полностью лежит предметной комиссии. Однако, эту задачу можно значительно облегчить с помощью технических средств. Например, результаты предыдущих мониторингов показывают процент учеников, решивших то или иное задание, на основании чего эксперт может определить: стоит ли его использовать дальше, нужно ли его изменить или точнее определить место задания в тесте. Эксперты получают всю информацию по итогам мониторингов, что помогает корректировать их дальнейшую работу. Кроме подготовки содержания тестовых материалов, необходимо также представить их в необходимой форме. Задача оформления тестовых материалов является, в основном, рутинной операцией, и её выполнение многим экспертам доставляет множество хлопот. Более того, при ручном выполнении оформления могут возникать различные ошибки. В Пермском филиале ГУ – ВШЭ этот процесс автоматизирован. Это позволяет: значительно разгрузить экспертов, исключить некоторые простые ошибки (такие как повторяющиеся задания, ответы), быстро и безошибочно вносить исправления, представить тестовые материалы в единой, качественной форме. Экспертам нужно лишь предоставить тестовые задания в электронной форме. При проведении мониторингов с большим количеством участников остро встаёт проблема списывания. Использование только 1-2 вариантов тестов серьёзно снижает достоверность получаемых результатов – возможность списывания в таком случае очень высока. Есть техническое решение этой проблемы. Эксперты составляют несколько исходных вариантов тестов. Для простоты возьмём 2. Если эти варианты эквивалентны, то мы можем составить 3-ий вариант теста следующим образом: возьмём первое задание из варианта 1, второе – из варианта 2, третье – снова из варианта 1 и так далее. Аналогичным образом можно составить 4-ый вариант, начав брать задания со второго варианта. Изменяя порядок выборки заданий из вариантов 1 и 2 будут получаться всё новые варианты того же теста. Конечно, они будут состоять из тех же заданий, что и исходные варианты, но искать соответствие между заданиями станет уже значительно сложнее, возможность списывания снизится. Кроме того, в заданиях можно поменять порядок ответов, что также усложнит списывание. В итоге, из, например, четырёх исходных вариантов теста легко составить 15 эквивалентных вариантов. Другой стороной такого процесса генерации вариантов является невозможность узнать ответы до самого мониторинга: генерация происходит полностью автоматически, при этом правильные ответы не выдаются. После генерации распечатываются только сами тестовые материалы, которые не обязательно видеть даже экспертам, так как все задания взяты из исходных выверенных вариантов. Таким образом, никто не может получить правильные ответы раньше, чем будут отсканированы работы всех участников мониторинга. 2. Организация передачи материалов по пунктам проведения мониторинга и сбора заполненных бланков После подготовки тестовых материалов необходимо организовать получение материалов непосредственно участниками мониторинга. В случае проведения мониторинга в школах Университетского округа комплектуется отдельный конверт с материалами для каждого класса в школе. Заранее узнаются количество классов в школе, количество учеников в классе. В каждый конверт упаковываются инструкция по проведению тестирования для наблюдателя в аудитории, тексты тестов, бланки тестирования и специальные черновики в необходимом количестве с небольшим запасом на случай большего числа участников или порчи бланков. В случае проведения мониторинга в отдельном помещении заранее организовывается рассадка участников мониторинга по аудиториям, сформированные списки участников выдаются наблюдателям. В случае ответственного мероприятия организовывается процедура идентификации участников на входе в аудиторию. По окончании тестирования в обязательном порядке собираются бланки тестирования с отмеченными ответами участников мониторинга. Тексты тестов и черновики остаются у классного руководителя для исключения угадывания ответов, после этого раздаются ученикам для выполнения работы над ошибками. Конверты с заполненными бланками тестирования доставляются обратно для обработки. 3. Автоматический ввод ответов участников мониторинга Для ввода ответов участников используется специальный сканер с автоматическим податчиком документов. Разработанные формы бланков тестирования и специальная программа обработки позволяют обеспечить безошибочное считывание ответов участников мониторинга, при правильном заполнении бланков. В данный момент используются 2 типа бланков: бланк на 30 заданий и на 50 заданий. Используемая модель сканера обеспечивает скорость сканирования до 25 бланков в минуту, то есть 1500 бланков в час. Конечно, это время только непосредственного сканирования, кроме которого ещё необходимо вводить информацию о школе, классе, который сейчас сканируется. В итоге реальная скорость составляет приблизительно 900 бланков в час. Это позволило, например, в марте 2007 года ввести результаты мониторинга всех 11-х классов Университетского округа (1181 человек) чуть больше чем за час. То есть на следующий день после мониторинга результаты уже были представлены. Время получения результатов влияет на мотивацию обучающихся. Самый большой интерес к результату наблюдается непосредственно после окончания тестирования, поэтому при текущих тестированиях в Лицее №10 (при ПФ ГУ-ВШЭ) результаты вывешиваются в среднем через 20 минут. Конечно, в случае массового мониторинга такое время обработки достичь невозможно, тем не менее одного дня достаточно для обработки огромного количества бланков. Если же средний учащийся не получает результат контроля в течение длительного времени (более недели) он вовсе теряет интерес к этому испытанию, содержание контроля забывается, в итоге падает мотивация к изучению предмета в целом. 4. Обработка результатов тестирования После сканирования ответов всех учеников начинается процесс обработки. Важным моментом является оценивание получаемых результатов, то есть за сколько баллов ставится оценка "5", за сколько "4" и так далее. Этот процесс очень важен для самих учеников, так как именно оценка за тест, а не балл, будет ставится в журнал и будет влиять на четвертную оценку. Кроме того верное оценивание очень важно для мотивации обучаемых. Если "хорошист" получит заслуженную оценку "4" и при этом заядлый "троешник" так же получит "4", то это закрепит безответственное отношение "троешника", а кроме того подорвёт желание учиться "хорошиста". То есть ошибка в оценивании плоха как и в лучшую сторону, так и в худшую. Известно, что распределение оценок по тестированию должно подчиняться нормальному закону. Процесс выбора критерия легко поддаётся автоматизации. Баллы-границы оценок автоматически подбираются для получения нормального распределения в итоге. После определения разбалловки подготавливаются различные отчёты для каждого класса. Диаграмма по вопросам показывает, какой процент учеников верно решил каждое задание. На этой диаграмме хорошо видны "провалы", то есть задания, с которыми справилось меньше всего учащихся. На эти задания учителю следует обратить внимание в первую очередь. В списках учеников указаны их результаты, вариант, а также какие задания решены верно. Подробные результаты нужны для индивидуальной работы учащегося. На каждое задание в них указывается ответ ученика и верный ответ. Таким образом учащийся, имея на руках такой "анализ", свой черновик и текст теста, может самостоятельно разобраться с большинством своих проблем, или обратиться к учителю уже с конкретным вопросом. В случае проведения нескольких мониторингов в одном классе, составляется рейтинг класса. Рейтинг поддерживает здоровую конкуренцию между учениками класса, что повышает мотивацию к обучению. Проведение нескольких мониторингов позволяет также получить динамику развития учащегося по предмету, и точнее определить его индивидуальную образовательную траекторию. Таким образом, Пермский филиал ГУ – ВШЭ проводит эффективные мониторинги качества учебного процесса по разным предметам при сравнительно небольших затратах, за счёт максимального использования технических средств. |
Похожие:
 |
Аудитор/Старший аудитор Сектора мониторинга и планирования проверок... Аудитор Сектор планирования Отдела планирования и развития Управление внутреннего аудита |
 |
Пао «нпо «Алмаз» Протокол №33 от «19» мая 201 7 г. Утвержден ... |
|
Позиция увк(А)иоэд вопросы, возникающие при осуществлении Обзор проблемных вопросов, возникающих в деятельности отделов внутреннего контроля и внутреннего аудита территориальных органов Федерального... |
|
Типовая программа внутреннего аудита структур (институтов, управлений,... Какие документы системы менеджмента качества имеются и используются в структурном подразделении для обеспечения их деятельности? |
|
Вебинара: "Дидактические возможности системы учебно-методических... Вебинар проводят начальник методической службы, к п н, Баранов А. А., начальник отдела общественно-научных дисциплин, Почетный работник... |
|
Типовая программа внутреннего аудита владельцев процессов финансового... Определите место и статус курируемого процесса во взаимодействии процессов системы менеджмента качества университета? |
|
Пао «нпо «Алмаз» Протокол №23 от «05» мая 2016г. Утвержден годовым общим собранием акционеров ... |
|
Инструкция по заполнению базы индивидуальных данных Именно с целью оценки эффективности деятельности руководства структурными подразделениями с ноября 2003 г была развернута системы... |
|
Определения Международный стандарт аудита (мса) 450 «Оценка искажений, выявленных в ходе аудита» следует рассматривать вместе с мса 200 «Основные... |
|
Открытое акционерное общество И. о руководителя Службы аудита Систем качества ОАО «КамАЗ» – директора департамента качества |
|
Анкета участника запроса цен (Форма 2) 24 Начальник отдела информатики Начальник управления и информационных технологий по информатике и ит |
|
Начальник Начальник Отдела образования Заведующий государственного... Государственного бюджетного дошкольного образовательного учреждения детский сад №49 комбинированного вида Красносельского района... |
|
А. Н. Константинов «16» июня 2016 года Российской Федерации и иных нормативных правовых актов Российской Федерации в сфере закупок и Бюджетного кодекса за период с 01.... |
|
За период с 01. 01. 2015 г по 30. 09. 2016 г Челябинская область, Еткульский район, с. Селезян, ул. Мира, д. 38 проведена проверка формирования и исполнения муниципального задания... |
|
Инструкция по расчету объема учебной работы профессорско-преподавательского... М. С. Кадацкая, начальник управления образования; А. М. Ефимова, начальник учебно-инженерного отдела |
|
За период с 01. 01. 2016 г по 31. 12. 2016 г Российской Федерации и иных нормативных правовых актов Российской Федерации в сфере закупок и Бюджетного кодекса за период с 01.... |