Международная программа по оценке образовательных достижений учащихся (Programme for International Student Assessment, PISA 2015)
ПРОЕКТ РАМКИ (СТРУКТУРЫ) СОВМЕСТНОГО РЕШЕНИЯ ЗАДАЧ
МАРТ
Стр. 6-8 ОПРЕДЕЛЕНИЕ ОБЛАСТИ(домена)
Командное решение задач
17.Рамка оценки Международной Программы по Оценке Образовательных Достижений Учащихся 2003 года (МПООДУ): Математика, Чтение, Наука и умение и навыки решения задач (ОЭСР, 2003) дает следующее определение компетенциям решения задач:
… способности индивидуума использовать когнитивные процессы, чтобы противостоять и разрешать реальные, междисциплинарные ситуации, где алгоритм решение не очевиден и где предметные области или учебные области, которые могут быть применимы находятся за пределами единственной предметной области математики, науки или чтения.
18. Проект рамки для области Решения Задач в МПООДУ 2012 (ОЭСР, 2010) в основном повторяет определение 2003 года, но добавляет эффективный элемент:
Компетенция решения задач – это способность индивидуума включаться в процесс когнитивной обработки, чтобы понимать и решать проблемные ситуации, где алгоритм решения не очевиден. Она включает готовность разрешать подобные ситуации, чтобы раскрыть свой потенциал как творческого и мыслящего гражданина.
19. В определении области Командного Решения задач для МПООДУ 2015 командный аспект - очевидно, самое существенное дополнение к предыдущим версиям определений области решения задач в МПООДУ. В определении области 2015 года акцент смещается в сторонукомандного аспекта. Оно определяет главные элементы области и их взаимосвязь.
20. С целью оценки, определение компетенции Командного Решения задач для МПООДУ 2015 ясно сформулировано в рамке 1.
Рамка 1. Определение командного решения задач для МПООДУ 2015
|
Компетенция командного решения задач - способность индивидуума эффективно участвовать в процессе, где два или более агента пытаются решить задачу, обмениваясь пониманием и усилиями, требуемыми для принятия решения, и объединяя свои знания, навыки и усилия для его достижения.
|
21. Компетенция командного решения задач для МПООДУ 2015 - это совместное измерение навыков командной работы и навыков, необходимых для решения задач (т.е., референциальные навыки решения задач), в то время как командный аспект является ведущим звеном.
22. Следующие примечания предлагаются, чтобы разъяснить значение и использование составных элементов определения, данного выше.
Способность индивидуума …
23. Навыки командной работы можно оценить в индивидууме, группе или на уровне организации (Campbell, 1968; Dillenbourg, 1999; Fioreetal., 2010; Stahl, 2006). Преимущество работы в команде состоит в том, что суммарный результат команды в решении задачи может быть больше, чем сумма результатов от отдельных участников (Aronson&Patnoe, 1997; Dillenbourg, 1999; Schwartz, 1995) и индивидуальный уровень участников на прямую не характеризует, как команда в целом достигает определенных результатов, отличных от результатов отдельных участников. Все же, для того, чтобы оценить МПООДУ, внимание сосредоточено на личных качествах индивидуума в пределах командных ситуаций. Эффективность командного решения задач зависит от способности ее членов к сотрудничеству и ставит успех команды выше индивидуального успехаее участников. В то же время эта способность – черта, присущая каждому из отдельных членов команды.
… эффективно участвовать в процессе …
24. Командное решение задач включает процесс когнитивной обработки у индивидуума, которая затрагивает и когнитивные и социальные навыки. Существуют отдельные процессы решения задач, также, как и коммуникационные процессы, которые взаимодействуют с когнитивными системами других участников команды. Например, команда должна не только найти правильное решение, но должна также прийти к соглашению, что это решение - правильное. Как сказано позднее в этом документе, оценка будет акцентироваться на когнитивных и социальных навыках, связанных с командным (коллективным) решением задач, чтобы установить и поддержать взаимопонимание, предпринять требуемые меры, чтобы решить задачи, и организовать и сохранитькоманду.
25. Когнитивные процессы, вовлеченные в командное решение задач (КРЗ), являются внутренними для человека, но они также проявляются при взаимодействии с задачей и с другими членами команды. Таким образом,о когнитивных процессах можно судить по действиям, выполненным индивидуумом, общению с другими, промежуточным и конечными результатами заданий, выполненных для решения задач и открытым отзывам (рефлексия) о представлении и действиях по решению задачи. Эти меры могут иллюстрироваться на примерах изучения стратегий исследования и принятия решений, по виду и качеству создаваемого общения, исследований знаний и представления задачи, и индикаторов мнений об идивидууме других членов группы. Другими словами, измерение командных навыков решения задач не является только задачей, сопоставимой с измерением отдельных навыков, но также и прекрасной возможностью увидеть познавательные процессы, в которые вовлечены членыкоманды.
…, где два или более агента …
26. Работа в команде (сотрудничество) требует взаимодействий между двумя или более агентами. Слово 'агент' относится к индивидууму или к моделируемому компьютером участнику. В обоих случаях у агента есть способность ставить цели, выполнять действия, передавать сообщения, отвечать на сообщения от других участников, чувствовать свое окружение, адаптироваться к изменяющимся условиям и обучаться (Franklin&Graesser, 1996). Успешность навыков КРЗ можно наблюдать как на индивидуальном уровне, так и на уровне команды. Даже когда наблюдения направлены на индивидуальный (личностный) уровень, они обращаются к действиям индивидуума, и общению, предпринятому для того, чтобы поделиться мнением или общей целью по крайней мере с одним агентом для того, чтобы осуществить работу в команде (сотрудничество). Таким образом, определение устанавливает требование наличия минимум двух агентов.
… пытаются решить задачу …
27. Измеряются прежде всего командные действия, в которых участвуют студенты, пытаясь немедленно решить задачу, а не исключительно неправильность решения. Основная концепция ставит на первое место процессы командной рабты (сотрудничества), а не решения задач.
… обмениваясь пониманием и усилиями, требуемыми для принятия решения...
28. Работа в команде осуществима только в том случае, если члены команды борются за создание и поддержку общего понимания задания и его решений. Общее понимание достигается путем построения точек соприкосновения (Clark, 1996; Clark&Brennan, 1991; Fiore&Schooler, 2004) посредством общения и взаимодействия, такого как создание общего представления значимости задачи, понимая значение каждого индивидуума, способностей и перспектив членов команды, взаимное отслеживание передачи информации и обратной связи среди членов группы и взаимного мониторинга продвижения к принятию решения.
и объединяя свои знания, навыки и усилия для его достижения.
29. Работа в команде требует, чтобы каждый индивидуум установил, как его собственные знания и навыки могут способствовать решению задачи, а также определить и оценить знания и навыки, которые может внести другой участник(и). В дополнение к определению уровня привнесенного знания и навыков в пределах команды, существуют потенциальные различия в мнениях, разногласия/конфликты между ее членами, ошибки, совершенные членами команды, нуждающиеся в исправлении и другие проблемы в задаче, которые требуют когнитивного усилия для того, чтобы с ними справиться. Это дополнительное усилие по объяснению, защите, доказательству и пере- формулировке - фактор, который может объяснить, почему команды иногда добиваются большего или более эффективны, чем индивидуумы в одиночку: они должны четко выражать свое мнение, интерпретации и предложения, что требует от них более глубокой проработки доступной информации, чтобы сравнить больше доступных решений и узнать слабые места каждого решения. Если индивидуум не прикладывает никаких усилий, то он не сотрудничает. Он не затрачивает плодотворных (эффективных) усилий, если он не откликается на просьбы или не реагирует на события, и не предпринимает действий, которые помогут продвинуться к цели.
Стр. 31 -77 весь фрагмент (резюме и примеры)
РЕЗЮМЕ
109. Командное решение задач включено в впервые в 2015 году. Определение 2015 года, описанное здесь, основывалось на проблеме оценки Решения задач 2012 года, которая впоследствии расширилось до области командных решений, включив в себя теоретические базы индивидуального (личностного) и командного познания. Четыре процесса в структуре Решения Задач (РЗ) 2012 года сохранили и добавили к трем основным компетенциям, определенным для командного (коллективного) решения задач, чтобы создать матрицу навыков КРЗ. Каждый из этих навыков определяется уровнями знаний (умений), которые могут быть измерены при помощи инструментов оценки.
110. Определение МПООДУ 2015 года для КРЗ компетенций берет свое начало в рассмотрении видов задач и командных (коллективных) взаимодействий, с которыми сталкиваются 15-летние студенты в классе и за его пределами, а также в размышлениях об их “готовности к жизни” на рабочем месте и в последующем обучении. Способность каждого участника команды к общению, управлению конфликтом, организации группы, умение прийти к согласию и управлять прогрессом, крайне важна для ее успеха, и измерение этих навыков лежит в основе трех компетенций, которые сформируют информационную шкалу для оценки.
111. В этой рамке на 2015 описаны и иллюстрированы командные (коллективные) компетенции и навыки решения задач, которые будут оценены в МПООДУ 2015, знание и характеристики студентов, которые являются фактором оценки, также, как и контексты (среда), состав командыи тип задачи, которые сформируют инструмент оценки на базе компьютерных технологий (см. рисунок 1). Рамка также объяснила рациональность использования компьютерных агентов чтобы начать измерять навыки работы в командеу студентов. Это должно дать возможность внедрить способы измерения профессионального уровня (мастерства) для того, чтобы измерить работу студентов в рамках трех компетенций КРЗ в рамках цикла 2015 года.
ПРИЛОЖЕНИЕ A. ИССЛЕДОВАНИЯ ДИАЛОГОВЫХАГЕНТОВ
112. Существует широкий спектр компьютерных агентов, которые применяются в заданиях, которые включают обучение, обучение в работе в команде, командное построение знаний и командное решение задач. (См. ниже Таблицу 8 в качестве примера оперативно внедренных систем). Эти агенты обеспечивают различные методы, которые потенциально могут быть внедрены в оценку КРЗ. С одной стороны, диалоговые агенты в виртуальной среде полностью воплощаются, с возможностью распознавания речи, внедренные в серьезную игру (например, Тактическая Система Языка и Культуры, JohnsonandValente, 2008). Хотя это могло бы выступить в роли мотивации для 15-летних студентов, внедрение этой технологии в разных странах может быть затратным и непрактичным.
113. Менее дорогостоящее решение – это анимированные диалоговые агенты, которые выражаются при помощи речи, мимики, жестов, поз и/или другими воплощенными действиями. Такие системы были разработаны и ни раз опробованы в учебной среде за последние 20 лет , таких как Авто-Учитель (Graesser, Jeon и Dufty, 2008; VanLehn и др., 2007), Разум Бетти (Biswas, Schwartz, Leelawong&Vye, 2005), Операция АРЭС (Millis и др., в прессе), и АйСтарт (Макнамара и др., 2007). Хотя эти системы оказались успешными и способствовали обучению в основной массе эмпирических исследований, для того, чтобы внедрять и в МПООДУ 2015, необходимо решить проблемы в области технологий, затрат и культурных различиях в языке и дискурсе. Например, в разных странах существуют своиособенности в языке, речи, стиле общения, одежде, манере поведения, выражении лица, жестах, и так далее.
114. Минималистский подход к оценке, с использованием агентов обеспечивает по большей части тот же вид контроля, как и подходы, с использованием более интерактивных агентов, в то же самое время избегая некоторых вышеупомянутых осложнений. Минималистские агенты могут состоять из печатных сообщений в окнах на дисплее компьютера, таких как электронные письма, беседы, отображающиеся в окнах чата, помимо иконок и документов в различных социальных сетях СМИ (Rouet, 2006). Некоторые из этих форм, базирующихся на агенте в социальных сетях СМИ, были уже внедрены в Международное исследование компетенций взрослых(ProgrammefortheInternationalAssessmentofAdultCompetencies- МИКВ) (ОЭСР, 2009). Речевой аспект не предусмотрен, в связи с большим количеством диалектов. Могут бы быть статические визуальные изображения агентов, которые посылают сообщения, что поможет избежать напряжения в вопросе “кто это?”, когда существует множество агентов с разнообразными функциями. Однако такой подход может минимизировать необходимость гендерного описания, этнической принадлежности и других визуальных особенностей агентов, которые ведут к культурным осложнениям и ошибкам в измерениях.
115. Немаловажным фактором является то, что индивидуум должен видеть, когда агент вступает с ним в в контакт – в присущей человеку манере, когда он получает право голоса и его слушают. Этого можно добиться с помощью минималистского агента и динамичной подцветки сообщений и окон, мерцанием и сопровождением сообщений звуковым сигналом (Mayer, 2010).
116. Компьютерные агенты могут общаться через множество каналов. Самый простой интерфейс включает студента, который кликает на кнопку выбора в меню дополнительных речевых актов, в котором есть ограниченное число вариантов (2 - 7). К другим возможностям относятся открытые ответы, которые варьируются от набора (или произнесения) отдельного слова до целых предложений и больших эссе. Самое простое, и эффективное, кликнуть по интерфейсу, который обеспечивает онлайн поддержку условного перехода к другой системе и форме диалога, в зависимости от опций, которые выбирает человек.
117. Открытые ответы предложений или эссе могут быть включены в пункты КРЗ для последующей оценки при помощи экспертных маркеров человека; однако, онлайн оценка все еще нецелесообразна, поскольку достижения в компьютерной лингвистике (Jurafsky&Martin, 2008) и классификации эссе (Landauer, Laham, &Foltz, 2003; Shermis, Burstein, Higgins, &Zechner, 2010), незначительны или не существуют для некоторых языков. Тем не менее, было бы разумно собрать такие открытые ответы для оценки в процентном соотношении, чтобы помочь в продвижении научных исследований в области автоматизированного языкового диалога для будущих поколений. Промежуточное решение - полуструктурированныеинтерфейсы, когда система предлагает “начало предложения”, и затем студент закончивает предложение (например, Soller&Lesgold, 2009). Компьютерные агенты могут исполнять различные роли (Baylor&Kim, 2005; Biswas и др., 2005; Millis и др., в прессе). Например, студент мог бы взять на себя управленческую роль среднего уровня и общаться с агентом-руководителем и агентом-подчиненным. Компьютерный агент мог бы быть сверстником с равным статусом агенту, в зависимости от способа, которым агент представлен в теме в начале текста.
118. Число компьютерных агентов может варьироваться от одного партнера в паре, до двух агентов в триаде, до трех или больше агентов в более многочисленных группах. Количество конфигураций агента неограниченны. У триад (студент и два агента) есть преимущества, потому что число агентов маленькое (минимальное затруднение в выполнении роли агента), но допускает наличие увлекательных сложностей при социальном взаимодействии, таких, как различия в статусе, споры между агентами, ремарки или действия, которые имеют значение для хорошо осведомленного (компетентного) человека (Millis и др., в прессе; Wiley&Jensen, 2007). Их можно использовать, чтобы измерить социальное соответствие, например, согласится ли студент с правильностью выбранного двумя агентами решения, если у человеческого субъекта есть доказательства , что оно неправильное.
119. Основанный на использовании агента подход дает возможность оценить компетенции людей. Предложенный минималистский подход к присутствию агентов сопоставим с заданиями, разработанными для МИКВ (2010) для оценки Решения задач в высоко технологичной среде. В то время как внимание МИКВ направлено больше на взаимодействие с технологией, а не сотрудничество, подход с использованием пользовательского интерфейса не на много отличается. Человек будет получать электронные письма от разных людей в дополнение к работе с электронными таблицами и поиском с паутинной структурой. Часто в современных средствах коммуникации СМИ (например, электронная почта, чаты, блоги, форумы) люди получают сообщения от людей, которых они не видят и даже с ними не знакомы (Национальный исследовательский совет, 2011). Подростки - активные пользователи социальных сетей 21-го века, таким образом, эти интерфейсы обладают высокой экологической значимостью. Компании также все более активно вовлекаются в установленную естественную коммуникацию. Искусственные агенты встречаются повсюду в современном мире и, вероятно, станут еще более распространенными в будущем.
120. Следующая таблица - резюме исследований с диалоговыми агентами в заданиях, которые включают обучение, обучение в команде, совместное конструирование знаний и совместное решение задач. Инновационные системы оценки с использованием агентов разрабатываются в Пирсоне, Службе Общеобразовательной Подготовки и других организациях, специализирующихся на оценке (например, Forsythetal, 2012).
ПРИЛОЖЕНИЕ B. ОБЗОР ЛИТЕРАТУРНЫ ПО КРЗ
121. Командное решение задач исследуется в общественных науках в течение нескольких десятилетий, что привело к появлению множества теоретических рамок, моделей и парадигм эмпирических исследований. Привнесенные вклады охватывают области коммуникации, групповые и индивидуальные области решения задач, командная работа с использованием компьютерных технологий, и оценка работы команды. В Приложении B приведен обзор и схема исследований из многих областей, которые значимы для разработки решений для оценки КРЗ. Много исследований сконцентрированы на определенных компонентах командного решения задач, но немногие были проверены на разнообразных слоях обучающихся. Кроме того, большинство исследований сосредоточились на бизнесе, военной тематике или студентах колледжа (Loughry, Ohland, &Moore, 2007; Morgeson, Reider, &Campion, 2005; Чжуан, 2008). Тем не менее, многие модели, исследования и рамки можно применить к 15-летним обучающимся МПООДУ.
Существующие рамки и модели для навыков командной работы
122. Было рассмотрено множество существующих моделей и рамок, чтобы осмыслять ключевые процессы, вовлеченные в КРЗ. Осмысление (концептуализация) навыков командной работы отличаются от модели к модели, но есть много совпадений и некоторая совместимость. Например, количество выделяемых разнообразных навыков, связанных с командной (совместной) работой и с решением задач. Некоторые из этих моделей сформировали основу для разработки определений трех основных компетенций, принятых в рамке МПООДУ 2015, а именно:
Установление и поддержание общего понимания;
Принятие соответствующих мер (действий), чтобы решить задачу;
Установление и поддержание организации команды.
123. Эти три основных компетенции включают основные процессы, взятые из теоретических рамок в литературе, процитированной ниже. Кроме того, они соответствуют навыкам, которые важны для студентов, попадающих в академическую и производственную среду, и они поддерживают дополнительное ограничение, что их можно измерить при помощи оценки МПООДУ2015 года.
124. Рамка ATC21S для совместного решения задач (Griffinetal., 2011) рассматривает КРЗ как многомерное умение, которое включает как социальные или навыки командной работы, так и когнитивные навыки. КРЗ подразумевает наличие пяти широких навыков.
125. Социальные навыки включают:
|
