Практический интеллект
|
Скачать 4.28 Mb.
|
| перспективный применяется для обозначения подмножества неявных знаний, наиболее способствующих получению результата, и тех из них, которые предполагается использовать при составлении вопросов для тестирования. Взятые вместе, они служат валидизации оценки неявных знаний респондентов, имеющих отношение к данной области деятельности. Эта последовательность шагов выработана в результате проведения различных исследовательских проектов и применима для идентификации и измерения неявных знаний в любой области деятельности. Мы изложим содержание каждой стадии этого процесса: от идентификации примеров неявных знаний до создания окончательного варианта опросника. Разработка опросника неявных знаний -J23 Идентификация знаний Как показано на рис. 2, мы, как правило, начинаем с литературы, относящейся к определенной служебной области (например, справочники о продажах, армейские профессиональные публикации), чтобы определить начальный уровень неявных знаний, обусловленный опытом, для соответствующей профессии (например, продавец или офицер армии). Эти обзоры литературы дают полезную информацию для составления опросника по неявным знаниям и помогают составить начальное представление о системе организации знаний, или структуре категорий. Например, исследуя деятельность менеджеров, Вагнер и Стернберг (Wagner & Sternberg, 1986) предложили структуру практического интеллектуального поведения, которая включала неявные знания о том, как управлять собой, людьми и как делать карьеру. Обычно обзор литературы не предоставляет существенное число примеров, на основе которых можно выработать критерий оценки или которые содержали бы достаточное количество деталей, благодаря которым можно определить неявные знания в том виде, как это представляется нам. Мы обнаружили, что практические советы, содержащиеся в профессиональной литературе, часто оторваны от контекста и являются преобразованными в семантические знания. Нам также представляется, что в издаваемой профессиональной литературе умалчивают некоторые неявные знания, например противоречащие принятой теории. Таким образом, следующий этап — это опросы тех, кто уже какое-то время с успехом работает в данной области. Интервью с ними позволяют накопить огромный объем информации, на основе которой можно разрабатывать опросник по неявным знаниям. Опишем метод для проведения таких интервью. Метод извлечения неявных знаний. Отбирая участников интервью, нужно определить, кто мог бы послужить эталоном, обладателем несомненных неявных знаний. Мы искали людей, которые имеют опыт работы в конкретной области и добились в ней успеха. Индивиды, добившиеся больших достижений, очевидно, обладают более ценными неявными знаниями, чем другие. Более того, люди, занятые в практической области интересующей нас сферы, имеют больше неявных знаний, чем занимающие другие должности (например, руководители) или ранее бывшие на других постах. Вполне возможно, что эти индивиды оценивают иные знания, которые оказываются существенными в рамках совершенно других перспектив. Как только будет определен резерв практикующих специалистов, устанавливаются эксперты в заданной области. Это происходит формальным образом (на основе мнений коллег или руководителей) или путем отбора по критериям их деятельности (таким, как профессиональный рост, зарплата). Стернберг и его коллеги (Hedlund et al., 1999; Sternberg et al., 1993; Sternberg et al., 1995; Wagner, 1987) интервьюировали университетских психологов. Критерием их успешной работы являлись занимаемые ими в течение длительного времени должности и членство в научных организациях (например, профессора Йельского университета). Кроме того, опрашивали бизнес-менеджеров, определив тех, кто достиг успеха на основе занимаемого ими положения в компании. Когда речь шла о продавцах, их уровень оценивался по результатам деятельности в области продаж. Успешно 124 Глава 7. Измерение неявных знаний обучающихся студентов колледжа отбирали, обращая внимание на их оценки и различные школьные достижения. Добившихся успеха офицеров определяли по званиям и должностям. Всех этих экспертов просили указать, что является важным для достижения заметного положения в их области, и предложить типичные ситуации, связанные с их деятельностью, а также возможные реакции на эти ситуации, показывающие их уровень неявных знаний. В последующих исследованиях мы уточнили структуру интервью, благодаря чему участники обеспечены более подробными инструкциями о том, какого плана знания мы пытаемся установить, и о том, что необходимо отметить самые неочевидные реакции. Мы опирались на интервью, которые проводили «команды», состоящие из двух людей; один из них являлся главным интервьюером, а другой фиксировал уточняющую информацию и замечания. Первый проводил интервью, а второй член команды делал записи, просил пояснить ситуации, задавал уточняющие вопросы. Когда это было возможно, интервью с согласия опрашиваемых записывали на пленку, поэтому возникали дополнительные вопросы и нужно было сделать ряд уточнений, когда интервью завершилось. Также важно, чтобы один из интервьюеров был хотя бы немного осведомлен в конкретной области, чтобы понимать технический язык или профессиональный жаргон того, с кем проводится интервью. Ниже мы предлагаем протокол для проведения интервью. В нем использованы конкретные примеры, полученные нами в работе с офицерами армии, для иллюстрации последовательности шагов. 1. Введение. Когда собираются участники интервью, члены команды, проводящей опрос, представляются и предлагают в качестве стандартного введения рассказ об исследованиях и о предстоящем интервью. Во введении нужно сообщить о назначении исследования, чтобы устранить возможность недопонимания и настроить участников на тему интервью. Например: Мы стремимся определить те ключевые уроки, которые извлекают руководители из своего опыта работы. Если эти уроки можно идентифицировать, попытаемся найти пути их применения, чтобы способствовать развитию навыков лидера. Это не оценка вас как руководителя. Это не сравнение руководителей вашей организации с руководителями другой организации. Мы хотим найти характерные примеры неформальных знаний о руководстве на вашем уровне. Мы стремимся отыскать те детали из сферы руководства, о которых не пишут в книгах и которым не обучают в школе. Мы считаем, что эти знания чаще всего не обсуждаются, но, тем не менее, они применяются руководителями, как только возникает служебная потребность в них. Эти знания вы могли получить, когда вам пришлось столкнуться с той или иной проблемой. Вы также могли их получить, следя за успехом или неудачей принятого кем-либо решения. Нас не интересует частный образ действий или личная вера. Нас также не интересуют чисто технические детали, которым вы научились опытным путем, например как настраивать двигатель. Нам интересны только те проблемы, с которыми вы имели дело, и те выводы относительно руководства на вашем уровне, к которым вы пришли в результате этого опыта. Разработка опросника неявных знаний "J25 2. Выработка требований к рассказам. Целью интервью является извлечение из опыта респондентов подходящих историй и случаев и исследование словесно невыраженных практических знаний, которые были получены или отражены в этих случаях. Мы обращаемся к участникам интервью с просьбой, например, такой: «Расскажите нам историю из вашего опыта руководства, которая вас чему-либо научила». Цель — сфокусировать внимание опрашиваемого именно на случаях, а не на теориях или общих заявлениях об эффективной деятельности. Так, ответы респондентов оказываются более тесно взаимосвязанными с конструктом неявных знаний (т. е. со знаниями, основанными на личном практическом опыте). Поскольку смысл припоминаемых случаев не всегда ясен, мы обращаемся за помощью к самим рассказчикам и просим их рассказать об ощущениях, испытанных ими в сообщенной истории, и определить, какой именно урок они из нее извлекли. 3. Дополнительные вопросы. Они помогают сосредоточить внимание опрашиваемого на ключевых контекстуальных моментах в его рассказе (например, «расскажите нам более обстоятельно о психологическом климате в вашем подразделении»); цели и альтернативной линии поведения (например, «что именно вы намеревались сделать?», «что еще вы учитывали в своих действиях?»). Вопросы также могут касаться определения практических знаний широкой сферы применения (например, полученных уроков), выявленных в конкретной истории, описывающей приобретенный опыт (например, «чему вы научились на этом опыте?» и «как он повлиял на ваши подходы к руководству?»). Как только становится понятным, что никакой полезной информации из истории извлечь больше нельзя, интервьюер может попросить респондента рассказать другую историю из его личного опыта работы. По завершении каждого интервью член исследовательской команды, делающий пометки, резюмирует интервью. Такая сжатая версия должна содержать следующую информацию: данные об участнике (т. е. его должность, период работы, раса, пол), резюме предложенной им истории, аннотацию каждой истории, основанную на дополнительных вопросах, и некоторые комментарии интервьюера. Будет полезно, если составляющий эту сжатую версию предложит человеку, проводившему опрос, просмотреть ее. Это исключит разночтения в деталях интерпретации интервью. Идентификация неявных знаний не заканчивается на этапе составления резюме. Даже если участники опроса знают, с какой целью проводится интервью, не все истории, приведенные ими, являются примерами получения неявных знаний. Таким образом, резюме предлагаются на рассмотрение экспертам в данной области, которые знакомы и с конкретной областью деятельности, и с конструктом неявных знаний. Этих экспертов просят дать заключение, являются ли представленные в кратком изложении знания, которые тесно связаны с деятельностью, важными для достижения индивидом его целей. Их также просят дать заключение, получены ли эти знания благодаря посторонней поддержке и связаны ли они с изучаемой сферой человеческой деятельности (университетская психология, военное руководство). 126 Глава 7. Измерение неявных знаний Результаты интервью. Ими являются расшифровка и резюме тех интервью, которые содержат потенциальные примеры неявных знаний. Эти резюме служат двум целям в разработке инструментария. Во-первых, элементы неявных знаний (существенные детали сообщения) могут быть извлечены из резюме и проанализированы. Во-вторых, сами по себе эти резюме (включающие в себя рассказы профессионалов, которые те связывают с приобретением своего опыта) могут использоваться для создания перечня. В качестве промежуточного этапа служит обращение к экспертам (членам исследовательской группы или специалистам-практикам, знакомым с конструктом неявных знаний) с просьбой определить, отвечают ли выявленные в интервью знания критериям неявных. Критерии таковы: 1) знания получены при минимальной поддержке со стороны; 2) они соотносимы с действиями; 3) они важны для достижения тех целей, которые обладают для индивида значимостью. Часто примеры знаний, проанализированные экспертами, отвергаются как не соответствующие одному из перечисленных выше критериев. Рассмотрим историю, рассказанную офицером: В моем подчинении служил лейтенант, который был очень рассеян. Он мог унести домой чувствительные приборы — например, оружие, приборы ночного видения и т. д. Даже терял их. Он потерял пистолет, но вместо того, чтобы остановиться и поискать, продолжил выполнение операции. Насколько я знаю, когда вы теряете такую технику, вы прекращаете все другие действия и пытаетесь отыскать ее. Эта история не отвечает критериям неявных знаний. Сам рассказчик указывает, что знания, на которые он ссылается, известны руководству. Они отражены в официальной процедуре. Таким образом, нет никаких оснований считать, что знания, имеющиеся у офицера, имеют отношение к его практике работы с чувствительными приборами и их утратой. Для сравнения рассмотрим еще одну историю подобного содержания, рассказанную другим офицером: Для командира важно знать, когда можно сообщать плохие новости начальству, а когда лучше умалчивать о них. Было установлено, что орудие потеряли около полуночи. Командир подразделения сказал мне, что оно было на своем штатном месте, поскольку тот видел его, когда проходила контрольная проверка с помощью высокоточной техники. Я поговорил с каждым членом подразделения и установил, что орудие было на позиции. Мы искали его с полуночи до трех часов ура. В этот промежуток времени я посчитал, что не стоит докладывать командиру батальона о случившейся потере, поскольку был убежден, что орудие мы найдем. Однако в 4 часа предстояла проверка всей имеющейся техники, и по соображениям этики я доложил в 3 часа командиру батальона, что орудие потеряно. Я рассказал, что предпринял для поисков техники, уточнив, что был уверен в обнаружении пропажи за ночь. Командир не выглядел расстроенным. Мы обнаружили орудие через 10 минут после восхода солнца, и командир батальона был доволен, что мы проделали все предусмотренные процедуры в случае потери боевой единицы. В этой истории офицер явно описывает некоторые знания, которые он получил опытным путем, касающимся потери чувствительной военной техники (т. е. Разработка опросника неявных знаний -|27 ТАБЛИЦА 1 Рассказ интервьюируемого о руководстве с примером кодированных неявных знаний Краткое изложение истории Командир батальона заметил, что командиры подразделений настолько желали добиться успеха, что брались за выполнение заданий, непосильных для их подразделения. Таким образом, подразделения и командиры прилагали много усилий и времени для выполнения этих заданий, не прибегая к помощи батальона, чтобы военачальники смогли продемонстрировать свое мастерство. Командир батальона поручил одному из своих подчиненных задание, на выполнение которого силами его подразделения у того ушло 2 недели. Командир понял, что это поручение можно было выполнить за 2 дня, если бы офицер, возглавлявший подразделение, запросил дополнительные батальонные ресурсы. После этого случая командир батальона взял за правило просить своих подчиненных реально оценивать возможности их подразделений, прежде чем те возьмутся за выполнение очередного поручения. Командир батальона чувствовал, что все командиры стремились достичь успеха и добиться высокой оценки из-за сильного соперничества, царящего в современной армии. Кодированный пример ЕСЛИ ваши командиры подразделений стремятся достичь успеха и добиться высокой оценки своих действий И ЕСЛИ они берутся за выполнение поручений, требующих привлечения больших ресурсов, чем имеет их подразделение, И ЕСЛИ они неохотно обращаются за помощью к своему руководству, чтобы получить дополнительные ресурсы, ТОГДА нужно требовать от командиров произвести оценку возможностей их подразделений, прежде чем те возьмутся за выполнение очередного задания, ПОТОМУ ЧТО точная оценка возможностей подразделения покажет, сможет оно или не сможет выполнить возложенную на него миссию. Эта оценка должна предостеречь командиров от выполнения задания, которое слишком трудно для их подразделений. орудия). Он узнал, что в некоторых обстоятельствах лучше повременить и не докладывать сразу о проблеме, пока это не станет необходимым. И в то же время стоит предпринять все необходимые шаги для ее разрешения. Кодирование выводов из интервью. После определения того, какие из предложенных примеров отвечают критериям неявных знаний, следует преобразовать резюме в более пригодную для дальнейшего анализа форму. Мы использовали формат, основанный на процедурных признаках определения неявных знаний. Таким образом, таковые выражались как соответствие ряда предшествующих условий и последующих действий. Пример эпизода, содержащего неявные знания, и сделанных из него выводов показан в табл. 1. Знания представлены одним или несколькими предшествующими условиями (утверждениями в форме ЕСЛИ), одним или несколькими последующими дей- •J 28 Глава 7. Измерение неявных знаний ствиями (утверждениями в форме ТОГДА) и краткими объяснениями (утверждениями ПОЧЕМУ). Логические операции И/ИЛИ используются для кодирования отношений конъюнкции и дизъюнкции. Оператор ИНАЧЕ (ELSE) — оператор альтернативного выбора — задействуется при кодировании для того, чтобы замкнуть цепь «условие—действие», связывая их в более сложные процедуры. Каждый индивидуальный образец неявных знаний переписывается в процедурном виде. Это кодирование позволяет исследователям проанализировать содержание изучаемых знаний для идентификации их категорий и выбора тех образцов, которые могут быть оценены как разделы в перечне неявных знаний. Результатом этой фазы является ряд закодированных образцов неявных знаний. Затем такие примеры подвергаются сортировке для того, чтобы идентифицировать основные категории неявных знаний. Эту сортировку можно провести, попросив группу экспертов определить самим требуемые разделы. Результаты такого независимого пересмотра могут быть проанализированы с применением иерархического или кластерного анализа — тех приемов, которые помогают раскрыть естественные группировки в ряде данных (Hartigan, 1975). Этот тип анализа дает иерархически организованные кластеры разделов, какие можно представить в виде дерева. Эти кластеры интерпретируются экспертами и наделяются «ярлыками», соответствующими различным категориям неявных знаний. Категории являются показателями основных областей знаний, которые встречаются в соответствующей сфере деятельности конкретного человека. Структура категорий также способствует выбору разделов тестирования, что обеспечивает широкое представление областей человеческой деятельности. Отбор примера Хотя можно разработать вопросы для теста на основе примеров неявных знаний, извлеченных из интервью, по ряду причин бывает необходим процесс дальнейшего отбора. Во-первых, анализ интервью подчас предоставляет слишком много примеров неявных знаний, какие могут быть включены в опросник, однако тот должен иметь объем, соответствующий тому контексту, в котором данный тест применяется. Во-вторых, нельзя только на основе интервью определить, какие из неявных знаний являются показателями опыта человека или предсказывают его деятельность в данной области, и наоборот, какие не отвечают таким критериям. Например, менеджеры могут усвоить, что подчиненные станут чаще обращаться к ним, если они всегда готовы их принять. Однако насколько подобная практика способствует успеху менеджера, остается не вполне ясным. Если менеджер готов принять у себя любого человека, он может столкнуться с тем, что к нему будут обращаться с любыми проблемами. В том числе ему придется разбираться с вопросами, за которые отвечают другие менеджеры, сохраняющие дистанцию в отношениях с подчиненными. В-третьих, результатов предварительной сортировки данных, полученных с помощью интервью, может быть недостаточно для определения внутренней структуры конструкта неявных знаний, характерных для этой области. Значит, чтобы создать тест, необходимы другие обоснования структуры деятельности в данной области, дабы убедиться, что ее разделы представляют собой типичные случаи. По этой причине требуется дополнительный этап, чтобы Разработка опросника неявных знаний 129 ТАБЛИЦА 2 Пример вопроса из ИНЗ Исследование неявных знаний Военные командиры Если учебное мероприятие, определенное командиром вашего батальона, противоречит тому, что приказал исполнить ваш непосредственный начальник, и если последнее потенциально более значимо с учебной точки зрения, то рискните и посчитайте приоритетным то мероприятие, что запланировано вашим непосредственным командиром. Рискнув и предоставив вашим солдатам лучший вариант обучения, вы завоюете больше доверия с их стороны. 1. Насколько хорош этот совет для командиров рот? 1234567 Очень плох Ни плох, ни хорош 2. Насколько общеизвестен этот совет командирам рот? 12345 Почти всем неизвестен Его знают некоторые 3. Насколько часто командиры рот сталкиваются с подобной ситуацией? 1 2 3 4 5 ' 6 7 Почти никогда Иногда Почти всегда 4. В какой степени этот совет совпадает с вашей концепцией командования? 1 234567 Совсем не совпадает В чем-то совпадает Во многом совпадает Очень хорош 6 7 Известен почти всем уменьшить общее число позиций, на основе которых в дальнейшем будут созданы вопросы для тестирования. Следующее звено в процессе отбора примеров для выработки инструментария имеет скорее количественное, чем качественное значение. Оно предполагает обзор должностей, чтобы оценить каждый образец неявных знаний. Чтобы разработать анкету, адресованную тем, кто занимает руководящие должности, надо эти образцы представить в концентрированной, сжатой форме. Например, если мы хотим, чтобы профессионалы оценили 100 примеров проявления неявных знаний, не надо просить их прочитать все 100 историй, аналогичных по форме той, что представлена в табл. 1. Нужно сделать выжимку и дать их в сокращенном виде. Такого рода концентрация предполагает извлечение только наиболее важной информации. Можно также сделать ее более понятной для прочтения, но сохранить смысл, который вкладывал в свой рассказ опрашиваемый, когда описывал полученные знания. На примере «сжатых» образцов неявных знаний, какие связаны с опытом военного руководства (табл. 2), можно показать, что процедурная структура, будучи характеристикой неявных знаний, предстает в переработанном виде. Отобранные («сжатые») примеры неявных знаний составили исследование, которое мы представляем как ИНЗ — исследование неявных знаний (Tacit Knowledge Survey, TKS) (табл. 2). Оно отличается от опросника неявных знаний, "130 Глава 7. Измерение неявных знаний в котором респондентов просят оценить качество знаний, полученных в прошлом, здесь же им предлагают уточнить качество реакций на соответствующую проблему в настоящем. Руководителям предлагают оценить каждый пример на основе заданного ряда цифр (как показано в табл. 2). Мы использовали четыре семиточечных шкалы для следующих суждений: 1. Насколько хорош, по мнению респондента, предложенный совет? 2. Насколько известен этот совет? 3. Как часто руководители сталкиваются с такой проблемой, какая описана? 4. В какой степени предлагаемый совет совпадает с концепцией самого респондента о служебной деятельности? Каждая из шкал предоставляет различного рода информацию об оцениваемом виде неявных знаний. Шкала, предусматривающая вопрос «насколько хорошо», способствует оценке общих свойств рассматриваемых неявных знаний. Шкала с вопросом «насколько известен» предназначена для оценки возможного индекса непроявленности (приобретение неявных знаний предполагает меньшую обеспеченность со стороны внешних условий, информация, которую они содержат, может быть менее известна окружающим, чем какая-либо другая). Шкала, включающая вопрос «как часто», предполагает оценку генеральной способности или применимости примера знаний в рамках различных должностей, существующих в данной сфере. И наконец, шкала с ключевым словом «концепция» оценивает имплицитные теоретические установки в деятельности респондентов. Вместе четыре шкалы помогают составить полную, но не перегруженную деталями картину неявных знаний по каждой позиции, чтобы оценить потенциальный вклад каждой из них в составление тестовых вопросов на выявление этих знаний. Нас интересуют в первую очередь те случаи, которые: 1) оценены как лучшие теми, кто считается преуспевающим в интересуемой сфере деятельности; 2) не рассматриваются как общие знания, присущие людям, работающим в этой области; 3) оценены как характерные ситуации, с которыми приходится сталкиваться человеку в данной сфере; 4) соответствуют деятельности, которой занимаются люди, достигшие успеха в данной области. Чтобы идентифицировать примеры, которые были одобрены экспертами, мы получили данные о критерии соответствующей деятельности. В исследованиях, проведенных с офицерами армии, нами выявлены два критерия измерения, характеризующие оценку опыта и деятельности. Первый был выражен как диапазон различий между действиями эксперта и новичка, деятельность же измерена на основе того, как эффективность работы данного офицера была оценена другими командирами. Ответы, данные в ИНЗ, были проанализированы по этим критериям, чтобы определить примеры неявных знаний для включения в опросник. В результате анализа получена статистика примеров, которая была использована в процессе отбора. Разработка опросника неявных знаний -J31 Мы применяли дискриминантный анализ, чтобы определить пункты, по которым возможно разделить людей, имеющих больший и меньший опыт (Hedlund et al., 1999). В результате такого анализа установлена линейная комбинация дискрими-нантных величин (например, исследование примеров неявных знаний), что увеличивает разницу между группами (например, между опытными специалистами и новичками). Функция этих величин привлекается для того, чтобы установить значимость определений, если ее переменные отражают различия между группами. Дополнительно высчитывается корреляция между дискриминантными величинами и канонической дискриминантой функцией с тем, чтобы оценить их роль (например, исследование примеров неявных знаний). Мы применили точечно-бисериальные корреляции между рейтингами примеров и рейтингами эффективной деятельности для идентификации примеров, в которых отразились ответы эффективно действующих специалистов. Статистика их может быть использована при разработке структуры категорий на этапе интервью для отбора примеров, в большей степени объясняющих успех исполнения работы и в большей степени охватывающих неявные знания, свойственные данной области деятельности. Создание инструментария Фазы идентификации знаний и отбора примеров для разработки опросника неявных знаний приводят к очевидному результату, служащему материалом для этапа окончательного моделирования инструментария. Эти результаты предполагают расшифровку интервью и выводов из них; структура категорий выводится в результате отбора информации экспертами и посредством кластерного анализа; для опросника привлекаются и примеры, определенные посредством статистики, а также примеры знаний, включенные в базовую структуру категорий, и те, что получены после статистической обработки анкет. На следующей фазе разработки теста вопросы предварительного опросника конструируются как на основе отобранных примеров знаний, так и на основе выводов. Вопросы, нацеленные на выявление неявных знаний, содержат описание ситуации, после чего следует несколько возможных откликов на нее. Хотя пример знания, представленный в «сжатом» виде, полезен при описании ситуации, все же предпочтительнее подключать детали реальной ситуации, чтобы обеспечить более полное описание проблемы. Использование в вопросе большего объема контекстуально и ситуативно обусловленной информации предоставляет респонденту больше оснований, по которым он может оценить уместность той или иной потенциальной реакции на заданную ситуацию. Реальная же история также является источником для разработки вариантов реагирования на нее. В том случае, если исследователи удовлетворены предварительным опросником неявных знаний, полезно показать его экспертам в соответствующей области деятельности. Один из методов обратной связи — это привлечение особой группы специалистов, цель которых — рассмотреть и обсудить опросник1. 1 Эта группа специалистов в конкретной области обсуждает тот или иной вопрос, при этом за ней ведется скрытое наблюдение и все замечания и высказывания данных специалистов тщательнейшим образом фиксируются и затем обрабатываются. — Примем, перев. 132 Глава 7. Измерение неявных знаний Проводя исследования, мы ознакомили участников такой группы с целями проекта и кратко разъяснили конструкт неявных знаний, не обращаясь к научной терминологии. Их просили оценить соотнесенность вопросов анкеты с конструктом. При этом они должны были уточнить, каждый ли вопрос связан со знаниями, полученными на основе личного опыта, и способствует ли он определению неявных знаний. Кроме этого, специалистов попросили заполнить лакуны, внеся дополнения в предложенный опросник. Точнее, их попросили предложить дополнительные правдоподобные варианты ответов на некоторые вопросы, определить примеры, недостаточно ясные или вообще темные, идентифицировать проблемы полового, расового и этнического характера, а также выявить то, что кажется им неправдоподобным в вопросах анкеты. Исследователи благодаря работе группы специалистов получили данные «обратной связи» и воспользовались ими, чтобы скорректировать опросник. Например, вопросы, относительно которых суждения специалистов не были единодушными и утвердительными, могли быть исключены из него. Аналогично, вариант ответа или сценарий действия, против которого возражают два или более участников, отклоняется. Данная экспертная группа может предложить дополнительные опции отклика или сценарий поведения, которые будут добавлены в опросник. Конечным результатом такого процесса разработки теста является проверенный опросник по неявным знаниям, применимый к людям, занимающим самые разные должности. Он пригоден для дальнейших исследований, касающихся, например, валидности конструкта, выведенной на основе разных критериев. Создание опросника неявных знаний: выводы Этапы, которые мы описывали выше, помогают при разработке тестов на неявные знания. Примеры последних были получены в результате интервью, и их можно назвать сырьем для разработки теста. В течение этого процесса они подвергались качественному (распределение по категориям) и количественному (оценка свойств) анализу. Различные этапы позволяют ответить на два основных вопроса о совокупности неявных знаний, после чего и можно разработать инструментарий для их определения. Во-первых, какие из примеров неявных знаний более всего подходят для разработки вопросов теста? Во-вторых, что поясняет структура, репрезентируемая примерами неявных знаний, относительно структуры конструкта, связанного с данной областью деятельности, и почему наши тесты на неявные знания охватывают данную сферу? Результатом этого процесса является, опросник, который с большей вероятностью обладает как внутренней, так и внешней валидностью. Данный вопрос рассматривается в последней части этой главы. Определение валидности опросника Важная часть в разработке любого теста — определение валидности его построения. В отличие от многих тестов, измеряющих уровень интеллекта, мы не полагаемся исключительно на те условия, что предлагаемые образцы следует перегружать различными факторами и что они должны быть критериями внешней деятельности, подтверждая, что тестом измеряется интересующий нас конструкт. По Определение валидности опросника -J33 замечанию Нанэли и др. (Nunally, 1970), подходы, основанные на валидности критерия, являются проблематичными, часто показывая недостаточно качественную методику оценки. Они ведут к появлению тестов, допускающих слабую внутреннюю согласованность, неразвитую структуру факторов, нестабильность по отношению к критериям, не являющимся основополагающими при выборе позиций тестирования. Мы опираемся как на теоретическое, так и на эмпирическое обоснование, чтобы обеспечить валидность тестов, определяющих неявные знания. Для этого привлечена унифицированная модель Мессика (Messick, 1995), чтобы показать теорию неявных знаний и этапы разработки теста, которые мы схематично изложили. Модель Мессика обращена к традиционным, автономным формам валидности (содержание, конструкция и критерии) как аспектам более общей валидности конструкта. Соответственно важнейшей целью валидизации тестов является утверждение интерпретации подсчетов в рамках теста и их использования. Осуществляется это благодаря сочетанию рациональных теоретических и эмпирических доказательств. Содержательный аспект Данный аспект валидности подтверждает, что содержание теста является значимым и показательным для конструкта, о котором идет речь. Он соотносится с теми значениями, что подпадают под традиционное название валидности содержания. В контексте разработки теста для определения неявных знаний целеполагание приемлемости конструкта заставляет выработать такие вопросы, которые бы обладали восприимчивостью к знаниям, типичным для рассматриваемого конструкта, и были бы несущественными относительно областей знаний, рассмотрение которых в данный момент не предполагается. Первым шагом в процессе разработки теста оказывается этап идентификации, берется интервью у руководителей. В этом случае мы ориентируем участников на их личный опыт, уводя от формальных принципов или от официально существующих в данной области деятельности теоретических догм. Вторым этапом является отбор. На этой фазе руководителей просят оценить качества предложенных им примеров, неявных знаний. Эта оценка (т. е. средняя величина и ее колебания) может подтвердить значимость указанных примеров для основного конструкта. Например, примеры неявных знаний, получившие низкую оценку (те, что респонденты посчитали малоинформативными), могут вовсе не иметь отношения к достижению успеха в работе. Или примеры, в оценке которых эксперты незначительно расходятся (когда респонденты в целом единодушно высказывались относительно качеств — соответствующих или плохих — тех знаний, что отражены в примере), могут не отражать знания, полученные в опыте индивида, если те в целом оцениваются как показательные. Помимо этого, задача обосновать приемлемость конструкта осуществляется и за счет того, что на различных стадиях разработки теста обращаются к экспертам в соответствующей области и просят оценить важность примеров неявных знаний для их конструкта. Задача его репрезентативности требует таких примеров неявных знаний, которые являются типичными в рамках рассматриваемой области деятельности. •J34 Глава 7. Измерение неявных знаний Первичным этапом в решении данной задачи оказывается идентификация при интервьюировании ряда руководителей, представляющих различные направления деятельности в пределах рассматриваемой области. Например, армейские командиры, занимающие одну и ту же должность (например, командир взвода), могут внести пояснения к одному из многих родов войск (пехота или инженерные войска). Поэтому мы рассматривали интервью с офицерами, представляющими различные рода войск, чтобы обеспечить высокую репрезентативность отмеченных знаний. Второй ступенью служит фаза отбора. На этом этапе участников просят оценить, как часто может возникнуть ситуация, служащая примером получения неявных знаний. Примеры, оцененные в среднем достаточно низко и обладающие слабой вариативностью, можно считать случаями, которые большинство руководителей относит к маловероятным или практически не происходящим в их сфере деятельности. Поэтому они не репрезентируют неявные знания в данной профессиональной области. Категории, выявленные в результате кластерного анализа, также подтверждают репрезентативность конструкта. Примеры выбираются, чтобы отразить каждую категорию неявных знаний из большого их числа, чем достигается оптимальный объем конструкта. И наконец, на некоторых ступенях разработки тестов учитываются экспертные заключения относительно конструкционной репрезентативности предлагаемых примеров. После первичного списка потенциальных разделов неявных знаний, полученного на основе интервью, экспертов просят критически оценить репрезентативность каждого из них, а также исключить те примеры, которые, на их взгляд, имеют очень узкую или слишком техническую направленность (например, как сохранить запасы химического оружия). Их просят исключить и те примеры знаний, что лишь в незначительной степени имеют отношение к их руководящей работе (например, как избежать стрессов на работе, если ты родитель-одиночка). Экспертов снова просят оценить репрезентативность предложенных примеров, после разработки предварительных вопросов теста. Субстантивный аспект Под субстантивным аспектом валидности понимают теоретическую сущность неявных знаний и ее связь в выполнением задания (или теста). Шагом в достижении субстантивной валидности являются наша когнитивная модель и характеристика неявных знаний, изложенные в шестой главе. Модель показывает, как приобретаются неявные процедурные знания и как их можно применить в решении повседневных проблем. Модель позволяет показать, как обладание ими благоприятствует (по сравнению с приобретением явных процедурных знаний) способности реагировать на контекстуально обусловленные проблемы реальной сложности. Характерные признаки неявных знаний (полученных в результате личного опыта, имеющих процедурный характер и обладающих ценностью инструментария) потенциально соотносятся с успешной деятельностью. Их когнитивная модель, на основе которой происходит идентификация и измерение этих знаний, теоретически обусловливает исполнение теста. Следовательно, она напрямую служит обеспечению субстантивной валидности. Последняя может быть подкреплена также выявлением (благодаря эмпирическим исследованиям) меры, в которой Определение валидности опросника "135 участники полагались на свой личный опыт, а не на полученные знания при выполнении повседневных задач реального характера. Структурный аспект Структурный аспект валидности относится к степени соответствия внутренней структуры теста и внутренней структуры конструкта. Это связано со спорными вопросами относительно репрезентативности конструкта. Первым этапом обеспечения структурной валидности является сбор интервью и определение знаний руководящих работников во всех областях, репрезентирующих сферу их деятельности. Например, исследуя деятельность армейских офицеров, мы брали интервью с военными трех основных родов войск, существующих в армии (пехота, артиллерия и войска инженерно-технического обеспечения). Структурная валид-ность также достигается путем контроля методики измерения (например, ИНЗ). Используя примеры, предложенные руководителями, надо избежать того, чтобы наши анализы и разработки тестов соответствовали лишь ограниченному подмножеству неявных знаний. Конечно, структурный аспект валидности скорее относится к статистическим приемам, таким как кластерный анализ и многомерное ранжирование, которые выявляют внутреннюю структуру предлагаемых примеров. Исследуя ее, мы получаем более широкую схему выборки примеров неявных знаний. Таким образом, оправдываются пути в разработке тестов, отражающих структуру конструкта (области практических, ориентированных на действия знаний, которые люди получают посредством собственного опыта). Обобщающий аспект Он свидетельствует о той степени, в какой множество свойств и интерпретаций являются общими для всех групп, условий и задач. Обобщающий аспект включает в себя элементы, которые обычно характеризуют достоверность. В контексте разработки теста на неявные знания данный аспект валидности предполагает определение такого множества этих знаний, которое было бы общезначимым в организации, применении теста и его альтернативных форм. Разрабатывая тест, мы стремились учесть содержательный, субстантивный, структурный и обобщающий аспекты валидности. Выявляя отличительные признаки конструкта и оценивая его, а не только исследуя соотношение с внешними критериями, мы смогли достичь большей валидности числа интерпретаций нашего теста на неявные знания. Внешний аспект Внешний аспект связан с критериями валидности. Это означает подтверждение того, что тесты соотносятся с внешними критериями. Целью оказывается получение подтверждения конвергентной и дискриминантной валидности. Определение последней показывает, что подсчет в рамках теста на неявные знания больше коррелирует (конвергирует) с теоретически соотносимым конструктом, таким как исполняемая деятельность, и слабее (дивергенция) с теоретически отличным, таким как генеральный интеллект или формальные служебные знания. Разработка теста позволяет детально описать и оценить конструкт неявных знаний и выбрать критерии валидности. Например, руководителей просили ука- 136 Глава 7. Измерение неявных знаний зать важные уроки, полученные ими в процессе своей работы, а не те знания, которые они приобрели в школе. Эти требования увеличивают вероятность того, что примеры неявных знаний будут связаны с критериями деятельности, о которой идет речь, и отличаться от официально полученных знаний. Исследование, проведенное на стадии отбора, означало тщательную оценку связи предлагаемых примеров с внешним критерием. Этот шаг помог идентифицировать примеры неявных знаний, являющиеся показательными для успешной деятельности. Помимо таких усилий, предпринятых в процессе разработки теста, дополнительным шагом становится подтверждение конвергентной и дискриминантной валидности. В случае с тестами на неявные знания вероятным дискриминантным подтверждением может быть то, что уменьшается воздействие генерального интеллекта, способность истолковывать и значение официально полученных знаний. Достижение конвергентной валидности означает корреляцию подсчетов в рамках тестов на неявные знания с такими величинами, как ощутимая эффективность работы, степень карьерного роста и его оценка, действия при выполнении служебных заданий. Чтобы получить эти доказательства, требуется исследовать подтверждение валидности, при этом измерения указанных величин либо контролируются индивидом, либо получены от него самого. Например, проводя исследования менеджеров и военных руководителей, мы использовали опросник неявных знаний наряду со способами измерения генерального интеллекта и связанных с ним конструктов. Мы обнаружили различные критерии исполнения служебных обязанностей, например рейтинги руководителей, зарплата и продуктивность. Для определения конвергентной и дискриминантной валидности использованы корреляционный и иерархический регрессивный анализ. Конвергентная валидность подкрепляется тем, что существует значимая взаимосвязь между подсчетами по тестам на неявные знания и критериями деятельности (например, оценкой начальства). Дискриминантная валидность подтверждалась нулевой или очень слабой корреляцией с такими измерениями, как уровень генерального интеллекта и основные должностные знания, а также возрастающей валидностью подсчетов по тестам на неявные знания вне этих измерений. Результирующий аспект Им называется оценка предполагаемого множества интерпретаций как основы для действий. Поскольку тесты на неявные знания могут быть полезны для оценки работников, важно рассмотреть, какие знания, подразумеваемые в вопросах теста, совпадают с культурой и правилами организации. Например, если их пример отвечает всем критериям неявных знаний, упомянутых нами (например, соответствует определению «неявный», демонстрирует существенную позитивную корреляцию с эффективной деятельностью), но противоречит культуре, господствующей в организации (например, предположение о том, что у женщин меньше ответственности, чем у мужчин), или фиксирует неповиновение имеющимся предписаниям (например, предположение о том, что финансовые результаты могут быть подделаны), тогда он не годится для включения в тест. Обращение к экспертам, просматривающим примеры неявных знаний во время разработки теста, помогает убедиться в том, что выводы, связанные с результирующим аспектом валидности, имеют адресный характер. Резюме -J37 Резюме Цель выработки теста, схематически представленного в этой главе, заключается в том, чтобы установить конструкцию валидного измерения неявных знаний. Наша теоретическая модель, описанная в шестой главе, является, как мы надеемся, шагом в направлении достижения данной цели. Уточним, что, рассматривая неявные знания на теоретическом уровне, мы определяем стадию, на которой более детально рассматривается содержание примеров, — стадию отбора. Таким образом, мы увеличиваем субстантивную валидность наших тестов. Анализ рейтингов примеров и данных о деятельности представляет собой второй этап измерения конструкта. Определяя те примеры, которые наиболее связаны с критерием действия, мы точнее отберем примеры и соответственно вопросы для нашего теста, ярче всего демонстрирующие, что обладание неявными знаниями является важным преимуществом в процессе человеческой деятельности. Анализ основной структуры, производимый путем распределения предложенных примеров по категориям, представляет собой третий этап на пути разработки теста. Оценивая структуру области неявных знаний (на основе данных из приводимых нами примеров), мы можем принимать более обоснованные решения о распределении содержания разделов в нашем тесте и таким образом увеличить структурную и обобщающую валидность интерпретаций. И наконец, проведя исследования валидности, мы убеждаемся в том, что неявные знания являются важными для понимания деятельности в рассматриваемых нами областях, а также демонстрируют, что это понимание находится за пределами традиционных показателей деятельности. В восьмой и девятой главах мы рассмотрим вопросы разработки тестов, измеряющих неявные знания как в гражданской, так и в военной сфере, и вопросы определения валидности этих тестов. |
Похожие:
 |
1. интеллект, его понимание и проблемы измерения Д. П. Дас (1973) понимает интеллект как “способность планировать и структурировать собственное поведение в перспективе на конечную... |
|
Литература Ссылка для цитирования Ключевые слова: принятие решений, толерантность к неопределенности, бдительность (вигильность), рациональность, рефлексивность, склонность... |
|
Практический курс Г61 Менеджмент туризма: практический курс / Учеб метод пособие. М.: Финансы и статистика, 2007. 224 с |
 |
Английский язык 2012 Москва «Интеллект-Центр» 2012 Государственная итоговая аттестация выпускников 9 классов в новой форме. Английский язык. 2012. Учебное пособие. /Ю. С. Веселова.... |
|
Лил Групповое и индивидуальное обучение, Индивидуальные консультации... Олег Анатольевич Синько — практический психолог, эзотерик, эриль (мастер рунной магии). Имеет два высших образования преподаватель... |
|
Рабочая программа дисциплины (модуля) м 3 «Письменный перевод и трансформация... «Основы теории английского языка», «Теория перевода», «Практический курс английского языка», «Практикум по культуре речевого общения... |
|
Практический курс английского языка 4 курс Под редакцией В. Д. Аракина... Практический курс английского языка. 4 курс: П69 Учеб для педвузов по спец. «Иностр яз.» / Под ред. В. Д. Аракина. 4-е изд., перераб... |
|
«национальный научно-практический центр здоровья детей» министерства... Заказчика: Федеральное государственное автономное учреждение «Национальный научно-практический центр здоровья детей» Министерства... |
|
Решающие формальности в авторском праве Инна Петренко, старший специалист отдела Авторского права зао «Интеллект-консалтинг» |
|
Море синее, а какого цвета из ниже перечисленных лимон? Инструкция: проверь свой интеллект, выбери правильный ответ на поставленные вопросы |
|
Учебное пособие «Практический курс немецкого языка для студентов-бакалавров... Практический курс немецкого языка для студентов-бакалавров первого года обучения неязыковых факультетов |
|
М. А. Холодная Психология интеллекта: парадоксы исследования Существует ли интеллект как психическая реальность? (причины кризиса тестологических теорий интеллекта) |
|
Vii летняя Интеллект-школа «Корифей плюс» Памятка для родителей Организованный заезд в лагерь – 11 августа в 10. 00 от гимназии №210 «Корифей» (ул. Байкальская, 29) |
|
Руководство по исправлению своей жизни Лесли Камерон-Бэндлер, Дэвид Гордон, Майкл Лебо Дебби, чья любовь, интеллект и (очевидно, безграничное) терпение столь многому способствовали |
|
Э. Юдковский Искусственный интеллект как позитивный и негативный фактор глобального риска Выходит в 2007 году в сборнике Риски глобальной катастрофы под редакцией Ника Бострома и Милана Цирковича, Оксфорд |
|
Диссертация на соискание степени Магистра по направлению 030300 Психология... Эмоциональный интеллект в связи с когнитивными стилями и саморегуляцией личности в период ранней взрослости |