Института "Открытое общество" (Фонд Сороса) в рамках программы "Высшее образование". Редакционный совет: В. И бахмин, Я. М. Бергер, Е. Ю. Гениева, Г. Г. Дилигенский, В. Д. Шадриков




Скачать 2.8 Mb.
Название Института "Открытое общество" (Фонд Сороса) в рамках программы "Высшее образование". Редакционный совет: В. И бахмин, Я. М. Бергер, Е. Ю. Гениева, Г. Г. Дилигенский, В. Д. Шадриков
страница 14/25
Тип Документы
rykovodstvo.ru > Руководство эксплуатация > Документы
1   ...   10   11   12   13   14   15   16   17   ...   25

Глава 2. Метод парных сравнений. модель Терстоуна




§ 1. Закон сравнительных суждений



Самые распространенные в настоящее время методы шкалирования субъективных характеристик стимулов, не имеющих прямых физических коррелятов, основаны на модели шкалирования Терстоуна (Терстоун, 1927). Но первый шаг в этом направлении сделали Фуллертон и Кэтелл (1892), которые предложили подход, преобразующий постулат Фехнера о равенстве "едва заметных различий" в понятие равенства на континууме "равно часто замечаемых различий". Этот подход позволил перейти к оценке стимула, безотносительно к прямому физическому корреляту, но сразу же обнажилась проблема: если один стимул предпочитается второму с частотой А, а второй стимул предпочитается третьему с частотой в 1.2А, то насколько субъективное расстояние между вторым и третьим стимулами больше субъективного расстояния между первым и вторым стимулами?

Торндайк (1910) предлагает решение этой проблемы (и это можно считать вторым шагом к цели), предположив, что разница в субъективных расстояниях пропорциональна различию в единицах стандартного отклонения нормальной кривой, соответствующих двум частотам.

Полное развитие этих идей и представляет собой модель шкалирования Терстоуна. Суть ее заключается в следующем:

1. Данное множество объектов можно упорядочить в континуум по какому-либо из параметров, который может служить стимулом, причем этот параметр не обязательно имеет физическую меру. Обозначим ряд стимулов как 1 ... i... п.

2. Каждый стимул теоретически вызывает у субъекта только один, свой процесс различения (обозначим его буквой S). Процессы различения составляют психологический континуум, или континуум различения (D1... Di... Dn). Однако вследствие мгновенных флуктуации организма, данный стимул может вызвать не только свой процесс различения, но и какие-то соседние. Поэтому, если один и тот же стимул предъявлять много раз, то на психологическом континууме ему будет соответствовать некоторое распределение процессов различения. При этом предполагается, что форма распределения нормальна.

3. В качестве значения i-го стимула на психологической шкале принимается среднее (Si) распределения процессов различения, а дисперсия распределения рассматривается как дисперсия различенияi).

4. Предъявление одновременно пары стимулов вызывает два процесса различения di и dj. Разность (dj - di) называется различительной разностью. При большом числе предъявлений двух стимулов различительные разности также формируют свое нормальное распределение на психологическом континууме. Поэтому среднее распределение разностей различения (dj - di) будет равно разности средних распределений самих процессов различения — (Sj - Si), а дисперсия распределения различительных разностей равна

где si и sj дисперсии процессов различения i-гo и j-гo стимулов, соответственно, а гi,j — есть корреляция между мгновенными значениями процессов различения стимулов i и j.

Рассмотрим теперь следующую ситуацию. Пусть наблюдателю предъявляются пары стимулов i и j и от него требуется осуществить суждение, какой из стимулов дальше отстоит от нуля на психологическом континууме (например, более тяжелый или более сложный, или более красивый и т.д.). На рис. 1 показаны гипотетические процессы различения стимулов i и j.

Предполагается, что если различительный процесс для стимула j окажется на психологическом континууме выше, чем для стимула i, т.е. если различительная разность (d­j - di) > 0, то последует суждение, что стимул j больше, чем стимул i. И соответственно при (dj - di) < 0 произойдет обратное суждение.

Однако, если распределения различительных процессов перекрываются, то суждение, что стимул j меньше, чем стимул i может произойти даже тогда, когда величина Sj на психологическом континууме больше, чем величина Si. На рис. 2 показано распределение различительных разностей при большом числе суждений.

Среднее распределения равно различию шкальных величин двух стимулов — (Sj - Si). Это различие можно найти из таблицы областей под единичной нормальной кривой, зная пропорцию суждений стимул j больше, чем стимул i от общего числа суждений по данной паре стимулов (т.е., сделав стандартное преобразование "р → z" ).

В единицах дисперсии σ (dj - di) это можно записать так:
Sj – Si = zi,j σ(dj – di) (2)
где zj,i — обозначает искомое различие.

Подставляя это выражение в уравнение (1), получим:
Sj – Si = zj,i 2j + σ2i – 2ri,jσiσj)1/2 (3)
Уравнение (3) и выражает в общем виде закон сравнительных оценок Терстоуна.

§2. Процедура измерения



Эмпирическим материалом, на котором основан закон Терстоуна, служат суждения по типу: "стимул i более ... тяжелый, интересный, красивый и т.д., чем стимул j". Прямой метод для получения таких оценок называется методом парных сравнений. В принципе это тот же самый метод константных стимулов, только в данном случае в качестве эталона выступает поочередно каждый стимул. Испытуемый осуществляет попарное сравнение всех стимулов. Каждое сравнение производится много раз. На основании этих сравнений для каждой пары определяется частота предпочтения одного стимула другому. Квадратная матрица (n х n) этих частот (обозначим ее буквой F) представляет исходные данные. Диагональные элементы этой матрицы будут пустыми, поскольку идентичные пары обычно не предъявляются. Очевидно, что сумма элементов fi,j и fj,i в сумме будет равна общему числу сравнений.

Последующий анализ заключается в переходе от матрицы частот (F) к матрице вероятностей (обозначим ее буквой Р). Элемент этой матрицы рi,j есть пропорция числа предпочтений i-го стимула j-му в общем числе сравнений этих двух стимулов. Диагональ матрицы Р также не заполнена, а сумма симметричных элементов относительно этой диагонали равна единице (т.е. рi,j + рj,i = 1). Из матрицы вероятностей уже легко определить матрицу различий Z, памятуя о том, что различие выражается в единицах нормального отклонения. Значение zi,j для соответствующей вероятности можно определить по таблице областей под единичной нормальной кривой. Для всех рi,j > 0,5 величина z будет положительна, а для всех рi,j < 0,5 — отрицательна. Для рi,j = 1 или рi,j = 0 zi,j не существует. Предполагая, что рi,i = рj,j = 0,5, диагональные элементы матрицы Z приравниваются нулю. Поскольку zi,j = -zj,i то матрица будет косо-симметрична. Таким образом определяется матрица Z, элемент которой zi,j является оценкой различия (Si - Sj) между шкальными значениями двух стимулов, измеренной в единицах стандартного отклонения в распределении различительных разностей. Каждый независимый элемент матрицы Z (а их, очевидно, будет n(n-1)/2) дает оценку различия для одного из уравнений (3) — как теоретической модели закона сравнительных оценок.

Рассмотрим теперь, как соотносятся исходные данные с теоретической формой их выражения. Число независимых элементов в матрице F равно n(n-1)/2, где n — число стимулов. Тогда как закон сравнительных оценок, выраженный в формуле (3), имеет для тех же n стимулов и n неизвестных шкальных значений, n неизвестных дисперсий различительных процессов и n(n-1)/2 неизвестных корреляций. Совершенно очевидно, что при таком соотношении числа уравнений — n(n-1)/2 и числа неизвестных — 2n + n(n - 1)/2, решить данную систему невозможно. Поэтому необходимо ввести условия, упрощающие структуру выражения (3).

§ 3. Упрощенные варианты закона сравнительных суждений



Терстоун рассматривал 5 вариантов применения этого закона. Первый вариант — это та исходная общая форма закона, о которой уже говорилось. Второй вариант рассматривает изменение экспериментальной методики, обращаясь от оценок, производимых одним испытуемым, к групповым оценкам. Каждый испытуемый в этом случае производит только одно сравнение. И только третий, четвертый и пятый варианты вводят дополнительные допущения, которые меняют общую форму выражения (3).

Торгерсон (1958) предложил развести эти варианты на два класса. К первому классу относятся изменения в методике проведения эксперимента. Это первый и второй варианты Терстоуна, и кроме того, Торгерсон предложил отнести сюда и смешанный опыт, когда несколько испытуемых сравнивают по несколько пар и все оценки сводятся в общую матрицу частот. Ко второму классу относятся изменения в форме закона сравнительных оценок. Сюда относятся 3, 4 и 5 варианты Терстоуна или, соответственно, условия А, В и С, которые предложил Торгерсон.

III вариант Терстоуна. Предполагается, что корреляция между различительными процессами ri,j в выражении (3) равна нулю. В таком случае закон сравнительных оценок принимает форму:

Торгерсон предлагает здесь менее жесткое ограничение, с условием (условие А), что ковариация в выражении (3) — равна постоянной величине (d). Тогда :

Но практически выражения (4) и (5) идентичны, поскольку ковариация является постоянной только тогда, когда корреляция стремится к нулю.

IV вариант Терстоуна основывается на допущении, что ri,j = 0 и что дисперсии различения мало отличаются друг от друга, т.е. si = sj + d, где d мало по сравнению с sj. Тогда выражение (3) преобразуется в

Раскрывая скобки и делая ряд преобразований и упрощений, получаем окончательную форму четвертого варианта закона:

где с — постоянный множитель.

Более слабое допущение Торгерсона (условие В) о константности корреляции приводит к выражению:

Выражения (7) и (8) отличаются только постоянными членами, поэтому вариант Торгерсона имеет определенные преимущества.

V вариант закона сравнительных оценок Терстоуна нашел наибольшее применение вследствие простоты своей формы. Этот вариант основывается на допущении нулевой корреляции между двумя процессами различения (r = 0) и равенства различительных дисперсий этих процессов (σj = σi = σ). Тогда выражение (4) преобразуется в:

Обозначив константный член уравнения буквой "с", получим:

Уравнение (10) совпадает по своей общей форме с различными модификациями данного варианта, которые предлагали впоследствии некоторые авторы. Наиболее интересная модификация предложена Мостеллером (1951) и состоит в допущении равенства дисперсий и константной корреляции. В этом случае величина "с" в уравнении (10) будет равна [2(1 - r)]1/2, а уравнение приобретает следующий вид:

Сравнивая упрощенные варианты (4), (7), (10) с исходной формулой (3), легко видеть, что даже наиболее сложный из упрощенных вариантов (4) уже имеет, по крайней мере теоретически, решение, когда число стимулов (n) равно 5. Остальные варианты еще проще. Но практическая процедура всегда более трудоемка и менее изящна, чем это обещает теоретическая модель. Причина этого в основном лежит в эмпирической природе исходных оценок, в их зашумленности множеством случайных факторов, от которых невозможно оградить испытуемого. Для устранения случайных ошибок предлагается следующая тактика. Число стимулов увеличить так, чтобы система уравнений была значительно переопределена. Например, для варианта III брать не 5 стимулов, а 10 — 15. Для окончательного решения использовать итеративную вычислительную процедуру, которая учитывает тот факт, что случайные ошибки имеют тенденцию взаимоуравновешиваться.

Такие процедуры были разработаны разными авторами, и в данной работе будет описан алгоритм Мостеллера (1951) для V варианта закона в модификации Торгерсона (1958). Алгоритм использует решение методом наименьших квадратов. Он позволяет получить более точные оценки шкальных значений из матрицы в случае, если она не имеет пустых элементов.

§ 4. Процедура решения V варианта закона сравнительных оценок для полной матрицы



В V варианте закона, записанном в общем виде (9), единицы измерения шкальных значений всегда можно подобрать так, чтобы константа "с" была равна 1. Тогда:

В случае отсутствия ошибок в оценках искомое различие будет равно наблюдаемому (обозначим его z'j,i). Но в результате ошибок между z'j,i и z.j,i будет некоторое расхождение σ. Задача заключается в получении такого множества оценок шкальных значений стимулов, для которых сумма квадратов всех расхождений является минимальной, т.е. необходимо минимизировать величину

Подставив вместо zi,j идеальные значения, получим:

Все аi,j для всех zi,j из матрицы Z дадут матрицу ошибок α.. Чтобы минимизировать каждую αi,j, необходимо взять частную производную αi,j по Si и Sj. Каждое частное значение Si в матрице ошибок а появляется только в i-той строке и i-том столбце, но поскольку матрица ошибок так же кососимметрична [zi,j = -zj,i и (Si - Sj) = - (Sj - Si)], как и матрица Z, то для каждой Si частная производная будет касаться только i-гo столбца. Дифференцируя элементы каждого столбца по Si, получим:

Приравняем частную производную нулю и после переноса получим:

Разделим выражение (16) на n и возьмем начальное значение шкалы, равное . В результате получим:

Таким образом, для минимизации ошибки необходимо просто взятъ среднее арифметическое по столбцу матрицы Z и мы получим оптимальное значение шкальной величины Si.

Рассмотрим практический пример решения V варианта закона сравнительных оценок методом наименьших квадратов (данные вымышлены). Испытуемому в случайном порядке предъявляются 6 цветных карт из малого набора теста Люшера и просят в каждой паре выбрать наиболее красивый. Каждая пара предъявляется по 50 раз. В итоге для одного из испытуемых была получена следующая матрица частот F (табл.1):
Таблица 1

Матрица частот — F


Примечание: элементом матрицы fi,j является частота, с которой в паре j,i стимул i оценивался более красивым, чем стимул j.
Полученная матрица частот F преобразуется в матрицу вероятностей Р делением частоты fi,j на число предъявлений (N = 50).
Таблица 2

Матрица вероятностей Р


Примечания: элементом матрицы рi,j является вероятность, с которой стимул i в паре j,i оценивался более красивым, чем стимул j.
Каждое значение вероятности рi,j из матрицы Р переводится далее с помощью таблицы в единицы стандартного отклонения нормальной кривой — zi,j, по которым и вычисляются шкальные значения Si каждого стимула.
Таблица 3

Матрица Z - оценок


Примечания: элементом матрицы zi,j является вероятность рj,i, преобразованная в единицы стандартного отклонения.
Рассмотренная процедура дает возможность для каждого стимула Si получить его значение на шкале интервалов.

§5. Процедура решения V варианта закона сравнительных суждений для неполной матрицы исходных данных



Реальные экспериментальные данные очень часто отличаются от той классической матрицы данных, которая анализировалась выше. Наиболее распространенный артефакт в процедуре парного сравнения, который связан с ограничением на возможное число предъявлений, — стопроцентное предпочтение одного стимула другому, что приводит к появлению в матрице вероятностей нулей и единиц. Ноль и единица в терминах модели Терстоуна не несут сравнительной информации о различии стимулов, поэтому не могут быть использованы для расчетов шкальных значений стимулов.

Для матриц с нулями и единицами (они называются неполными матрицами) существуют особые алгоритмы анализа. Наиболее распространенный из них подробно описан в работе Торгерсона (1958) и вкратце состоит в следующем.

Из выражения (12) для стимула j следует, что стимул j+1 будет описываться следующим выражением:

Вычтя из уравнения (18) уравнение (12), мы получим сравнительное различие для интересующего нас стимула косвенным путем. В терминах минимизированной ошибки эта величина может быть вычислена из выражения:

где nj — есть индекс суммирования.

Для практического удобства матрицу Z следует перестроить таким образом, чтобы столбцы были упорядочены по величине. Порядок столбцов в матрице Z определяется суммой по столбцу матрицы Р. Для такой упорядоченной матрицы Z различие Sj+e - S, можно прямо вычислить из выражения (19). Если мы шкальное значение первого стимула (S;) приравняем к нулю, то шкальное значение любого стимула есть сумма шкального значения стимула и расстояния между данным стимулом и предшествующим:

Рассмотрим практический пример решения для неполной матрицы частот, взятый из работы Торгерсона (1958). Пусть нам дана матрица вероятностей предпочтения i-го стимула j-му с некоторыми вырожденными (пустыми) элементами, равными 0 или 1.
Таблица 4

Матрица вероятностей Р


Примечания: элементом матрицы рi,j является вероятность, с которой стимул i в nape j,i оценивался более предпочтительным, чем стимул j.
Преобразуем вероятности рi,j в единицы стандартного отклонения нормального распределения — zi,j.
Таблица 5

Матрица Z — оценок


Примечания: элементом матрицы Zi,j является вероятность рj,i, преобразованная в единицы стандартного отклонения.
Таблица 6

Матрица Z' — оценок


Примечания: элементом матрицы Zi,j является вероятность р'j,i преобразованная в единицы стандартного отклонения. Столбцы упорядочены по возрастанию ∑ p'j,i .
Переставим столбцы в матрице Z в таком порядке, чтобы первый столбец имел наименьшую сумму элементов, а последний — наибольшую.
Таблица 7

Матрица разностей между столбцами

Из матрицы Z' можно получить матрицу различий между соседними парами столбцов, вычитая их поэлементно один из другого. В каждой j-й строке элемент этой матрицы будет равен (zj,i+1 - zj,i).

Пользуясь выражением (20), вычисляем из полученных различий шкальные значения стимулов, приняв, что S1 = 0:

S1 = 0,

S3 = 0 + 1.5 = 1.5,

S5 = 1.5 + 0.53 = 2.03,

S4 = 2.03 + 0.98 = 3.01,

S2 = 3.01 + 0.56 = 3.97.

Из рассмотренной процедуры видно, что недостающие элементы матрицы компенсируются наличием внутренней связи между элементами столбца, что позволяет рассматривать разность между столбцами матрицы как результат алгебраической интерполяции отсутствующих элементов в столбце.

Литература



1. Терстуон Л.Л. Психофизический анализ // Проблемы и методы психофизики / Под ред. А.Г.Асмолова, М.Б.Михалевской. М.: Изд-во Моск. ун-та, 1974.

2. Guilford J. P. Psychometric Methods. N. Y., Toronto, London: Mc-Grow-Hill, 1954.

3. Torgerson N.S. Theory and Method of scaling. N. Y.: John Wiley and Sons, 1958.

Методические указания по выполнению учебного задания по теме: "Метод парных сравнений"



Задание 1. Построение шкалы цветовых предпочтений методом парных сравнений
Цель задания: Освоить метод парных сравнений для построения шкалы интервалов. Сравнить построенную шкалу со шкалой порядка, полученную методом балльной оценки.
Методика

Аппаратура. Задание выполняется на IBM-совместимом персональном компьютере. Для предъявления сигнала "Внимание" используются головные телефоны, соединенные со звуковым синтезатором персонального компьютера. Для выполнения учебного задания используется компьютерная программа раrсот.ехе и mbe.exe*.

* Этот опыт можно проводить и без компьютера, имея набор стандартных цветовых карточек. Естественно, что в таком случае экспериментатор должен предварительно подготовить квазислучайную последовательность предъявления стимульных пар и протокол, куда будут заносится ответы испытуемого.
Стимуляция. На экране монитора предъявляются цветные прямоугольники из набора восьмицветного теста цветовых предпочтений Люшера: синий, зеленый, красный, желтый, фиолетовый, коричневый, черный и серый.

Процедура опыта. При отработке задания каждый студент выступает сначала в роли испытуемого, а затем обрабатывает собственные данные. Испытуемый сидит на расстоянии 1 м от экрана дисплея. Опыт состоит из 2-х серий.

В первой серии испытуемому предлагается оценить по 10-балльной шкале приятность каждого цвета. Для этого на экране монитора ему предъявляется вертикальная графическая шкала с десятью оценочными градациями от "невообразимо приятный — 10 баллов" до "невообразимо неприятный — 0 баллов" . Внизу экрана в случайном порядке расположены 8 цветных прямоугольников. Используя клавиши управления движением курсора <�←> и <�→>, испытуемый может перемещать белую рамку от одного прямоугольника к другому и, таким образом, осуществлять свой выбор. Выбрав тот стимул, который нужно оценить, испытуемый нажимает на клавишу "Tab" и вводит нужное число от 0 до 10. Справа от графической шкалы на соответствующем месте появляется прямоугольник того же цвета, а в нижнем ряду он исчезает. Действуя таким образом, испытуемый поочередно оценивает все 8 стимулов.

Во второй серии цветные прямоугольники предъявляются парами, и задача испытуемого заключается в том, чтобы оценить, какой из 2-х цветов ему нравится больше. Для ответа используются две клавиши управления движением курсора: <�←> (левый нравится больше) и <�→> (правый нравится больше). Как только испытуемый дает ответ, на экране появляется следующая пара стимулов. Всего предъявляются 144 пробы, т.е. все цвета встречается друг с другом по 6 раз. Три раза каждый из цветов предъявляется слева, три раза — справа. В верхнем правом углу экрана каждый раз высвечивается порядковый номер пробы.

Обработка результатов. После опыта студенту выдается компьютерная распечатка, в которой представлены: 1) по результатам первой серии — балльные оценки всех 8 цветов; 2) по результатам второй серии — усредненная по 6 предъявлениям матрица частот (F) 8х8, элементом матрицы fi,j является частота, с которой в пape j,i стимул i оценивался более красивым, чем стимул j. При необходимости можно переписать на дискету файл с данными: его имя соответствует фамилии испытуемого, написанной латинскими буквами, а расширение — трс.

Обработка результатов заключается в построении по каждой серии индивидуальной и групповой шкал*. По данным, полученным в первой серии, строится шкала порядка, по данным второй серии — шкала интервалов. Для получения групповых данных каждый испытуемый должен свести в таблицу и усреднить свои данные с данными других четырех испытуемых. Причем в академической группе студентов (как правило, 12—15 человек) не должно быть повторяющихся результатов.

* В случае получения по индивидуальным данным неполной матрицы вероятностей, т.е. состоящей из большого количества нулей и единиц, обрабатываются только групповые результаты. Будем считать матрицу неполной, если более 30% ее элементов, т.е. 23 и больше, равны нулю или единице.
Обсуждение результатов. При обсуждении полученных результатов каждый испытуемый должен сравнить расположение стимулов по шкале порядка и шкале интервалов и сделать заключение о преимуществах и недостатках каждого метода. Стоит подумать о метрических преимуществах шкалы интервалов, и об отражении в шкальных значениях более тонких особенностей сходства или различия между стимулами. Кроме того, необходимо дать сравнительную оценку индивидуальной и групповой шкал.

Следует также сопоставить исходные положения модели с полученными в эксперименте результатами и сделать выводы (сравнительно с другими методами) о преимуществах и недостатках метода парных сравнений.

1   ...   10   11   12   13   14   15   16   17   ...   25

Похожие:

Института \"Открытое общество\" (Фонд Сороса) в рамках программы \"Высшее образование\". Редакционный совет: В. И бахмин, Я. М. Бергер, Е. Ю. Гениева, Г. Г. Дилигенский, В. Д. Шадриков icon Ceu р. Н. Дандекар от вед к индшю эволюционирующая мифология
Данное издание выпущено в рамках программы Центрально-Европейского Университета «Translation Project» при поддержке Центра по развитию...
Института \"Открытое общество\" (Фонд Сороса) в рамках программы \"Высшее образование\". Редакционный совет: В. И бахмин, Я. М. Бергер, Е. Ю. Гениева, Г. Г. Дилигенский, В. Д. Шадриков icon Анализ
Профессиональный уровень должностных лиц отдела характеризуется: 1 (25%) сотрудник имеет высшее специальное образование, 4 (75%)...
Института \"Открытое общество\" (Фонд Сороса) в рамках программы \"Высшее образование\". Редакционный совет: В. И бахмин, Я. М. Бергер, Е. Ю. Гениева, Г. Г. Дилигенский, В. Д. Шадриков icon Анализ
Профессиональный уровень должностных лиц отдела характеризуется: 1 (33%) сотрудник имеет высшее специальное образование, 3 (66%)...
Института \"Открытое общество\" (Фонд Сороса) в рамках программы \"Высшее образование\". Редакционный совет: В. И бахмин, Я. М. Бергер, Е. Ю. Гениева, Г. Г. Дилигенский, В. Д. Шадриков icon Программа «Восток Восток»
Общественный центр «Права человека и службы безопасности России» выражает благодарность фонду Джорджа Сороса за помощь в проведении...
Института \"Открытое общество\" (Фонд Сороса) в рамках программы \"Высшее образование\". Редакционный совет: В. И бахмин, Я. М. Бергер, Е. Ю. Гениева, Г. Г. Дилигенский, В. Д. Шадриков icon Должностная инструкция ассистента кафедры
На должность ассистента кафедры назначается лицо, имеющее высшее образование по профилю кафедры или высшее образование и стаж практической...
Института \"Открытое общество\" (Фонд Сороса) в рамках программы \"Высшее образование\". Редакционный совет: В. И бахмин, Я. М. Бергер, Е. Ю. Гениева, Г. Г. Дилигенский, В. Д. Шадриков icon Российской Федерации Федеральное агентство по образованию
Процедура самообследования Международного славянского института проведена в рамках подготовки к комплексной экспертной оценке деятельности...
Института \"Открытое общество\" (Фонд Сороса) в рамках программы \"Высшее образование\". Редакционный совет: В. И бахмин, Я. М. Бергер, Е. Ю. Гениева, Г. Г. Дилигенский, В. Д. Шадриков icon Законодательство о труде
Высшее профессиональное образование, без предъявления требований к стажу работы или среднее профессиональное образование и стаж работы...
Института \"Открытое общество\" (Фонд Сороса) в рамках программы \"Высшее образование\". Редакционный совет: В. И бахмин, Я. М. Бергер, Е. Ю. Гениева, Г. Г. Дилигенский, В. Д. Шадриков icon Должностная инструкция
На должность врача-физиотерапевта назначается лицо, имеющее высшее медицинское образование, прошедшее послевузовскую подготовку или...
Института \"Открытое общество\" (Фонд Сороса) в рамках программы \"Высшее образование\". Редакционный совет: В. И бахмин, Я. М. Бергер, Е. Ю. Гениева, Г. Г. Дилигенский, В. Д. Шадриков icon Руководство администратора ис мдм выполнение работ, оказание услуг...
Закрытое акционерное общество лаборатория новых информационных технологий «ланит»
Института \"Открытое общество\" (Фонд Сороса) в рамках программы \"Высшее образование\". Редакционный совет: В. И бахмин, Я. М. Бергер, Е. Ю. Гениева, Г. Г. Дилигенский, В. Д. Шадриков icon В. Д. Шадриков " 05 " апреля 2000 г
Нормативный срок освоения основных образовательных программ подготовки морского инженера в рамках направления подготовки дипломированного...
Института \"Открытое общество\" (Фонд Сороса) в рамках программы \"Высшее образование\". Редакционный совет: В. И бахмин, Я. М. Бергер, Е. Ю. Гениева, Г. Г. Дилигенский, В. Д. Шадриков icon Отчет о выполнении работ, оказании услуг в рамках реализации государственной...
О выполнении работ, оказании услуг в рамках реализации государственной программы российской федерации «информационное общество (2011-2020...
Института \"Открытое общество\" (Фонд Сороса) в рамках программы \"Высшее образование\". Редакционный совет: В. И бахмин, Я. М. Бергер, Е. Ю. Гениева, Г. Г. Дилигенский, В. Д. Шадриков icon Отчет о выполнении работ, оказании услуг в рамках реализации государственной...
О выполнении работ, оказании услуг в рамках реализации государственной программы российской федерации «информационное общество (2011-2020...
Института \"Открытое общество\" (Фонд Сороса) в рамках программы \"Высшее образование\". Редакционный совет: В. И бахмин, Я. М. Бергер, Е. Ю. Гениева, Г. Г. Дилигенский, В. Д. Шадриков icon Программа опытной эксплуатации ис мдм выполнение работ, оказание...
Закрытое акционерное общество лаборатория новых информационных технологий «ланит»
Института \"Открытое общество\" (Фонд Сороса) в рамках программы \"Высшее образование\". Редакционный совет: В. И бахмин, Я. М. Бергер, Е. Ю. Гениева, Г. Г. Дилигенский, В. Д. Шадриков icon Отчет о развертывании стендов с ис мдм с реквизитами доступа для...
Выполнение работ, оказание услуг в рамках реализации государственной программы Российской Федерации «Информационное общество (2011-2020...
Института \"Открытое общество\" (Фонд Сороса) в рамках программы \"Высшее образование\". Редакционный совет: В. И бахмин, Я. М. Бергер, Е. Ю. Гениева, Г. Г. Дилигенский, В. Д. Шадриков icon Должностная инструкция ведущего арт-менеджера Дома актера Свердловского...
Всероссийское театральное общество) (далее по тексту – Отделение), назначается лицо, имеющее высшее или среднее специальное образование,...
Института \"Открытое общество\" (Фонд Сороса) в рамках программы \"Высшее образование\". Редакционный совет: В. И бахмин, Я. М. Бергер, Е. Ю. Гениева, Г. Г. Дилигенский, В. Д. Шадриков icon Открытое акционерное общество «Обьгаз»
Открытое акционерное общество «Обьгаз», именуемое в дальнейшем Исполнитель, в лице %ВЛице%, с одной стороны, и собственник жилого...

Руководство, инструкция по применению






При копировании материала укажите ссылку © 2024
контакты
rykovodstvo.ru
Поиск