Методы и технологии анализа данных и методика их использования смольникова Ирина Алексеевна

Скачать 50.42 Kb.

Название	Методы и технологии анализа данных и методика их использования смольникова Ирина Алексеевна
Тип	Анализ

rykovodstvo.ru > Руководство эксплуатация > Анализ

МЕТОДЫ И ТЕХНОЛОГИИ АНАЛИЗА ДАННЫХ И МЕТОДИКА ИХ ИСПОЛЬЗОВАНИЯ

Смольникова Ирина Алексеевна (ismolnikova@bk.ru)

Московский государственный университет (ФГУ МГУ имени М.В. Ломоносова)
Аннотация

Появилось много больших таблиц данных. Стали доступны и аналитические программы. Их возможности охватывают не только разведку (очистку и визуализацию) данных, но статистические и интеллектуальные методы выявления скрытых зависимостей для прогнозов и уменьшения размерности. Методику можно использовать при обучении не только студентов, но для предпрофессиональной подготовки с целью развития аналитических способностей.

В мире, а теперь и в России, в Интернете появилось много больших таблиц социально - экономических данных, даже с on-line визуализацией, например, [1]. Для некоторых показателей при малом количестве данных проведена только визуальная разведка. Для анализа в [2] даны этапы, модели, классы задач Data Mining и аналитические программы. Продемонстрируем в MS Excel (модуль анализа), Statistica, Deductor ход, модели и результаты аналитических исследований для 32-х показателей Росстата, собранных 85-ю субъектами РФ с 2009 года.

Подготовка данных (проблемы и решения)

Неполные данные (особенно, по культуре), остальные показатели:

Астраханская и Тюменская области без округов – с декабря 2013 года
Северо-Кавказский округ с 2010 года
Крым – с 2014 года (кварталы), с 2015 года – ежемесячно

Удаление региона или заполнение пропусков: назад и внутренние пропуски – по среднему, а прогноз вперёд – линейный
Опечатки: вместо запятой – точка  не число, а текст; пустота  может игнорироваться в Excel
Для импорта в ПО Statistica и Deductor – таблицы чисел в виде текстового файла с разделителем по столбцам.

Анализ временных рядов: в Excel построены графики с уравнениями тренда для обработки данных (на примере доли убыточных организаций со с.185-187 отчёта).
Модель в Excel с вычислением линейного прогноза (справа):

Рис. 1. Excel - модель мониторинга и прогноза значения показателя

прогноз 

надёжность R→

темп b1 →

лучший

 худший

начало b0 →
и указанием лучшего и худшего региона в каждый отчётный период (внизу).

Для типовых меняющихся данных моделирование – единственный способ отойти от кустарных решений к промышленной работе. Теперь можно менять данные и сразу получать ответ для сравнения результатов по различным показателям.

32

прогноз 

надёжность R→

темп b1 →

лучший

 худший

начало b0 →
Для корреляций, близких к 1, построены регрессии – формулы, с помощью которых:

доказана единая инвестиционная политика и найдены близкие по динамике регионы, например: Уральский округ = 1,117 * Приволжский + 0,84  3,6
найдена лучшая множественная линейная зависимость:

1 = 0,757 * 2 + 0,205 * 3 - 0,064 * 4 + 5,0163 ± 38,144, где номера показателей:

Индекс промышленного производства
Обрабатывающие производства
Производство и распределение электроэнергии, газа и воды
Доля отгруженных товаров РФ производства, работ и услуг, к max субъекту (Москва)

Сравнены характеристики надёжности в Deductor (81) и Excel (85)  аналогичны.
в Deductor можно строить 6-ти мерные диаграммы (3 пространственных, цвет, размер, вид фигуры).

Сэмплинг – уменьшение выборки до репрезентативной:

1) по 1 критерию удалось уменьшить с 85 до 48 со схожестью 99,7%

2) сразу по 4-м факторам, но стратифицированный: уменьши с 85 до 42-х субъектов.

Кластеризация – объединение «похожих по критерию» объектов в сравнительно однородные группы, существенно отличающиеся от других групп. Для каждой группы похожих регионов – выработать стратегию их развития, распространить удачный опыт.

Задали 4 кластера по населению или Deductor сам разбил на 5 кластеров по экономике.

Операции V-VI осуществлены посредством Data Mining: вместо неизвестных математических формул нейронные сети с обучением подбирают коэффициенты.

Трудоёмкость этапов анализа больших данных:

Выборка данных – 25%
Очистка – 25%
Трансформация – 20%
Data Mining – 15%
Интерпретация – 15%+

Авторские материалы [2] и методику их использования в электронном виде можно скопировать сhttps://sites.google.com/view/2017-fgu-iat/задания. Методика апробирована на различных магистрах факультета государственного управления (ФГУ), показала возрастание интереса к исследованию и повышение качества анализа данных. Для сильных студентов – не только работа по инструкции, но и создание своих моделей поддержки и принятия управленческих решений.

Тенденции развития рынка и перспективы Business Intelligent перечислены в [2, 3].

Литература

1. Центральная база статистических данных (ЦБСД) на Едином Интернет-портале Росстата: http://cbsd.gks.ru.

2. Смольникова И.А. Методы и технологии анализа данных. // Гос. управление РФ: вызовы и перспективы: Матер.14-й междунар. конференции, секция 2 (инновации). – ФГУ МГУ им.М.В. Ломоносова, 2016, 8 стр.

3. Лавренова Е.В., Смольникова И.А. Технологии анализа данных и методика их использования. // Сб.27-й Межд. конференции-выставки «Применение новых педагогических технологий» – М.: Троицк, 2016 Секция 1, с.129-131.

Похожие:

	Программа дисциплины «информационные технологии в менеджменте» для... Дисциплина включает два раздела: «Часть I. Методы и инструменты анализа данных в логистике» (I курс, 3 и 4 модуль) и «Часть II. Системы...		Ирина Алексеевна «экономия экологии» В этих условиях большое значение приобретает экологическое просвещение как составная часть воспитания
	Пояснительная записка автор (фамилия, имя, отчество полностью ) загружаемого... Муниципальное бюджетное общеобразовательное учреждение «Павловская средняя общеобразовательная школа»		Государственная фармакопея СССР одиннадцатое издание выпуск 2 общие методы анализа Подготовка Государственной фармакопеи СССР XI издания (гф XI) выпуска 2 "Общие методы анализа. Лекарственное растительное сырье"...
	Методы диагностики изучения уровня развития внимания учащихся коррекционной школы Изучение особенностей внимания учащихся можно проводить используя экспериментальные методики: методика «Корректурная проба» (вариант...		Конкурсное задание Компетенция Проводит отбор проб и образцов для проведения анализа; определяет оптимальные средства и методы анализа; проводит качественный и...
	Критерии выбора (классы энергоэффективности, стоимость) Вопросы-ответы Методы и технологии энергосбережения тэр в быту за счет использования бытовых приборов (оборудования, техники)		Программа дисциплины «Системы статистического и интеллектуального анализа данных» «Системы статистического и интеллектуального анализа данных» для направления 080700. 68
	Задачи анализа хозяйственной деятельности 2 Методика анализа объема... Анализ хозяйственной деятельности на предприятии зао «Константин и К» г. Озерска		Котлер Ф., Картаджайа Х., Сетиаван А. Маркетинг 0: от продуктов к... Кроме описания классических инструментов маркетингового анализа, представлены новые авторские, довольно эффективные и интересные...
	Интервью для направления 040100. 68 «Прикладные методы социального анализа рынков» Программа предназначена для преподавателей, ведущих данную дисциплину, учебных ассистентов и студентов направления 040100. 68, обучающихся...		Галогенирование Для реакций получения галогенсодержащих соединений приведены основные механизмы реакций и представлены методы синтеза. С целью идентификации...
	Методика анализа тональности текста Метод автоматического анализа тональности текста в применении к социологическим задачам		Методика обучения письму младших школьников («письмо с секретом»... Юзоуо гоу сош №2006, Москва, Заслуженный учитель России, Отличник народного просвещения
	Методы и технологии практической работы с детьми по профилактике... Представленные в параграфе методы и технологии практической работы могут использоваться в работе педагогами в образовательных учреждениях...		И описание профессиональной компетенции Техники должны быть готовы определять оптимальные средства и методы анализа, природных и промышленных материалов; проводить качественный...

Руководство, инструкция по применению