Отчет о научно-исследовательской работе по теме: «Исследование вопросов применения новых технологий обработки больших данных в сфере информатизации культуры»

Список исполнителей 3

Реферат 5

ОПРЕДЕЛЕНИЯ, ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ 8

ВВЕДЕНИЕ 9

1Направление исследований и описание выбранной общей методики 11

2Обследование существующей схемы организации работы Минкультуры России 12

2.1Обследование основных направлений деятельности Минкультуры России 12

1.Руководство министерства 13

2.Помощники и советники Министра 13

3.Департамент государственной поддержки искусства и народного творчества 13

4.Департамент кинематографии 14

5.Департамент культурного наследия 14

6.Департамент науки и образования 14

7.Департамент международного сотрудничества 14

8.Департамент экономики и финансов 14

9.Департамент управления имуществом и инвестиционной политики 14

10.Департамент туризма и региональной политики 15

11.Департамент контроля, надзора и лицензирования в сфере культурного наследия 15

12.Нормативно-правовой департамент 15

13.Департамент контроля и кадров 15

14.Департамент управления делами 15

2.1.1Результаты обследования деятельности функциональных подразделений Минкультуры России 16

2.1.2Результаты обследования информационных потоков Минкультуры России 22

1.Структурированные данные. К ним относится информация внутренних информационных систем и баз данных; справочная, статистическая и отчетная информация территориальных органов власти Российской Федерации в сфере культуры, а также подведомственных организаций Минкультуры России в электронном виде – используемые в текущей деятельности департаментов ведомства; 22

2.Полуструктурированные данные. Складываются из данных на неэлектронных носителях: бумажные документы (первичные документы; данные внутреннего документооборота (бумажного и электронного), включая приказы, поручения, протоколы и распоряжения руководителей всех уровней; нормативные акты федерального, регионального, местного уровня; результаты заказных исследований; данные бухгалтерского и финансового учета и другой обязательной отчетности за текущий и прошлые периоды; другие данные), пленочные носители (архив кинофотодокументов), и потенциально могут быть использованы в текущей деятельности департаментов Минкультуры России; 22

3.Неструктурированные данные. К этой категории информации можно отнести: СМИ (крупные блоги, газеты, журналы, телевидение, интернет-порталы, исследовательские и аналитические агентства), социальные сети (информация, получаемая за счет мониторинга активности граждан в социальных сетях, просмотренных ими страниц публичных сервисов вроде YouTube или Flickr, комментариев на форумах и т.п.) – частично используются в текущей деятельности (Пресс-служба Министерства культуры России), потенциально масштабы (и направления) использования могут быть расширены. 22

2.2Обследование вопроса текущей автоматизации деятельности Минкультуры России 25

1.ИС статистики деятельности учреждений культуры – система содержит агрегированную статистическую информацию о деятельности различных учреждений культуры, такие как музеи, театры и т.д. Система предназначена для обеспечения руководства министерства (федерального агентства), органов управления отраслью, а также отдельных организаций (предприятий, учреждений) отрасли оперативной информацией о состоянии отрасли культуры. Данные в систему поступают двумя способами: из иных систем ведомства или путем загрузки excel-файлов. 25

15.АС «Автоматизация учета выполнения ФЦП» – автоматизированная система учета и контроля деятельности структурных подразделений Министерства культуры Российской Федерации, по размещению заказов на поставку товаров, выполнение работ, оказания услуг для государственных нужд. 25

16.Информационная система показателей технологических карт межведомственного взаимодействия – предназначена для организации информационного взаимодействия Минкультуры России с ГАС «Управление» в части централизованной передачи данных, полученных из различных внутренних информационных систем или путем ручного ввода, согласно утвержденным технологическим картам межведомственного взаимодействия. 25

17.Информационная система для публикации открытых данных и мониторинга развития отрасли культуры на официальном сайте Минкультуры России. 26

1.Brand Analytics – позволяет отследить все упоминания о бренде, компании, продукте, услуге или персоне из всех социальных медиа в режиме реального времени. Система автоматически определяет тональность высказываний, формирует связанные цепочки обсуждений, выделяет наиболее важные сообщения и темы, определяет размер аудитории и географию сообщений, выявляет тенденции и представляет информацию в виде интуитивно понятных графиков и отчётов. Brand Analytics осуществляет сбор данных из таких источников как: Twitter, ВКонтакте, Facebook, Одноклассники, Google+, LiveJournal, YouTube, Instagram, различные блоги, форумы, сайты отзывов, онлайн-СМИ и тематические сайты. Состав собираемой информации: текстовые русскоязычные сообщения посты, комментарии, новости, статьи, мнения и отзывы; информация об авторах сообщений имя, пол, возраст, география, количество читателей и др. 26

На данный момент система работает в тестовом режиме и используется для наблюдения за общественным мнением о деятельности Министерства культуры России в социальных сетях. Работа с системой ведется в ручном режиме путем поиска информации по заранее определенному набору ключевых слов. 26

18.Dow Jones Factiva (Factiva.com) – ресурс, позволяющий быстро выявлять факты и отслеживать тенденции, обеспечивать конкурентное преимущество и использовать на всем предприятии эффективные средства бизнес-аналитики. Решение позволяет быстро получить результаты, провести точный анализ и мониторинг новостей о компаниях, отраслях и положении дел в регионах. Решение Factiva.com включает крупнейшую подборку ведущих мировых источников информации, публикаций в сфере торговли и потребления, а также информацию с тысяч веб-сайтов – более 28 000 глобальных новостных и информационных источников из 159 стран на 25 языках. 26

На данный момент система работает в продуктивном режиме и используется для наблюдения за реакцией в СМИ о деятельности Министерства культуры России, в частности детально анализируются все сообщения, в которых упоминается Министр культуры или заместители Министра культуры. 26

19.Телемаркер – система одновременного мониторинга, анализа и трансляции прямого эфира новостных и информационно–аналитических программ в режиме реального времени. Источниками сигнала служат эфирные и спутниковые телеканалы, а также внутренние видеотрансляции организаций или мероприятий. Система позволяет производить моментальную выборку и воспроизведение интересующих телепрограмм в прямом эфире на одной полиэкранной ТВ-панели или мониторе компьютера, дает неограниченный доступ ко всему текущему телеэфиру, транскриптам и архивным записям с возможностью поиска, сортировки, скачивания и дальнейшей обработки видеоматериалов. Также имеется автоматический режим получения подписок, теледайджестов, а также мгновенных уведомлений об упоминании интересующей темы по e-mail и SMS. 27

На данный момент система работает в тестовом режиме и используется для наблюдения за общественным мнением о деятельности Министерства культуры России в телевизионном эфире. 27

На основании полученных аналитических данных из вышеупомянутых систем составляются отчеты для руководства Министерства, а также для заинтересованных подразделений. Полученные данные также используются для работы PR-службы, которая, в частности, занимается проактивными действиями по нейтрализации потенциальных скандалов вокруг Министерства. 27

1.Федеральная автоматизированная информационная система сведений о показах фильмов в кинотеатрах – предназначена для сбора, учёта и обработки сведений о публичной демонстрации кинофильмов в кинозалах российских кинотеатров. Оператором единой федеральной автоматизированной информационной системы сведений о показах фильмов в кинозалах (ЕАИС) является Федеральный фонд социальной и экономической поддержки отечественной кинематографии (Фонд кино) в соответствии с заключенным государственным контрактом на оказание услуг по модернизации и эксплуатации ЕАИС от 12.05.2014г. №1252-01-41/03/14. ЕАИС создана и функционирует во исполнение поручения Президента Российской Федерации Министерством культуры Российской Федерации. 27

2.Система учета выданных прокатных удостоверений на фильмы, созданные в Российской Федерации или приобретенные за рубежом для проката на ее территории – система основана на базе программного комплекса «Парус», в котором ведется учет выданных прокатных удостоверений на фильмы. 27

3.Система учета выданных удостоверений национальных фильмов – система основана на базе решения MS Access, в котором ведется учет выданных удостоверений национальных фильмов. 28

1.АС «Памятники» - система предназначена для решения оперативных задач учёта и управления объектами культурного наследия. Электронные архивы АС содержат графические изображения охраняемых объектов (планы и фотографии), что дает возможность предварительно ознакомиться с состоянием охраняемого объекта. В системе имеется возможность хранения файлов (в т.ч. образов документов). 28

1.ИС «Единый государственный реестр объектов культурного наследия» – система учета объектов культурного наследия, разработанная на базе Oracle, содержащая информацию о местоположении объекта, его характеристиках, приказах Министерства по объектам, изображение объектов и другую необходимую информацию. Система на данный момент находится в опытной эксплуатации. Перевод в промышленную информацию планируется в декабре 2014 года. 28

1.ИС статистики деятельности учреждений культуры – система содержит агрегированную статистическую информацию о деятельности различных учреждений культуры, такие как музеи, театры и т.д. Система предназначена для обеспечения руководства министерства (федерального агентства), органов управления отраслью, а также отдельных организаций (предприятий, учреждений) отрасли оперативной информацией о состоянии отрасли культуры; 28

2.«Консультант Плюс» справочно-правовая система. 28

1.«1С: Предприятие». Модули: «1С: Бухгалтерия», «1С: Зарплата и управление персоналом»; 28

3.Программный комплекс «Утраченные, перемещенные и возвращенные культурные ценности» программа – предназначена для сбора и обработки информации об утраченных в период Великой отечественной войны культурных ценностях, а также о культурных ценностях, ввезенных на территорию СССР в качестве репараций в счет погашения ущерба, нанесенного войной. Так же можно получить статистическую информацию о количестве тех или иных видов культурных ценностей, информация о которых находится в базе данных. Предусмотрена печать этих статистических данных, а также некоторых других отчетных документов; 28

4.Программный комплекс «ЭРПАС» – база данных системы ЭРПАС представляет собой набор реестров, в которых представлены культурные ценности; 29

5.Федеральная государственная информационная система «Государственный каталог Музейного фонда Российской Федерации» – государственный каталог представляет собой электронную базу данных, содержащую основные сведения о каждом музейном предмете и каждой музейной коллекции, включенных в состав Музейного фонда Российской Федерации; 29

6.«БОР-навигатор.Культура» – система по управлению процессами формирования государственного задания на оказание государственных услуг (выполнение работ); 29

7.«Высшие учебные заведения Минкультуры» – программа, позволяющая вести сбор информации об учебных заведениях Минкультуры России; 29

8.Программный комплекс «Бюджетное Планирование» – предназначен для формирования, согласования и ведения бюджетной росписи и лимитов бюджетных обязательств для главных распорядителей средств федерального бюджета; 29

9.Единая информационно-аналитическая система сбора и свода отчетности Министерства финансов Российской Федерации – предназначена для направления отчетности по формам указанным в приложении к письму Минфина России от 24.09.2012 № 21-05-06/1415; 29

10.Информационно-аналитическая система мониторинга ключевых показателей исполнения бюджетов бюджетной системы Российской Федерации (КПЭ) – предназначена для формирования оперативной информации о ходе и результатах исполнения бюджетов бюджетной системы Российской Федерации; 29

11.Система удалённого финансового документооборота (СУФД) – предназначена для формирования отчетности об исполнении бюджета и организации информационного взаимодействия органов Федерального казначейства с участниками процессов исполнения; 29

12.Программное обеспечение для заполнения форм статотчетности в режиме off-line автоматизация подготовки электронных версий форм статистической отчетности для передачи в Росстат России; 29

13.Программа «Формирование главными распорядителями средств справок на изменение сводной бюджетной росписи федерального бюджета» – предназначена для заполнения справок по изменению сводной бюджетной росписи и передачи их в электронном виде в Министерство финансов России; 30

14.«Ресурсы подведомственных организаций» – система содержит информацию о подведомственных организациях Министерства культуры Российской Федерации общие сведения, адреса, документы, сведения об имуществе; 30

15. «База данных по лицензированию деятельности в области реставрации объектов культурного наследия (памятников истории и культуры)» – программа позволяет регистрировать заявки юридических лиц и индивидуальных предпринимателей на получение лицензий для выполнения работ по реставрации объектов культурного наследия, формировать лицензионные дела, отслеживать их состояние, регистрировать входящую и исходящую корреспонденцию, организовать обмен электронными документами между структурными подразделениями лицензирующего органа, формировать отчеты по выданным лицензиям и отказам в выдаче лицензий, контролировать сроки рассмотрения лицензионных дел и сроки окончания действия лицензий; 30

16.«Мониторинг молодых дарований» – в стадии разработки по запросу Департамента науки и образования, предоставляет возможность сбора информации о талантливых детях Российской Федерации в разных областях культуры с группировкой и фильтрацией результатов. Внедрение планируется в 2013г., ввод в эксплуатацию планируется в 2014г; 30

17.Программа «Ведение бюджетной росписи и формирование расходных расписаний Главными распорядителями бюджетных средств»; 30

18.Модуль «Парус-Бухгалтерия» – предназначен для автоматизации ведения бухгалтерского учета в бюджетных учреждениях любого уровня. 30

19.Автоматизированная система учета и контроля деятельности структурных подразделений Министерства культуры Российской Федерации, по размещению заказов на поставку товаров, выполнение работ, оказания услуг для государственных нужд. 30

2.3Общие выводы по обследованию основных направлений деятельности Минкультуры России 31

3Исследование вопросов применимости технологии Big Data к направлениям деятельности Минкультуры России 35

3.1Обзор технологии Big Data 35

3.2Характеристика рынка Big Data 45

3.3Исследование опыта применения технологии Big Data в различных индустриях 54

3.3.1Результаты анализа опыта успешного и эффективного применения технологии Big Data на мировом и российском рынках 54

1.Применение технологий Big Data на этапе сбора и анализа сведений о поведении клиента на сайте банка, изучения истории его банковских операций, данных из социальных сетей. Используя эту информацию, система управления маркетинговыми коммуникациями готовит персональные рекламные предложения, которые отправляются клиенту банка по наиболее эффективному каналу (письмо по электронной почте, sms, рассылка, социальные сети и т.п.). 58

1.Оперативная маркетинговая реакция на интерес клиента к определенному продукту или услуге банка. На основе анализа данных о посещении клиентом сайта банка и страницы по заинтересовавшей его услуге система управления маркетинговыми коммуникациями формирует персонализированное предложение по данной услуге. Это предложение клиент получит при переходе на другой сайт, размещающий контекстную рекламу, или на свои странички в социальных сетях. 58

2.Анализ телефонных разговоров операторов call-центра с клиентами, в процессе которого оператору оперативно предоставляется необходимая информация предыдущей истории отношений с клиентом, формируются подсказки, позволяющие уточнить запросы клиента и побуждающие его к определенным действиям. 58

3.3.2Потенциальные возможности технологии Big Data, которые могут быть полезными в сфере деятельности Минкультуры России 62

3.4Оценка возможности адаптации технологии Big Data к прикладным задачам Минкультуры России 66

3.4.1Категории бизнес-процессов на предмет допустимого использования технологии 66

3.4.2Концепция перевода деятельности Минкультуры России на использование технологии Big Data 68

3.4.3Оценка ожидаемого результата применения технологии Big Data в Минкультуры России 72

3.5Формирование предложений для Минкультуры России по вариантам использования технологии Big Data 76

3.5.1Базовый алгоритм для геоаналитических задач 83

3.5.2Базовый алгоритм для задач по машинному обучению 83

3.5.3Реальная оценка посещаемости гражданами культурно-массовых мероприятий 84

3.5.4Реальная оценка полезности проводимых ведомством культурно-массовых мероприятий, анализ общественного мнения 88

3.5.5Анализ зоны влияния учреждений культуры в зависимости от их расположения на популяризацию культуры 90

3.5.6Помощь в принятии решения о месте проведения культурно-массовых мероприятий на основании анализа факторов, влияющих на его «удачность» 92

3.5.7Оценка эффективности использования денежных субсидий, выделяемых ведомством учреждениям культуры 95

3.5.8Отслеживание динамики общественно мнения в отношении деятельности Министерства и его руководства 97

3.5.9Количество публикаций в СМИ о деятельности каждого Департамента 98

3.5.10Образ Министерства 98

3.5.11Профиль потребителя услуг учреждений культуры 99

3.5.12Пересечение аудитории (демографическое, географическое и т.п.) 104

3.5.13Воспрепятствование продвижению на киноэкраны произведений, содержание которых выходит за рамки ограничений, предусмотренных действующими федеральными законами 105

4Обобщение и оценка результатов исследований 108

ЗАКЛЮЧЕНИЕ 109

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 111