Оценка возможности адаптации технологии Big Data к прикладным задачам Минкультуры России
-
Категории бизнес-процессов на предмет допустимого использования технологии
Исходя из результатов проведенного обследования основных направлений деятельности Министерства культуры России, анализа технологии и опыта применения Big Data можно выделить следующие категории бизнес-процессов на предмет допустимого использования технологии Big Data:
Мониторинг CМИ в отношении деятельности Министерства и его руководства;
Обеспечение доступности продукции и услуг кинематографии для всех слоев населения;
Содействие сохранению и развитию всех видов и жанров профессионального искусства (музыкального, театрального, циркового, изобразительного) и народного творчества Российской Федерации;
Осуществление экономического анализа деятельности подведомственных федеральных государственных учреждений и унитарных предприятий в сфере профессионального искусства и народного творчества;
Воспрепятствование продвижению на киноэкраны произведений, содержание которых выходит за рамки ограничений, предусмотренных Конституцией Российской Федерации и действующими федеральными законами;
Защита детей от содержащейся в киновидеофильмах информации, причиняющей вред их здоровью и развитию.
На основе выделенных бизнес-процессов далее будет сформирован перечень предложений по использованию технологии Big Data в Министерстве культуры России.
-
Концепция перевода деятельности Минкультуры России на использование технологии Big Data
По результатам проведенного обследования основных направлений, а также уровня автоматизации текущей деятельности Минкультуры России было выявлено, что эффективность решения прикладных задач, стоящих перед Министерством, зависит от грамотной организации информационных потоков и связана с дальнейшим совершенствованием используемых программно-технических средств. Достижение положительных результатов в указанных направлениях возможно только при условии формирования полной и адекватной модели управления информацией – создания единого информационного пространства.
Учитывая тот факт, что в ходе настоящего проекта была выявлена потребность в сборе и взаимной увязке данных, получаемых из множества различных источников, формирование единого информационного пространства в Минкультуры России рекомендуется осуществлять на основе комплексного решения, включающего в себя технологии Big Data в соответствии с рисунком 11.
Рисунок – Схема концептуального программно-технического решения с использованием технологии Big Data.
Предлагаемое комплексное программно-техническое решение состоит из следующих компонентов:
Источники данных;
Сбор, обработка и хранение данных;
Анализ и потребление данных;
Управление данными.
Источники данных
Этот компонент включает в себя все источники данных, содержащие ценные сведения, требующиеся для решения прикладных задач, стоящих перед Минкультуры России. Данные (структурированные, полуструктурированные и неструктурированные) могут поступать в систему из множества различных источников:
Унаследованные информационные системы – ИТ-приложения, обеспечивающие функционирование внутренних процессов Минкультуры России;
Данные в виде электронных таблиц Microsoft Excel и документов Microsoft Word – официальные данные (отчетность, статистика), внутренние политики, нормативно-правовая информация и различные документы других видов;
Внутренние базы данных и реестры;
Информация от различных поставщиков агрегированных данных (операторы сотовой связи, аналитические агентства и проч.);
Дополнительные источники данных (географическая информация, карты, региональные сведения, навигационные инструменты, социальные сети, электронная почта, блоги, СМИ и проч.).
Сбор, обработка и хранение данных
Данный компонент отвечает за получение всех видов данных из источников данных и, в случае необходимости, за преобразование их в нужный формат для последующего анализа (например, преобразование изображения, которое позволяло бы с целью дальнейшей обработки сохранить его в HDFS-хранилище (Hadoop Distributed File System) или в репозитарии на основе реляционной базы данных).
Целевая архитектура предлагаемого комплексного программно-технического решения предусматривает сбор данных по двум направлениям:
Загрузка данных в систему из информационных систем Минкультуры России и последующая их обработка. При этом источники структурированных данных должны быть интегрированы с разрабатываемой в настоящий момент в Минкультуры России в рамках отдельного проекта системной интеграционной шиной, позволяющей иметь стандартизированный доступ к данным для всех систем-потребителей. После того, как данные готовы к сбору, используется стандартный механизм ETL для сбора, преобразования к фиксированному формату и загрузки данных в хранилище с согласованной периодичностью. После ETL процесса, данные в хранилище доступны для создания витрин и построения на их основе управленческой отчетности.
Загрузка и последующая обработка полуструктурированных и неструктурированных данных. В данном случае сложнейшие алгоритмы на Hadoop и машинное обучение позволят выделить из подобного рода информации наиболее важные и актуальные данные, недоступные для использования ранее. Далее информация поступает в интеллектуальный интегрированный архив, содержащий в себе все необходимые алгоритмы по обработке информации и выявлении скрытых закономерностей в данных.
Таким образом, компонент сбора, обработки и хранения данных должен быть достаточно интеллектуальным для обеспечения совокупной работы системы со структурированной и неструктурированной информацией, позволяющей обогащать данные дополнительными атрибутами как на стороне реляционных баз данных, так и на стороне Big Data, а также для принятия самостоятельного решения о необходимости тех или иных манипуляций с данными перед их сохранением или о непосредственной отправке этих данных на уровень бизнес-анализа.
Анализ и потребление данных
После всех преобразований информация попадает в BI (Business Intelligence) инструмент, предоставляющий удобный способ просмотра и анализа любой информации.
В рамках данного компонента происходит чтение и осмысление обработанных данных с помощью следующих инструментов:
Идентификация и наполнение контекстно-зависимых сущностей, используемых аналитическими механизмами при выполнении анализа.
Аналитический механизм используется для обработки данных и их последующего анализа, может иметь различные потоки работ, алгоритмы и инструменты с поддержкой параллельной обработки данных.
Сопровождение различных статистических моделей, а также верификация и валидация этих моделей посредством непрерывного обучения с целью повышения их точности.
Далее результаты анализа потребляются различными пользователями внутри Минкультуры России, а также внешними по отношению к нему субъектами (другими органами государственной власти на всех уровнях управления, гражданами Российской Федерации и других государств, СМИ и проч.).
Также внутренним пользователям предоставляется возможность для поиска данных, для их понимания и для навигации по этим данным внутри Минкультуры России и за его пределами. Кроме того, для повышения эффективности текущей деятельности функциональных подразделений Минкультуры России результаты обработки и анализа данных в системе смогут быть использованы в реализации следующих механизмов:
Мониторинг событий/ключевых показателей эффективности в режиме реального времени с возможностью автоматической рассылки уведомлений/предупреждений заинтересованной группе пользователей в структуре Минкультуры России;
Формирование отчетности (специальные отчеты, плановые отчеты, самостоятельные запросы и исследования и проч.), а также формирование специализированных инструментальных панелей для разных категорий пользователей в структуре Минкультуры России для повышения эффективности и обоснованности принимаемых управленческих и операционных решений.
Визуализация и обнаружение необходимых данных в рамках одного пользовательского интерфейса посредством инструментов навигации по данным в различных используемых источниках данных внутри Минкультуры России и за его пределами.
Управление данными
Данный компонент охватывает всю логическую структуру предлагаемого комплексного программно-технического решения и включает в себя:
Интеграция информации – подключение к различным источникам данных;
Разработка инструкций, политик и нормативных требований для принятия решений относительно данных в рамках контроля, структурирования, хранения и защиты данных с момента их поступления в систему до момента их уничтожения или архивирования.
Качество данных – своевременность предоставления данных с учетом необходимой актуальности, точность верификации данных, непротиворечивость данных и т.п.
Разработка политики в области конфиденциальности и безопасности используемых системой данных, организации доступа к ним и обеспечение хранения этих данных.
Суммируя все вышесказанное, можно выделить ряд преимуществ от использования предлагаемой схемы реализации комплексного программно-технического решения с использованием технологии Big Data и формирования на его основе единого информационного пространства в Минкультуры России:
Формирование единого информационного пространства и интеграция ключевых систем, используемых в текущей деятельности департаментов;
Оперативная аналитика на детальных данных;
Индикация ключевых событий в реальном времени;
Анализ ранее недоступных видов информации;
Отсутствие ограничений по объемам и нагрузке;
Поиск по смыслу и по ключевым словам и другие.
Настоящую концепцию перевода деятельности Минкультуры России на использование технологии Big Data следует рассматривать не только как программно-техническое комплексное решение, позволяющее качественно повысить уровень информационно-технического и информационно-аналитического обеспечения деятельности функциональных департаментов Минкультуры России, но и как долговременную концептуальную программу, формирующую основные направления информатизации в сфере культуры.
-
Оценка ожидаемого результата применения технологии Big Data в Минкультуры России
Учитывая масштабность и комплексность предлагаемого в рамках настоящего НИР концептуального решения по формированию единого информационного пространства в Минкультуры России с использованием технологий Big Data, а также различные уровни, глубину и степень влияния современных технологий хранения, обработки и анализа больших данных на повышение эффективности деятельности Минкультуры России, ожидаемые эффекты от их реализации могут быть разделены на следующие группы:
Общеполитические и системные эффекты (эффекты для федерального уровня системы управления в сфере культуры и всей системы в целом);
Эффекты, обуславливающие повышение качества деятельности в сфере культуры;
Эффекты, связанные с ростом эффективности деятельности в сфере культуры;
Эффекты, приводящие к повышению доступности современных информационных технологий в сфере культуры;
Социальные эффекты (эффекты, касающиеся прежде всего работников сферы культуры РФ).
Общеполитические и системные эффекты
К общеполитическим (обеспечивающим гарантии конституционных прав граждан и влияющие на международное положение России) и системным эффектам (влияющим на развитие сферы культуры в целом) относятся:
Создание условий для повышения конкурентоспособности Российской Федерации в сфере культуры на международной арене;
Повышение туристической и культурной привлекательности России на международной арене;
Повышение доступности информации о сфере культуры Российской Федерации для граждан страны и за ее пределами;
Формирование базы для развития технологий, методологий и перспективных форм процесса информатизации культуры с использованием современных информационных технологий, в том числе технологии Big Data;
Расширение сферы и повышение эффективности просветительской деятельности в области культуры в Российской Федерации и т.д.
Повышение качества деятельности в сфере культуры
К эффектам, связанным с повышением качества деятельности Минкультуры России, относятся:
Упрощение (снижение стоимости, повышение качества данных, экономия времени) процедур контроля деятельности органов государственной власти субъектов Российской Федерации в области культуры и подведомственных организаций Минкультуры России при использовании коммуникационных интерфейсов и централизованных информационных систем в рамках единого информационного пространства Минкультуры России;
Сохранение и приумножение информации, кадрового и материального потенциалов, накопленных учреждениями в сфере культуры;
Расширение объемов и повышение качества электронных ресурсов и баз данных, создание и развитие информационной базы для развития информатизации сферы культуры России, продвижение новых технологий в сферу культуры;
Мониторинг и обсуждение предложений по развитию культуры в Российской Федерации и повышению качества и эффективности деятельности Минкультуры России со стороны профессионального сообщества и населения.
Повышение эффективности деятельности в сфере культуры
К эффектам, влияющим на повышение эффективности деятельности в сфере культуры (прежде всего на снижение затрат, повышение возврата от инвестиций в развитие культуры) относятся:
Минимизация затрат на техническую поддержку электронных ресурсов при их централизации, расширение возможностей использования передового опыта, лучшей практики, готовых материалов и заготовок;
Обеспечение эффективности деятельности по управлению и государственному регулированию сферой культуры за счет организации эффективного использования1 цифровых ресурсов и современных технологий управления и анализа данных при решении прикладных задач Минкультуры России;
Появление эффективных механизмов управления издержками (в т.ч. механизмов аналитической поддержки принятия управленческих решений) на создание и использование административного аппарата, обеспечения прозрачности бюджетных расходов, противодействия нецелевому использованию бюджетных средств;
Повышение эффективности инвестиций в развитие культуры, в расширение сферы использования информационных технологий в сфере культуры за счет адресности, приоритезации объектов инвестирования с учетом полного комплекса реальных показателей эффективности расходования бюджетных средств и будущих потребностей развития культуры Российской Федерации;
Появление альтернативных, экономически и технологически эффективных способов управления и аналитической обработки (нового поколения) в противовес экономически необоснованным процедурам, базирующимся в основном на ручной обработке больших объемов бумажных документов и т.п.
Повышение доступности современных информационных технологий
К эффектам от реализации мероприятий по формированию единого информационного пространства и внедрению современных технологий управления и анализа данных в Минкультуры России, способствующим повышению доступности современных информационных технологий в сфере культуры (доступности данных, расширения количества их источников, доступности аналитических сервисов) относятся:
Увеличение охвата информационных источников и данных различного характера и формата при решении прикладных аналитических задач Минкультуры России при общем снижении затрат на организацию процесса управления информационными потоками;
Обеспечение доступности современных информационно-технологических и аналитических инструментов за счет организации доступа к цифровым электронным ресурсам Министерства культуры и за его пределами;
Развитие единого информационного пространства в рамках Минкультуры России и страны в целом, подразумевающее обеспечение возможности получения различного рода данных и результата их аналитической обработки в любой точке создаваемого информационного пространства и т.д.
Социальные эффекты
К социальным эффектам от реализации предлагаемых в настоящем НИР решений относятся:
Формирование и информационно-технологическая поддержка новых механизмов аналитической деятельности работников сферы культуры;
Снижение рабочей нагрузки на состав специалистов на всех уровнях управления в сфере культуры за счет замены рутинных процедур по сбору и подготовке отчетных материалов на высокотехнологичные:
Повышение и выравнивание уровня информационно-технологической подготовки работников сферы культуры на всей территории страны, быстрое распространение передовых методик и современных технологий;
Повышение комфортности рабочего процесса, сокращение числа профессиональных заболеваний, вызванных, в том числе, перегрузками;
Увеличение показателей использования высококвалифицированного персонала в сфере информационных технологий, рост доходов специалистов в области информационных технологий, занятых в сфере культуры и т.д.
|
