ISSN 1814-119 http://journals.nstu.ru/vestnik
|
Научный вестник НГТУ
|
Scientific Bulletin of NSTU
|
том 53, № 4, 2018, с. 215-219
|
Vol. 53, No. 4, 2018, pp.215-219
|
|
ОбРАБОТКА ИНФОРМАЦИИ INFORMATION PROCESSING
УДК 612.743, 612.817.2
Распознавание мышечных усилий по сигналу лицевой электромиограммы в режиме реального времени *
Р.Ю. БУДКО1, Н.Н. ЧЕРНОВ2, А.Ю. БУДКО3
1 347928, РФ, г. Таганрог, ГСП-17а, пер. Некрасовский, 44, Южный федеральный университет, аспирант. E-mail: raisa-budko@ya.ru
2 347928, РФ, г. Таганрог, ГСП-17а, пер. Некрасовский, 44, Южный федеральный университет, д.т.н, профессор кафедры ЭГА и МТ. E-mail: nnchernov@sfedu.ru
3 347928, РФ, г. Таганрог, ГСП-17а, пер. Некрасовский, 44, Южный федеральный университет, к.т.н.. E-mail: aptem_budko@mail.ru
В работе рассматривается задача предобработки исходных данных в целях выделения информативных признаков сигнала ЭМГ во временной области в целях классификации мимических движений. Выделенные признаки обрабатываются классификатором искусственной нейронной сети (ИНС) на основе радиально-базисных функций (РБФ). Для повышения эффективности обучения ИНС предложено использовать метод биологической обратной связи (БОС), что позволяет повысить точность классификатора за счет меньшей вариабельности входного сигнала для различных движений. Представлены результаты эксперимента по исследованию эффективности классификатора мимических движений работающего в режиме реального времени. На исследовательской группе из десяти добровольцев получена выборка для обучения классификатора, также с их участием экспериментально оценена эффективность использования в качестве входного вектора признаков классификатора шести типов признаков ЭМГ, вычисленных во временной области. В результате сравнения доказана высокая информативность такого признака ЭМГ как огибающая сигнала, вычисленная посредством преобразования Гильберта с последующим усреднением по пиковым значениям. В качестве инструмента предобработки исходных данных для выделения признаков можно рекомендовать построение огибающей с усреднением по пиковым значениям по 10 отчетам сигнала (при частоте дискретизации 1 кГц) в качестве входного вектора признаков. Ошибка распознавания мимических движений с использованием предлагаемого классификатора в режиме реального времени составила не более 4,8%, что является приемлемым уровнем для использования классификатора в составе систем управления бытовыми устройствами.
Ключевые слова: биоуправление, электромиограмма, распознавание, обработка сигнала, извлечение признаков, искусственные нейронные сети
DOI: 10.17212/1814-1196-2016-2-70-89
ВВЕДЕНИЕ
В России в настоящее время насчитывается около 1,3 миллиона человек, имеющих первую группу инвалидности. Треть из них – это инвалиды, имеющие серьёзные функциональные ограничения [1]. Для того, чтобы помочь этим людям, особенно тем, кто получил инвалидность в результате инсультов, травм и нейро-дегенеративных заболеваний, в последняя время предлагается использование интерфейса «человек-машина» [2,3]. Авторами предлагается интерфейс, который основывается на распознавании нервно-мышечных сигналов, полученных в результате мимических движений. Данный метод основан на использовании электромиографического (ЭМГ) сигнала. Этот сигнал позволяет получать информацию о нервно-мышечной активности, которая его вызывает.
Согласно исследованиям, связанным с управлением протезом жестами руки, комфортным можно назвать управление, когда процент ошибок по каждому жесту не превышает 5-6% от общего числа совершаемых движений [4,5]. Для возможности практического применения, классификатор должен быть способен работать в режиме реального времени. Ни в одном из доступных авторам источниках не были представлены результаты исследования возможности обработки и классификации лицевой ЭМГ в реальном масштабе времени. В данной работе проведено такое исследование для выявления возможностей и особенностей обработки и классификации лицевых ЭМГ сигналов в режиме реального времени.
Кроме того предлагаемая в работе методика имеет эстетические преимущества, что является важным фактором для практического применения. Так, известны работы, относящиеся к распознаванию лицевого ЭМГ сигнала, как мимики верхней части лица, так и распознаванию речи по мышцам нижней части лица [5], недостатком которых является необходимость задействования фронтально-нижней части лица для выполнения большинства движений, выбранных авторами исследований. Это представляет определенный академический интерес, но вместе с тем является значительным недостатком при использовании в реальной жизни из-за эстетической проблемы ношения датчиков на лице. В данном исследовании эта проблема решается тем, что распознавание мимических движений производится по ЭМГ правой и левой височных мышц, а также лобной мышцы, которые могут быть скрыты волосами или головным убором.
1. ОПИСАНИЕ СТЕНДА ДЛЯ ИССЛЕДОВАНИЯ
Электромиографический сигнал – это разность потенциалов, возникающая в мышцах человека в покое и при их активации. ЭМГ сигнал содержит информацию о состоянии нервно-мышечной ткани, что делает его ценным инструментом в клинической диагностике. Также ЭМГ несет информацию о сокращениях мышц человека, как произвольных, так и рефлекторных. Эта особенность позволяет его использовать в качестве источника управляющего сигнала для контроля вспомогательных устройств [2]. ЭМГ является сложным сигналом, на форму которого влияет множество факторов, таких как физиологические и анатомические свойства и характеристики приборов. Для исследования возможности обработки этого сигнала в режиме реального времени был разработан испытательный стенд.
Для съема сигнала ЭМГ в составе исследовательского стенда были использованы беспроводные датчики «Колибри» НМФ «Нейротех», предназначенные для съема электрофизиологических сигналов. Преимуществом регистрации сигнала беспроводным способом является возможность сведения к минимуму артефактов движения, благодаря чему становится возможным обеспечить свободное положение тела пользователя, включая возможность передвижения. Обработка сигнала производилась на персональном компьютере (ПК) посредством программного пакета MATLAB. Биологическая обратная связь (БОС) осуществлялась посредством светового сигнала на экране ПК и звукового сигнала.
Для повышения быстродействия системы в случае реализации классификатора на мобильном носимом устройстве целесообразно использование DSP процессоров, способных выполнять за один такт возведение в квадрат и имеющих аппаратную поддержку кратного выполнения команды. Рост быстродействия системы может быть обеспечен режимом двоичной инверсно-косвенной адресации, предназначенный для эффективной реализации быстрого преобразования Фурье и преобразования Гильберта.
Электроды в исследовании использовались поверхностные с сухим типом контакта датчиков, диаметром 1 см, стандартные для электромиографических исследований [6].
На рисунке 1 представлен предлагаемый алгоритм распознавания мимических движений в режиме реального времени на основе электромиограммы с использованием при обучении метода БОС.
Рис. 1. Алгоритм распознавания мимических движений с использованием метода БОС
2. МЕТОДИКА ЭКСПЕРИМЕНТА
На первом этапе происходит подготовка пользователя, размещение электродов, настройка системы, запись и фильтрация ЭМГ. Далее осуществляется обучение пользователя посредством системы БОС. БОС – это методика, основанная на использовании устройств регистрации сигнала наряду с устройствами, реализующими обратную связь с пользователем. Это обеспечивает возможность сознательной регуляции физиологических процессов человека за счет информирования пациента об их текущем состоянии с минимальной временной задержкой [7]. В процессе выполнения предложенного врачом задания (напрячь или расслабить мышцу) пациент, осознавая достижение желаемого эффекта, старается закрепить навык путем многократного повторения. В результате этого процесса обучения с БОС в центральной нервной системе создается и фиксируется новая стратегия поведения.
Авторами предлагается использование тренинга посредством БОС при обучении пользователя системы управления вспомогательными устройствами посредством ЭМГ. Это позволяет пользователю обучаться, понимать и контролировать реакции мышц на то или иное волевое усилие, что приводит к повышению точности классификатора за счет меньшей вариабельности входного сигнала для разных движений. После обучения классификатора на препроцессированных данных сигнала ЭМГ и достижения устойчивых положительных результатов в системе БОС классификатор готов к использованию в режиме реального времени. Процедура препроцессирования более подробно будет описана ниже. Для осуществления обратной связи с пользователем во время работы системы возможно использование вибро, аудио или звукового устройства, в зависимости от нарушений когнитивных навыков пользователя.
3. ЭКСПЕРИМЕНТ
В исследовании участвовало десять добровольцев возраста от 25 до 33 лет (5 мужчин и 5 женщин). Перед записью данных все участники обучались мимическим движениям с применением вышеописанной методики БОС в течение получаса. Ввиду слабой амплитуды ЭМГ сигнала лицевых мышц, было необходимо выбрать движения, приводящие к достаточно интенсивным мышечным сокращениям и непосредственно активизирующие выбранные мышцы, но при этом не вызывающего значительного дискомфорта пользователя. Мимические движения, использованные в данном исследовании: «Сжатие челюстей», «Сжатие правой стороны челюсти», «Сжатие левой стороны челюсти», «Поднятие бровей», «Сведение бровей», «Расслабление». Данные, полученные со всех участников, после обработки использовались для обучения классификатора, затем еще десять участников участвовали в тестировании классификатора в режиме онлайн.
Электроды размещались на левой и правой височных мышцах (Temporalis), второй канал размещается на лобной (Frontalis) мышце между бровями, как показано на рисунке 2:
Рис. 2. Позиции электродов и мышцы, участвующие в исследовании
Сигнал снимался в биполярном отведении (межэлектродное расстояние 2 см) с целью уменьшения шумовой составляющей.
Для получения высокоамплитудного сигнала, ЭМГ электроды необходимо расположить над самой активно сокращающейся частью мышцы – брюшке [8]. Испытуемые после обучения выполняли каждое заданное движение 10 раз по 1 секунде (активный сигнал), с 5-секундным отдыхом, чтобы исключить возникновение мышечной усталости. Команды для выполнения движений задавались с помощью графического интерфейса пользователя (GUI), написанного на языке Matlab. Запись данных была проведена при частоте дискретизации 1 кГц для обеспечения достоверной передачи наиболее информативной части спектра управляющего сигнала в диапазоне 50-400 Гц.
4. ПРЕДВАРИТЕЛЬНАЯ ОБРАБОТКА СИГНАЛА И ВЫДЕЛЕНИЕ ПРИЗНАКОВ
Для получения наиболее релевантных результатов, извлекаемый признак должен содержать достаточное количество информации для представления значимых свойств сигнала. Однако в то же время он должен быть достаточно простым в отношении скорости проведения вычислений и классификации. Выбираемые признаки должны удовлетворять следующим условиям: давать возможность извлекать характерные параметры лицевой ЭМГ; иметь низкую вычислительную сложность для обеспечения возможности использования в системах в режиме реального времени.
Согласно результатам предыдущих исследований [9-12], показана целесообразность использования следующих входных признаков во временной области: (1) интегральная ЭМГ; (2) среднее арифметическое, (3) среднее значение модуля, (4) конечные разности; (5) сумма элементарных площадей; (6) дисперсия; (7) среднеквадратичное отклонение (СКО); (8) длина сигнала; (9) пиковое значение ЭМГ.
Формулы для расчета этих величин описаны в связанном исследовании, подробное описание и критерии выбора рассмотрены в [8-10]. Признаки 1-9 являются статистическими характеристиками, которые рассчитываются исходя из амплитуды сигнала лицевой ЭМГ. В ходе предобработки данных была оценена эффективность каждого из них и выбраны наиболее надежные. В результате того исследования авторы установили высокую робастность критерия Пиковое значение ЭМГ, который вычисляется по формуле (1):
|
(1)
|
где N – число отсчетов в сегменте, xi – отображает мгновенную амплитуду ЭМГ-сигнала в k-том сегменте i-ой точки отсчета.
В данном исследовании критерий Пиковые значения так же был взят за основу.
Следует также отметить, что характерная информация об амплитуде лежит не в самом сигнале ЭМГ, а в его огибающей, поэтому на этапе предобработки целесообразно выделить отдельно огибающую ЭМГ. От вида полученной огибающей во многом будет зависеть точность классификации, как будет показано ниже. Одним из способов выделения огибающей ЭМГ является вычисление с помощью преобразования Гильберта. Методы выделения огибающей в большинстве случаев предполагают обработку сигналов в частотной и частотно-временной области.
Чтобы выделить фазу и амплитуду некоторого произвольного сигнала u(t) (модулированный высокочастотный сигнал) необходимо на его основе создать аналитический сигнал (2):
Вещественная часть аналитического сигнала совпадает с исходным сигналом u(t). Мнимая часть w(t) называется преобразованием Гильберта сигнала u(t). Преобразование Гильберта может быть вычислено как (3):
|
(3)
|
Подставляя формулу (3) в выражение (2) и преобразуя (3) к выражению (4), можно выделить огибающую ЭМГ (5).
w(t)=u(t)+iv(t)=a(t)eiπ(ωt),
|
(4)
|
где a(t) – огибающая сигнала:
|
(5)
|
Так же известны другие способы выделения огибающей, например нахождение квадрата модуля сигнала и применение фильтра нижних частот. С целью уменьшения высокочастотной составляющей необходимо проводить взвешивание полученной огибающей сигнала по нескольким отсчетам. В ходе настоящего исследования число усредняемых отсчетов определялось в диапазоне 490-500 Гц, так как высокочастотные пульсации в огибающей сигнала происходят на высшей частоте в спектре сигнала [13].
Процедуры препроцессирования и извлечения признаков описаны в работах [9,10,13]. В данном исследовании авторы использовали те же принципы для предварительной классификации в режиме оффлайн, и взяли их за основу для классификатора в режиме онлайн для шести движений. Исходный сигнал был сегментирован неперекрывающимися окнами длиной 250 мс. Далее было выполнено построение нескольких типов огибающей сигнала: огибающая с усреднением по СКО, огибающая с усреднением по пиковым значениям, каждая по 3, 5 и 10 точек соответственно. Огибающие построены с помощью функций Signal Processing Toolbox Matlab. Далее было произведено сравнение результатов классификации при использовании различных типов огибающих в качестве входного вектора признаков.
На рисунке 3 (а)-(г) приведены огибающие, полученные для сигнала, сегментированного окном длиной 250 мс, с нахождением пикового значения и СКО в каждом окне. При этом на рисунках 3 (а) и (в) производилось усреднение огибающей по 3 точкам, на рисунках 3 (б) и (7) производилось усреднение огибающей по 10 точкам
(а)
(б)
(в)
(г)
Рис.3. Огибающая сигнала: (а), (б) - по пиковым значениям с усреднением по 3 и 10 точкам, (в), (г) - по среднеквадратическому отклонению с усреднением по 3 и 10 точкам
В качестве классификатора в данном исследовании применялась искусственная нейронная сеть (ИНС) на основе радиальных базисных функций (РБФ). Структура этой сети, изображенная на рисунке 4, состоит из трех слоев:
Рис. 4. Структура нейронной сети с тремя входами и шестью выходами
Базисной функцией нейронной сети в скрытом слое является функция гауссиана, а выход k-го нейрона в скрытом слое для каждого данного входа X = [x1,x2,x3]T вычисляется по формуле (6):
|
(6)
|
Уравнение (6) описывает 3-мерный гауссиан с центром в точке C = [C1, C2, C3]Т и вращается вдоль ортонормированного базиса
{U1, U2, U3}, что позволяет нейрону покрывать поле данных соседа без смещения или любого изменения размера.
Поскольку входные векторы признаков для каждого образа являются трехмерными, координаты, соответствующие этим векторам, представляют собой стандартный ортогональный базис вида [1, 0, 0]T, [0, 1, 0]T и [0, 0, 1]T.
Набор функций с размером 3×N (где 3 – число каналов, N – число обучающих данных) был получен на этапе извлечения признаков для каждого субъекта, с помощью описанных в связанных исследованиях авторов [12,13] методов.
Ортонормированный базис был вычислен через собственный вектор ковариационной матрицы. Поскольку обучающие данные вводятся в сеть последовательно, вектор средних значений и ковариационная матрица вычисляются рекурсивно, при этом ковариационная матрица вычисляется по выражениям (7)-(8):
|
(7)
|
|
(8)
|
Чтобы найти ортонормированный базис для РБФ, используется концепция анализа главных компонент. Собственные величины
{λ1, λ2, λ3} и соответствующие им собственные векторы {U1, U2, U3} вычисляются от уровня ковариационной матрицы. Далее множество собственных ортогональных векторов образуют ортонормированный базис [18].
Более подробное описание процедуры обучения сети описана в связанных исследованиях авторов [12,13]. На вход нейронной сети подается вектор размером 3хN, где 3 – число каналов ЭМГ, N – число выборок по каждому каналу, используемых для обучения. В выходном слое число нейронов равно количеству категориальных классов (шесть нейронов).
|
