ПРАВИТЕЛЬСТВО РОССИЙСКОЙ ФЕДЕРАЦИИ
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ «САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ»
ВЫПУСКНАЯ КВАЛИФИКАЦИОННАЯ РАБОТА
на тему:
Исследование автоматических метрик оценки перевода на материале профессиональных художественных переводов
основная образовательная программа магистратуры по направлению подготовки 45.04.02 «Лингвистика»
Исполнитель:
Обучающаяся 2 курса магистратуры
Образовательной программы
«Прикладная и экспериментальная лингвистика»
очной формы обучения
Арутюнова Ирина Аркадьевна
Научный руководитель:
к.ф.н., доц. Митренина О.В.
Рецензент:
Степукова А.В.,
лингвистический программист,
компания «ПРОМТ»
Санкт-Петербург
2018
Оглавление
Введение 3
Глава 1. Машинный перевод как разновидность переводческой деятельности 5
1.1. Перевод как процесс и его характеристики 5
1.2. Специфика перевода художественного произведения 8
1.3. Ручной и автоматический перевод 10
1.5. Экспертная и ручная оценка перевода 13
1.5.1. Понятия адекватность перевода и эквивалентность оригиналу 13
1.5.2. Экспертная оценка машинного перевода 15
1.6. Автоматическая оценка перевода 18
1.6.1. Автоматическая оценка с использованием эталонного перевода 18
1.6.2. Автоматическая оценка без использования эталонного перевода 19
1.7. Различные меры, оценивающие качество перевода 20
Выводы к главе 1 32
Глава 2. Эксперимент по оценке метрик с помощью художественных переводов 33
2.1. Общий обзор эксперимента 33
2.2. Описание переводчиков, выбранных для эксперимента 34
2.3. Подготовка фрагментов перевода для сравнения 39
2.4. Использованные инструменты для оценки переводов 44
2.5. Выбор элементов «перевод-эталон» и «перевод-кандидат» 47
2.6. Анализ результатов, полученных с помощью системы Asiya 49
2.7. Анализ результатов, полученных с помощью MT-ComparEval 54
2.8. Обобщение результатов проведенного анализа 60
Выводы к главе 2 70
Заключение 72
Список литературы 74
Список источников 80
Приложение 1. Результаты оценки сегментов в Asiya (Ч. Хогарт (эталон) – И. Хэпгуд (перевод-кандидат) 81
Приложение 2. Результат оценки сегментов в MT-ComparEval (Дж. Ормсби (эталон) – Э. Гроссман (перевод-кандидат) 82
Введение
Развитие систем машинного перевода привело к созданию автоматических метрик, способных оценивать такие переводы. Данная работа посвящена изучению качества работы этих метрик. В идеале при их использовании метрик качественный перевод должен получать более высокие оценки. Очевидно, что качественными переводами считаются переводы, выполненные профессиональными переводчиками, и именно поэтому мы решили использовать профессиональные художественные переводы для анализа работы таких метрик.
Объектом настоящего исследования являются проблемы автоматической оценки качества переводов. Предметом являются проблемы работы наиболее доступных автоматических метрик оценки при рассмотрении художественных переводов в языковых парах русский — английский, испанский — английский, испанский — русский.
Актуальность работы связана с важной ролью компьютерных переводов в современном обществе и необходимостью их качественной оценки.
Научная новизна работы состоит в характере самого исследуемого материала — автоматические метрики оценки переводов и их работа с художественными текстами. Проведенное исследование может расширить представления об особенностях работы автоматических мер оценки и помочь при дальнейшей разработке и улучшении данных метрик.
Цель работы заключается в оценке качества работы автоматических метрик и выявлении возможных способов улучшения их работы.
Цель исследования определила постановку следующих задач:
1) Изучить специфику перевода художественных произведений;
2) Проанализировать существующие подходы к оценке качества переводов;
3) Изучить различные автоматические метрики, которые могут применяться для автоматической оценки качества с использованием эталонного перевода;
4) Рассмотреть оценки, которые получают профессиональные художественные переводы в соответствии с работой наиболее популярных и доступных автоматических метрик;
5) Систематизировать полученные результаты работы и проанализировать возможные причины получения высоких или низких оценок, а также способы улучшения работы тех или иных метрик.
Материалом исследования послужили переводы поэмы Николая Васильевича Гоголя «Мертвые души» на английский язык и переводы романа Мигеля де Сервантеса «Хитроумный идальго Дон Кихот Ламанчский» на английский и русский языки. Переводы Н.В. Гоголя на английский выполнены такими переводчиками, как Чарльз Джеймс Хогарт, Изабель Флоренс Хэпгуд и Роберт Магуайр. Переводы Сервантеса на английский выполнены Эдит Гроссман и Джоном Ормсби, на русский — Борисом Александровичем Энгельгардтом и Николаем Михайловичем Любимовым.
Общий объем материала — 3900 значений оценки сегментов по всем метрикам, полученных при анализе (а) 50 предложений на русском языке и переводов на английский каждого из них, выполненных тремя переводчиками (150 английских переводческих соответствий), (б) 50 предложений на испанском языке и переводов на русский каждого из них, выполненных двумя переводчиками (100 русских переводческих соответствий) и (в) 50 предложений на испанском языке и переводов на английский каждого из них, выполненных двумя переводчиками (100 английских переводческих соответствий).
В работе используются методы контекстного и компонентного анализа данных, анализа и обобщения отечественной и зарубежной теории, обобщения и аналогии, а также метод семантического анализа.
Настоящая работа состоит из введения, двух глав, заключения, списка литературы и приложений. Каждая глава сопровождается выводами. В заключении приводятся основные результаты исследования.
|
