Выравнивание русских предложных конструкций и их эквивалентов в агглютинативных языках при создании параллельных корпусов

В представленном исследовании рассмотрена проблема выравнивания предложных конструкций в параллельном русско-венгерском корпусе.
Цель исследования: разработка подходящего алгоритма для извлечения предложных конструкций из русскоязычной части корпуса и поиска их эквивалентов для перевода в венгерской части корпуса. Алгоритм, разработанный на языке Python, включает в себя автоматический анализ морфологических, грамматических и синтаксических характеристик текстов.
В работе подняты теоретические вопросы, связанные с областью выравнивания текстов, рассмотрены особенности существующих подходов к задаче, приведено описание автоматических инструментов выравнивания и указаны сферы их применения, а также представлены морфосинтаксические особенности изучаемых языков.
В практической части исследования подробно описан разработанный алгоритм и экспериментальный процесс выравнивания предложных конструкций. Авторский подход протестирован и оценен, кроме того, названы предположения по возможности усовершенствования и развития алгоритма.

Введение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

Глава 1. Проблема выравнивания . . . . . . . . . . . . . . . . . . . 8
1.1. Выравнивание в контексте обработки естественного языка . 8
1.2. Определение выравнивания . . . . . . . . . . . . . . . . . . 11
1.3. Уровни выравнивания . . . . . . . . . . . . . . . . . . . . . . 12
1.3.1. Выравнивание на уровне морфем . . . . . . . . . . . 12
1.3.2. Выравнивание на уровне лексем . . . . . . . . . . . . 14
1.3.3. Выравнивание на уровне словосочетаний . . . . . . 15
1.3.4. Выравнивание на уровне предложений . . . . . . . . 17
1.4. Сложности при выравнивании . . . . . . . . . . . . . . . . . 18
1.5. Системы выравнивания параллельных текстов . . . . . . . . 19
1.6. Статистические модели выравнивания . . . . . . . . . . . . 21
1.6.1. Giza++ . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.6.2. fast_align . . . . . . . . . . . . . . . . . . . . . . . . . 23
1.6.3. eflomal . . . . . . . . . . . . . . . . . . . . . . . . . . 24
1.7. Нейронные модели выравнивания . . . . . . . . . . . . . . . 24
1.8. Выводы по главе 1 . . . . . . . . . . . . . . . . . . . . . . . . 26

Глава 2. Описание изучаемых языков . . . . . . . . . . . . . . . . . 27
2.1. Роль словоизменительных и словообразовательных особен­
ностей языков в выравнивании . . . . . . . . . . . . . . . . . 27
2.2. Словоизменение и словообразование в русском языке . . . . 27
2.3. Предлоги и предложные конструкции в русском языке . . . 30
2.4. Словообразование и словоизменение в венгерском языке . . 35
2.5. Способы классификации русских предложных конструкций
и их эквивалентов в венгерском языке . . . . . . . . . . . . . 39
2.6. Выводы по главе 2 . . . . . . . . . . . . . . . . . . . . . . . . 42

Глава 3. Создание системы выравнивания русских предложных
конструкций и их эквивалентов в венгерском . . . . . . . 44
3.1. Описание системы для выравнивания русских предложных
конструкций и их эквивалентов в венгерском . . . . . . . . . 44
3.2. Сбор и составление русско­венгерского параллельного кор­
пуса . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.3. Предварительная обработка корпуса . . . . . . . . . . . . . 48
3.4. Применение алгоритма сжатия цветков для выравнивания
параллельных словосочетаний . . . . . . . . . . . . . . . . . 57
3.5. Результаты анализа и проблемы метода . . . . . . . . . . . . 66
3.6. Выводы по главе 3 . . . . . . . . . . . . . . . . . . . . . . . . 72

Заключение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74

Список литературы . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76

Данная работа посвящена изучению и раработке методов автоматиче­
ского выравнивания русских предложно­падежных конструкций и их экви­
валентов в венгерском языке.
В рамках настоящей работы были изучены особенности, проблемы
и методы автоматического выравнивания параллельных текстов на разных
уровнях и были представлены разные системы выравнивания – 3 на основе
статистических и 1 на основе нейронных моделей выравнивания.
Были рассмотрены главные словоизменительные и словообразователь­
ные процессы русского и венгерского языка с точки зрения задачи автомати­
ческого выравнивания параллельных текстов и была создана классификация
соответствия русских предложных конструкций и их эквивалентов в венгер­
ском языке.
Был создан русско­венгерский параллельный корпус, позволяющий
изучать русские предложные конструкции и их эквиваленты в венгерском
языке и был вручную размечен тестовый подкорпус, на основе которого мож­
но оценить и сравнить разные методы выравнивания параллельных текстов.
Корпус является подмножеством параллельных корпусов InterCorp, который
содержит тексты литературного, научного и разговорного языка.
В рамках данной работы была создана система выравнивания на основе
теории графов, которая с высокой эффективностью решает проблему вырав­
нивания русских предложных конструкций и их эквивалентов в венгерском
языке. Была проведена оценка метода и сравнение с уже существующими ме­
тодами, которая показала его эффективность. Данная система была примене­
на для вычета распределения венгерских переводных эквивалентов русских
предложных конструкций и результаты были представлены в виде матрицы.
Таким образом, основные задачи настоящей работы были выполнены и
в результате проведенного исследования можно заключить, что созданный в
рамках данной работы метод выравнивания выполняет задачу выравнивания
русских предложных конструкций и их эквивалентов в венгерском языке с
высокой эффективностью.
Наш метод выравнивания достигает 81.3 процент точности, то есть, по
сравнению с уже существующими, универсальными системами выравнива­
ния, данный специализированный для работы с русским и венгерским языка­
ми метод более чем 2 с половиной раза эффективнее альтернативных мето­
дов. Для получения таких высоких показателей были использованы морфо­
синтаксические параметры для выделения русских предложных конструкций
и их эквивалентов в венгерском, был создан двудольный взвешенный граф из
выделенных словосочетаний. Был применён алгоритм теории графов, алго­
ритм сжатия цветков для определения наибольших паросочетаний на графах.
Несмотря на высокие показатели оценки метода, у него также суще­
ствует некое ограничение: данный метод был создан для работы с русским и
венгерским языками, то есть, его применение за рамками изучения данных
языков является ограниченным.
Планируется расширения метода для большего числа языков, для то­
го чтобы его можно было бы использовать для решения ряда теоретических
и практических задач компьютерной лингвистики, в том числе для изучения
определённых конструкций в разных языках и для улучшения методов авто­
матического машинного перевода.