Сравнительный анализ результатов машинного перевода (на материале французских и русских текстов)

Стирая языковые барьеры и расширяя горизонты коммуникации, технологии машинного перевода становятся неотъемлемой частью нашей повседневной жизни. Результаты автоматического перевода представляют собой всё более связные и осмысленные тексты. Для поддержания тенденции популяризации компьютерного перевода проводятся исследования, направленные на оценку его качества и выявление ошибок перевода с целью их последующего исправления. В данной работе особое внимание уделяется сравнению результатов работы нескольких систем машинного перевода.
С помощью детального разбора и классификации расхождений выявляются особенности функционирования каждой из систем. В качестве материала исследования используются русские и французские тексты и их ручные переводы, обеспечивающие возможность проведения анализа в обоих направлениях перевода.

Данное исследование содержит результаты сопоставительного анализа результатов машинного перевода, выполненного онлайн-сервисами «Google Translate», «Яндекс – Переводчик» и «PROMT. One» для языковой пары «русский – французский». В ходе работы были рассмотрены понятия, связанные с автоматическим переводом, история развития научного направления и особенности существующих систем машинного перевода. Отдельное внимание уделялось направлениям перевода «с русского языка на французский» и «с французского языка на русский» в контексте переводоведения. Методы оценки результатов машинного перевода были проанализированы с точки зрения возможности их применения в практике переводоведения. В рамках работы был произведен сравнительный анализ результатов перевода русских и французских текстов, разработана форма классификации ошибок МП, разобраны примеры ошибок каждой из рассматриваемых систем, вычислены автоматические оценки качества и читабельности переводов. В результате всех этапов исследования можно сделать следующие выводы:
Использованный в работе метод автоматической предобработки текстов для выделения несоответствий в переводах может быть применен в составлении классификаций ошибок других направлений перевода и в поиске примеров неточностей МП для обучающих пособий и курсов по автоматизированному переводу.
Использование тегов для выделенных несоответствий в переводах значительно облегчает процесс ручной разметки.
Найденные примеры ошибок МП могут быть использованы в качестве тестов для проверки знаний постредактора.
Анализ обнаруженных ошибок в результатах работы систем машинного перевода продемонстрировал преимущество сервисов «Google Translate» и «Яндекс – Переводчик». Однако в некоторых приведенных примерах прослеживается высокое качество работы сервиса «PROMT. One» с точки зрения адаптации перевода, лексического разнообразия и смыслового соответствия оригиналу.
Автоматическая оценка качества перевода, несмотря на сложность интерпретации полученных результатов, демонстрирует результаты, аналогичные выводам, сделанным в процессе составления классификации. Самую высокую оценку получила система компании Google. Вычисления, полученные при помощи разных метрик, обладали схожими значениями, что позволило сопоставить их и сделать общие выводы.
Подсчет читабельности результатов МП с использованием метрик ARI, FK, SMOG, CL может найти практическое применение в оценке трудозатрат постредактора.
В качестве возможных перспектив исследования представляется релевантным расширение корпуса текстов, дополнение составленной классификации, анализ причин возникновения ошибок машинного перевода и поиск вариантов их устранения.

Литература:
Александрова Е. М. Влияние лексического сходства языков на переводимость каламбура // Филологические науки. Вопросы теории и практики. 2019. №4. С. 108-113.
Андреева, А. Д. Обзор систем машинного перевода // Молодой ученый. 2013. № 12. С. 64-66.
Апресян Ю. Д., Богуславский И. М., Иомдин Л. Л., Лазурский А. В., Митюшин Л. Г., Санников В. З., Цинман Л. Л. Лингвистический процессор для сложных информационных систем. М.: Наука, 1992.
Бархударов Л. С. Язык и перевод (Вопросы общей и частной теории перевода). М.: «Междунар. отношения», 1975.
Белобородова Е.А., Бодулева А.Р. Преимущества и недостатки машинного перевода // Инновационная наука. 2016. №9 (21). С. 224-226.
Бунтман Н. В., Гончаров А. А., Нуриев В. А. Ошибки в машинном переводе: проблемы классификации // Системы и средства информатики. 2019. Т. 29. № 3. С. 92-103.
Владова И. М. Перевод как межкультурная коммуникация // Русский язык за рубежом. 2011. № 4(227). С. 27-32.
Гак В. Г. Сопоставительная лексикология: на материале французского и русского языков. М.: «Междунар. отношения», 1977.
Гриф М. Г., Тимофеева М. К. Интерлингва в системах машинного перевода для жестовых языков // Труды СПИИРАН. 2012. № 20 (1). C. 116-137.
Добровольский Б. Д. Лексические трудности перевода в лингвокультурном аспекте. М., 2009.
Дроздова К.А. Машинный перевод: история, классификация, методы // Вестник Омского государственного педагогического университета. Гуманитарные исследования. 2015. №3 (7). С. 156-158.
Замуруева H. A. Жанровые особенности официально-делового стиля речи // Ученые записки ОГУ. Серия: Гуманитарные и социальные науки. 2010. №3-2. С. 120-123.
Ивтушок Е. Машинный перевод не справился с пониманием больших текстов. 2018. URL: (дата последнего обращения: 01.06.2021).
Карцева Е. Ю., Маргарян Т. Д., Гурова Г. Г. Развитие машинного перевода и его место в профессиональной межкультурной коммуникации // Вестник РУДН. Серия: Теория языка. Семиотика. Семантика. 2016. №3. С. 155-164.
Кенжаев А. Д. Машинный перевод: история и современность // Иностранные языки и регионоведение. М.: 2014.
Кольцова, Д. А., Кольцов С. В. История и развитие машинного перевода // Русский язык и культура в зеркале перевода. 2019. № 1. С. 130-135.
Комиссаров В. Н. Теория перевода. М., 1990. Т. 8.
Кочеткова Н. С., Ревина Е. В. Особенности машинного перевода // Филологические науки. Вопросы теории и практики. Тамбов: Грамота, 2017. № 6. Ч. 2. С. 106-109.
Кулагина О. С. О современном состоянии машинного перевода // Математические вопросы кибернетики. Вып. 3. М.: Наука, 1991. С. 5–50.
Кушеева М.Н., Гомбожапова Т.Н., Аюшеева Н.Н. Метод оценки качества семантической сети текста // Современные наукоемкие технологии. 2019. № 11-1. С. 77-81.
Легостина М. С. Метрики оценки качества машинного перевода // Инноватика-2019: сборник материалов XV Международной школы-конференции студентов, аспирантов и молодых ученых. Томск: Общество с ограниченной ответственностью “СТТ”. 2019. С. 490-493.
Люльчева Е. М. Имплицитные способы выражения отрицания // Вестник ИГЛУ. 2013. №2 (23). С. 100-108.
Минаева И. В. Картирование как метод репрезентации в работах Ойвинда Фальстрема // Артикульт. 2014. 16(4). С. 104-113.
Митренина О. В. Машинный перевод // Прикладная и компьютерная лингвистика. 2-е изд. ред. М.: Издательская группа URSS. 2017. С. 156-189.
Мифтахова Р. Г. Технологии машинного перевода. Нейроперевод // Доклады Башкирского университета. 2018. Т. 3. № 6. С. 711-715.
Мохов Н. А. Новейшие информационные технологии в переводе: опыт и перспективы // Язык и культура: Сборник статей XXIX Международной научной конференции. Томск: Национальный исследовательский Томский государственный университет. 2019. С. 230-235.
Рогушина Ю. В. Использование критериев оценки удобочитаемости текста для поиска информации, соответствующей реальным потребностям пользователя // Проблеми програмування. 2007. № 3. C. 76–87.
Рычихин А. К. О методах оценки качества машинного перевода // Системы и средства информ. 2019. Т. 29. № 4. С. 106–118.
Солнышкина М. И., Гафиятова Э. В., Казачкова М. Б. Инструменты оценки сложности текста: современная парадигма // Научное наследие Е.И. Пассова в контексте развития иноязычного образования: Материалы Международной научной конференции, посвященной 90-летию со дня рождения Е.И. Пассова, Липецк, 01–02 декабря 2020 года / Под общей редакцией В.Б. Царьковой, А.А. Люлюшина. Липецк: Липецкий государственный педагогический университет имени П.П. Семенова-Тян-Шанского, 2020. С. 251-263.
Томилова А. И. Явление межъязыковой псевдоэквивалентности в русском и французском языках: теоретические и прикладные аспекты. Екатеринбург: Уральский государственный педагогический университет (УрГПУ), 2018.
Томин В. В. О проблемах машинного перевода научно-технического текста в информационном поле кросс-культурного взаимодействия // Вестник ОГУ. 2015. №1 (176). С. 33-39.
Федюк П. С. Специфика определения критериев широкозначности лексических единиц // Известия РГПУ им. А. И. Герцена. 2009. №101. 200-205.
Худяков Н. А. Современные технологии машинного перевода текстов: преимущества и недостатки // Иностранные языки: лингвистические и методические аспекты. 2019. № 41. С. 208-214.
Якобсон Р. О. О лингвистических аспектах перевода // Вопросы теории перевода в зарубежной лингвистике. М., 1978. С. 16-24.
Banerjee S., Lavie A. METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments // Proceedings of Workshop on Intrinsic and Extrinsic Evaluation Measures for MT and/or Summarization at the 43rd Annual Meeting of the Association of Computational Linguistics (ACL-2005). Michigan, 2005.
Bromley A. Charles Babbage’s Analytical Engine, 1838 // IEEE Annals of the History of Computing. T. 4. № 3. 1982. P. 196-217.
Carl M. Post-Editing Machine Translation: Efficiency, Strategies, and Revision Processes in Professional Translation Settings // Psycholinguistic and Cognitive Inquiries into Translation and Interpreting. 2015. P. 145-174.
Cheragui M. Theoretical overview of machine translation // CEUR Workshop Proceedings. № 867. 2012. P. 160-169.
Hutchins J. Machine Translation: A Brief History. Oxford: Pergamon Press, 1995.
Koponen M. Machine Translation Post-editing and Effort. Empirical Studies on the Post-editing Process. Helsinki, 2016.
Lin Ch. ROUGE: A Package for Automatic Evaluation of summaries. Proceedings of the ACL Workshop: Text Summarization Braches Out. 2004.
Papineni K., Roukos S., Ward T., Zhu W. BLEU: A Method for Automatic Evaluation of Machine Translation. 2002.
Peng H. The Impact of Machine Translation and Computer-aided Translation on Translators // IOP Conference Series: Materials Science and Engineering. 2018.
Zhou S., Jeong H., Green P. How consistent are the best-known readability equations in estimating the readability of design standards? // IEEE Transactions on Professional Communication. 2017.
Zong Zh. Research on the Relations Between Machine Translation and Human Translation. Journal of Physics: Conference Series. 2018.
Интернет-ресурсы:
Яндекс – Переводчик. URL: . (Дата последнего обращения: 01.06.2021).
Яндекс Подбор Слов. URL: . (Дата последнего обращения: 01.06.2021).
DiffLib. URL: . (Дата последнего обращения: 01.06.2021).
Google Translate. URL: . (Дата последнего обращения: 01.06.2021).
Natural Language Toolkit. URL: . (Дата последнего обращения: 01.06.2021).
PROMT One. URL: . (Дата последнего обращения: 01.06.2021).
RapidAPI. Top 8 Best Translation Websites & Services (in 2021). URL: . (Дата последнего обращения: 01.06.2021).
RENOUVO (Réseau pour la nouvelle orthographe du français). URL: . (Дата последнего обращения: 01.06.2021).