Разработка алгоритмов генерации панорамных изображений из серии перекрывающихся кадров сцены

Объектом исследования является задача создания бесшовного панорамного изображения. Цель работы – разработка и реализация системы алгоритмов для создания панорамных изображений из наборов фотографий, а также исследование эффективности в рамках этой цели различных методов и параметров извлечения и сравнения особенностей (ключевых точек) изображения. В результате исследования были предложены и разработаны несколько алгоритмов: совмещение изображений с получением статистических данных, сортировка изображений, смешение изображений, цветовая коррекция, сшивка пары изображений, цилиндрическая проекция, создание полноценной панорамы, а также визуализация готовой панорамы с использованием веб-технологий.

Введение ……………………………………………………………………………………………………… 13
1 Анализ предметной области …………………………………………………………………… 14
1.1 Актуальность разработки ………………………………………………………………….. 14
1.2 Получение качественных картинок и рекомендации съемки………………. 15
2 Обзор алгоритмов и методов для создания панорамных изображений …….. 18
2.1 Общая концепция детекции особенностей …………………………………………. 18
2.2 Детектирование особенностей …………………………………………………………… 19
2.3 Соответствие особенностей ………………………………………………………………. 22
2.4 Вычисление матрицы гомографии …………………………………………………….. 25
2.5 Проекции панорамных изображений …………………………………………………. 28
2.6 Получение бесшовной панорамы ………………………………………………………. 33
3 Разработка и реализация алгоритмов генерации панорамных изображений
из серии перекрывающихся кадров сцены ……………………………………………………. 38
3.1 Функциональные и нефункциональные требования …………………………… 38
3.2 Средства реализации программной системы ……………………………………… 39
3.3 Общая программная система алгоритмов для создания панорамного
изображения……………………………………………………………………………………………… 41
3.4 Разработка и реализация визуализации панорамного изображения …….. 53
4 Результаты экспериментов……………………………………………………………………… 55
4.1 Сравнительный анализ полученных результатов эффективности методов
поиска ключевых точек …………………………………………………………………………….. 55
4.2 Сравнительная демонстрация сшивки изображений с использованием
цветокоррекции и смешения ……………………………………………………………………… 59
4.3 Сравнение с другими программными системами для сшивки
панорамных изображений …………………………………………………………………………. 61
5 Финансовый менеджмент, ресурсоэффективность и ресурсосбережение … 67
5.1 Предпроектный анализ ……………………………………………………………………… 67
5.2 Планирование управления научно-техническим проектом…………………. 76
5.3 Оценка сравнительной эффективности исследования ………………………… 82
6 Социальная ответственность ………………………………………………………………….. 86
6.1 Правовые и организационные вопросы обеспечения безопасности ……. 86
6.2 Производственная безопасность ……………………………………………………….. 90
6.3 Экологическая безопасность ……………………………………………………………. 100
6.4 Безопасность в чрезвычайных ситуациях …………………………………………. 101
Заключение ……………………………………………………………………………………………….. 105
Список публикаций студента ……………………………………………………………………… 107
Список используемых источников ……………………………………………………………… 108
Приложение А Результаты алгоритма для совмещения изображений и
получения статистических данных …………………………………………………………….. 113
Приложение Б Результаты сопоставления с использованием вероятностных
методов ……………………………………………………………………………………………………… 120
Приложение В Результаты сшивки панорам в различных системах …………….. 121
Приложение Г Development of algorithms for creating panoramic images ……….. 124

В результате работы над выпускной квалификационной работой были
предложены и разработаны несколько алгоритмов: сортировка изображений,
смешение изображений, цветовая коррекция, сшивка пары изображений,
цилиндрическая проекция, создание полноценной панорамы, а также
визуализация готовой панорамы с использованием веб-технологий.
В процессе исследования и реализации были рассмотрены и исследованы
существующие методы поиска ключевых точек: SIFT, ORB, BRISK, AKAZE, а
также методы их сопоставления (BFMatcher, FLANN) и метрики (расстояния
Хэмминга, Евклида, Манхэттена, k-средних).
Для реализации самой сшивки были рассмотрены афинные
преобразования и гомография, функции соответствия RANSAC, LMEDS,
PROSAC.
В результате проведённого исследования можно заключить, что метод
поиска особенностей BRISK обладает самой высокой производительностью –
больше всего найденных ключевых точек на тестовых изображениях и
наименьшее среднее время поиска. Лучший способ сопоставления для него –
BFMatcher с функцией расстояния Хэмминга и вероятностным методом
RANSAC, поскольку эта комбинация даёт максимальное количество точек, по
которым будет производиться сшивка. Это всё позволяет предположить, что
данный метод может быть достаточно эффективным для сшивки кадров в
панорамные изображения, в том числе и в реальном времени. В то же время,
результаты могут варьироваться на разных парах изображений и нельзя
исключать, что в каких-то ситуациях будут предпочтительны другие методы.
В свою очередь вероятностный метод RANSAC показал себя наиболее
эффективным в условиях исследования на тестовой выборке изображений.
Проведённая работа в целом, собранные в её процессе статистические
данные и их анализ, могут быть полезны для принятия решений в процессе
разработки алгоритмов и реализации приложений, основанных на
компьютерном зрении в самых различных областях применения, например,
виртуальные туры, аэрофотосъемка и картографирование. То есть везде, где
может быть задействована сшивка изображений и нахождение ключевых
особенностей.
Список публикаций студента
1. Унжакова Е.В., Друки А.А. Разработка алгоритма поэтапного
совмещения перекрывающихся изображений для сравнительного анализа
методов обнаружения ключевых точек // Молодежь и современные
информационные технологии: сборник трудов XVIII Международной научно-
практической конференции студентов, аспирантов и молодых ученых, Томск,
22–26 марта 2021 г. – Томск: ТПУ, 2021 – Принята к печати.
2. Унжакова Е.В., Друки А.А. Сравнительный анализ методов
обнаружения особых точек на перекрывающихся изображениях общей области
пространства // Молодежь и современные информационные технологии:
сборник трудов XVIII Международной научно-практической конференции
студентов, аспирантов и молодых ученых, Томск, 22–26 марта 2021 г. – Томск:
ТПУ, 2021 – Принята к печати.