Целью курса является обзор математических и нейросетевых методов и подходов используемых для анализа данных с целью формирования трехмерной картины сцены применительно к задачам автономного движения транспорта (в городской среде и при решении сельскохозяйственных задач). Курс затрагивает классическую теорию решения задач описанную в книгах Foundations of Computer Vision или Computer Vision: Algorithms and Applications и современную нейросетевую теорию решения задач описанную преимущественно в научных статьях. На лекционных занятиях рассматривается обширное число вопросов, связанных с калибровкой нескольких камер, совместной калибровкой лидара и камеры, камеры и инерциального модуля, рассматриваются вопросы формирования пространственных траекторий объектов сцены, собственной траектории движения, построение карт препятствий. Краткий проморолик курса [mp4]. Практические занятия выполняются с использованием языка программирования python и фреймворка глубокого обучения pytorch. Программный код практических занятий оформлен в виде git репозиториев. Видеовизитка лектора о курсе [mp4].
Лекция №1 "Введение в трехмерное компьютерное зрение"
Модуль "Цель и задачи курса, изучаемая тематика" [pptx]
Модуль "Лидарная одометрия на основе глубокого обучения" [pptx]
Лекция №9 "Детектирование объектов на облаках точек"
Модуль "Нейросетевые подходы к детектированию объектов" [pptx]
Модуль "Способы обьединения данных камеры и лидара" [pptx]
Лекция №10 "Калибровка лидарных данных"
Модуль "Калибровка одного или нескольких лидаров" [pptx]
Практические задания
Практическое занятие №1 "Калибровка стереокамеры. Сравнение классических и нейросетевых подходов к оценке глубины сцены на основе одного или нескольких изображений" [code]
Практическое занятие №2 "Работа с реальными данными. Восстановление глубины сцены по данным стереосистемы комбайна" [code]
Практическое занятие №3 "Визуальная одометрия на данных движения трамвая [github]"
Практическое занятие №4 "Взаимная калибровка камеры и инерциального сенсора телефона. Визуально - инерциальная одометрия на основе ORB-SLAM3" [pdf]
Практическое занятие №5 "Оптический поток. Трекинг объектов поля и стабилизация видео при уборке урожая" [github]
Практическое занятие №6 "SFM. Построение 3д карты городской сцены на основе AGISOFT [pdf] или COLMAP [pdf]"
Практическое занятие №7 "Визуализация, трансформация и другие простейшие операции над лидарными данными" [github]
Практическое занятие №8 "Лидарная одометрия минитрактора в садах с использованием KISS-ICP" [github]
Практическое занятие №9 "Совместная калибровка лидара и камеры по данным с минитрактора в коровнике" [code]
Практическое занятие №10 "Нейросетевые подходы для 3д детектирования объектов на изображении. Анализ трамвайной сцены" [code]