CV 2023

Материал из Public ATP Wiki
Перейти к: навигация, поиск

Факультетский курс. Параллельно читается в трех местах: МФТИ, ШАД, ВМК МГУ. Занятия проходят онлайн (Zoom) по четвергам с TODO. Записи занятий будут доступны для просмотра.

Лектор: Влад Шахуро
Семинарист: Андрей Стоцкий, TODO
Материалы курса: TODO
Форма регистрации: TODO (заполните для доступа к чату курса и заданиям)

Краткое описание

Курс посвящен методам и алгоритмам компьютерного зрения, т.е. извлечения информации из изображений и видео. Для большинства задач будем обсуждать современные нейросетевые модели, сверточные и трансформеры. Курс в большей степени является практическим, а не теоретическим. Поэтому все лекции снабжены лабораторными и домашними работами, которые позволяют попробовать на практике большинство из рассматриваемых методов. Работы выполняются на языке Python, с использованием различных библиотек.

Отчетность по курсу

Оценка по курсу получается за выполнение следующих заданий:

  1. Лабораторные и домашние задания (1-2 штуки в неделю). Всего порядка 12 заданий
  2. Задания можно сдавать после дедлайна, при этом оценка ограничивается 60% от базовой
  3. Финальный экзамен в конце курса

Критерии оценки

TODO

Предварительный план курса (может поменяться в процессe)

TODO добавить задания в таблицу

# дата Тема занятия
1 07.09.2023 Цифровое изображение и тональная коррекция
2 14.09.2023 Основы обработки изображений
3 21.09.2023 Продвинутая обработка изображений.
PNG, JPEG, преобразование Фурье, Лапласовская пирамида. Сэмплирование
4 28.09.2023 Введение в свёрточные нейросети и трансформеры. Классификация изображений
5 05.10.2023 Обратное распространение ошибки: базовые принципы и основные слои
6 12.10.2023 Бэкбоны для классификации (CNN и трансформеры)
7 19.10.2023 Поиск по изображениям, metric learning
8 26.10.2023 Детекторы объектов
9 02.11.2023 Сегментация изображений
10 09.11.2023 Основы обработки видео
11 16.11.2023 Перенос стиля, superresolution, GAN
12 23.11.2023 VAE, Diffusion
13 30.11.2023 Self-supervised learning, foundation models
14 07.12.2023 Research pipeline: чтение статей, проведение экспериментов, написание статьи
Нейросети в проде: mixed precision, дистилляция, архитектуры, pruning, quantization, ONNX
15 14.12.2023 Итоговая контрольная

Рекомендуемая литература

  1. W. Burger, M. Burge. Principles of Digital Image Processing. Springer 2009, 2013. Fundamental Techniques, Core Algorithms, Advanced Methods.
  2. M. Nielsen. Neural Networks and Deep Learning.
  3. A. Zhang, Z. Lipton, Mu Li, A. Smola. Dive into Deep Learning. 2020.
  4. I. Goodfellow, Y. Bengio, A. Courville. Deep learning. MIT Press 2016.
  5. R. Szeliski. Computer Vision: Algorithms and Applications. 2020
  6. R. Hartley, A. Zisserman. Multiple View Geometry in Computer Vision. Cambridge University Press, 2004.