CV 2023 — различия между версиями

Материал из Public ATP Wiki
Перейти к: навигация, поиск
(не показаны 32 промежуточные версии 4 участников)
Строка 2: Строка 2:
 
|
 
|
  
−
Факультетский курс. Параллельно читается в трех местах: МФТИ, ШАД, ВМК МГУ. Занятия проходят онлайн (Zoom) по четвергам с 13:55 до 15:20 (лекция) и с 15:30 до 16:55 (семинар). Записи занятий будут доступны для просмотра.
+
Факультетский курс. Параллельно читается в трех местах: МФТИ, ШАД, ВМК МГУ. Занятия проходят онлайн (Zoom) по средам с 18:00 до 19:20 (лекция) и с 19:30 до 20:50 (семинар). Первое занятие 13 сентября. Записи занятий будут доступны для просмотра.
  
 
= Общие сведения =
 
= Общие сведения =
Строка 8: Строка 8:
 
Форма контроля: экзамен
 
Форма контроля: экзамен
  
−
== Краткое описание ==
+
'''Краткое описание'''
 +
 
 
Курс посвящен методам и алгоритмам компьютерного зрения, т.е. извлечения информации из изображений и видео. Для большинства задач будем обсуждать современные нейросетевые модели, сверточные и трансформеры. Курс в большей степени является практическим, а не теоретическим. Поэтому все лекции снабжены лабораторными и домашними работами, которые позволяют попробовать на практике большинство из рассматриваемых методов. Работы выполняются на языке Python, с использованием различных библиотек.
 
Курс посвящен методам и алгоритмам компьютерного зрения, т.е. извлечения информации из изображений и видео. Для большинства задач будем обсуждать современные нейросетевые модели, сверточные и трансформеры. Курс в большей степени является практическим, а не теоретическим. Поэтому все лекции снабжены лабораторными и домашними работами, которые позволяют попробовать на практике большинство из рассматриваемых методов. Работы выполняются на языке Python, с использованием различных библиотек.
  
 
= Команда курса =
 
= Команда курса =
−
* '''Лектор:''' Влад Шахуро
+
'''Лектор:''' Влад Шахуро<br>
−
* '''Семинарист:''' Андрей Стоцкий, '''TODO'''
+
'''Семинарист:''' Андрей Стоцкий ([https://t.me/ruroruro @ruroruro])
−
* '''Учебные ассистенты:''':
+
 
 
= Важные ссылки =
 
= Важные ссылки =
−
* '''Форма регистрации:''' '''TODO''' (заполните для доступа к чату курса и заданиям)
+
'''Форма регистрации:''' [https://docs.google.com/forms/d/e/1FAIpQLSdEmGT07jgQUDPo7mDUc3Vf-xIPK2rGEl0W4dS6dYS9k696Pw/viewform?usp=pp_url ссылка] ''' (заполните для доступа к чату курса и заданиям)<br>
−
* '''Материалы курса:''' '''TODO'''<br>
+
'''Материалы курса:''' [https://code.mipt.ru/courses-public/cv/public/-/blob/fall-2023/README.md ссылка]<br>
−
* '''Записи лекций и семинаров:''' [https://www.youtube.com/playlist?list=PLHVUfYYv0xkkbc3xSswFl_xkdWe8RNyyW youtube], [https://drive.google.com/drive/folders/1QsRPYupcajd6U3YLecLii_sY5EjZiiPK?usp=sharing диск]
+
'''Записи лекций и семинаров:''' [https://www.youtube.com/playlist?list=PLWI0ElBVXPkZYAkWVwb5xjXNwnjnTs4eF youtube]
  
−
= Критерии получения оценки =
+
= Критерии оценки за курс =
 
Оценка по курсу получается за выполнение следующих заданий:
 
Оценка по курсу получается за выполнение следующих заданий:
  
−
# Лабораторные и домашние задания (1-2 штуки в неделю). Всего порядка 12 заданий
+
# Домашние задания (1-2 штуки в неделю). Всего порядка 12 заданий, в среднем 10 баллов за задание. Задания можно сдавать после дедлайна до конца курса, при этом оценка ограничивается 60% от базовой
−
# Задания можно сдавать после дедлайна до конца курса, при этом оценка ограничивается 60% от базовой
+
# Итоговая контрольная в конце курса. 10 письменных вопросов на 10 баллов, 1.5 часа на выполнение
−
# Финальный экзамен в конце курса
 
  
−
Критерии оценки
+
'''Критерии оценки''' по 10-балльной шкале будут опубликованы в середине ноября. Приблизительные критерии (в процентах от макс. балла):<br>
 +
≥ 75% — отлично<br>
 +
≥ 65% — хорошо<br>
 +
≥ 55% — удовлетворительно<br>
  
−
'''TODO'''
+
'''Перезачет'''. Если вы уже проходили наш курс в другом месте (или будете проходить его параллельно в этом семестре), то вы можете перезачесть оценку за весь курс или часть заданий. Перезачет делается в индивидуальном порядке (пишите [https://t.me/ruroruro @ruroruro] в телеграм). Перезачесть вместо наших заданий "похожие" задания из ''других'' курсов НЕЛЬЗЯ.
  
−
= Предварительный план курса (может поменяться в процессe) =
+
'''Пересдача'''. Если до конца курса вы не набираете баллов на оценку «удовлетворительно», то вам нужно будет досдавать/пересдавать задания со штрафом как после дедлайна (60%) до тех пор, пока вы не наберете достаточно баллов. В ''крайнем'' случае назначается пересдача в формате итоговой контрольной на которой можно добрать недостающие баллы.
  
−
'''TODO''' добавить задания в таблицу
+
= План курса =
 +
'''Пожалуйста, не выкладывайте содержание заданий и ваши решения в открытый доступ (Github и т.п.).''' Подготовка качественных заданий требует много времени и сил, которые таким образом обесцениваются. Заимствование кода из публичных источников без указания источника или плагиат могут штрафоваться.
  
−
{| class="wikitable" style="text-align:right; color:#000000;"
+
План курса предварительный, в процессе чтения может меняться.
−
|- style="text-align:left;"
+
|}
 +
 
 +
{| class="wikitable"  
 +
|-
 
! #
 
! #
−
! дата
+
! Дата
−
! Тема занятия
+
! Лекция
−
|- style="background-color:#ffffff;"
+
! Семинар
 +
! Домашнее задание
 +
|-
 
| 1
 
| 1
−
| 07.09.2023
+
| 13.09.2023
−
| style="text-align:left;" | Цифровое изображение и тональная коррекция
+
| Цифровое изображение
−
|- style="background-color:#ffffff;"
+
| Введение в практическую часть курса, Работа с numpy
 +
| Демозаикинг<br />Прокудин-Горский
 +
|-
 
| 2
 
| 2
−
| 14.09.2023
+
| 20.09.2023
−
| style="text-align:left;" | Основы обработки изображений
+
| Основы обработки изображений
−
|- style="background-color:#ffffff;"
+
| Базовая обработка изображений
 +
|
 +
|-
 
| 3
 
| 3
−
| 21.09.2023
+
| 27.09.2023
−
| style="text-align:left;" | Продвинутая обработка изображений. <br /> PNG, JPEG, преобразование Фурье, Лапласовская пирамида. Сэмплирование
+
| Сжатие изображений, Преобразование Фурье
−
|- style="background-color:#ffffff;"
+
| Преобразование Фурье
 +
| Сжатие изображение (PCA, JPEG)<br />Обратная свертка
 +
|-
 
| 4
 
| 4
−
| 28.09.2023
+
| 04.10.2023
−
| style="text-align:left;" | Введение в свёрточные нейросети и трансформеры. Классификация изображений
+
| Классификация изображений. Введение в нейросети
−
|- style="background-color:#ffffff;"
+
| Иерархия абстракций: numpy, pytorch, pytorch-lightning
 +
| Реализация нейросети на numpy
 +
|-
 
| 5
 
| 5
−
| 05.10.2023
+
| 11.10.2023
−
| style="text-align:left;" | Обратное распространение ошибки: базовые принципы и основные слои
+
| Сверточные нейросетевые архитектуры
−
|- style="background-color:#ffffff;"
+
| Нейросетевые задания курса, Базовое обучение нейросетей
 +
| Регрессия точек лица
 +
|-
 
| 6
 
| 6
−
| 12.10.2023
+
| 18.10.2023
−
| style="text-align:left;" | Бэкбоны для классификации (CNN и трансформеры)
+
| Трансформеры и сверточные нейронные сети с большими ядрами
−
|- style="background-color:#ffffff;"
+
| Разбор устройства ViT, Приемы для дообучения нейросетей
 +
| Дообучение нейросети
 +
|-
 
| 7
 
| 7
−
| 19.10.2023
+
| 25.10.2023
−
| style="text-align:left;" | Поиск по изображениям, metric learning
+
| Поиск похожих изображений
−
|- style="background-color:#ffffff;"
+
| Метрическое обучение, Эффективность тензорных вычислений
 +
| Классификация редких дорожных знаков
 +
|-
 
| 8
 
| 8
−
| 26.10.2023
+
| 01.11.2023
−
| style="text-align:left;" | Детекторы объектов
+
| Детекторы объектов
−
|- style="background-color:#ffffff;"
+
| Детектирование объектов
 +
| Простой нейросетевой детектор
 +
|-
 
| 9
 
| 9
−
| 02.11.2023
+
| 08.11.2023
−
| style="text-align:left;" | Сегментация изображений
+
| Сегментация изображений
−
|- style="background-color:#ffffff;"
+
| Простая нейросеть для сегментации
 +
| Сегментация изображений
 +
|-
 
| 10
 
| 10
−
| 09.11.2023
+
| 15.11.2023
−
| style="text-align:left;" | Основы обработки видео
+
| Основы обработки видео
−
|- style="background-color:#ffffff;"
+
| Работа с видео
 +
| Трекинг объектов
 +
|-
 
| 11
 
| 11
−
| 16.11.2023
+
| 22.11.2023
−
| style="text-align:left;" | Перенос стиля, superresolution, GAN<br />
+
| Self-supervised learning, foundation models
−
|- style="background-color:#ffffff;"
+
| Self-supervised learning
 +
|
 +
|-
 
| 12
 
| 12
−
| 23.11.2023
+
| 29.11.2023
−
| style="text-align:left;" | VAE, Diffusion
+
| Перенос стиля, superresolution, GAN, VAE (начало)
−
|- style="background-color:#ffffff;"
+
| AE, VAE, GAN
 +
| GAN
 +
|-
 
| 13
 
| 13
−
| 30.11.2023
+
| 06.12.2023
−
| style="vertical-align:bottom; text-align:left;" | Self-supervised learning, foundation models
+
| VAE (продолжение), Diffusion
−
|- style="background-color:#ffffff;"
+
| Diffusion
 +
|  
 +
|-
 
| 14
 
| 14
−
| 07.12.2023
+
| 13.12.2023
−
| style="text-align:left;" | Research pipeline: чтение статей, проведение экспериментов, написание статьи<br />Нейросети в проде: mixed precision, дистилляция, архитектуры, pruning, quantization, ONNX
+
| Research pipeline: чтение статей, проведение экспериментов, написание статьи<br />Нейросети в проде: mixed precision, дистилляция, архитектуры, pruning, quantization, ONNX
−
|- style="background-color:#ffffff;"
+
| Разметка данных, управление экспериментами
 +
| Квантование простой нейросети
 +
|-
 
| 15
 
| 15
−
| 14.12.2023
+
| 20.12.2023
−
| style="vertical-align:bottom; text-align:left;" | Итоговая контрольная
+
| Итоговая контрольная
 +
| Гостевая лекция / обзор свежих интересных работ
 +
|
 
|}
 
|}
  
 +
{| width="900px" style="text-align:justify;"
 +
|
 
== Рекомендуемая литература ==
 
== Рекомендуемая литература ==
 
# W. Burger, M. Burge. Principles of Digital Image Processing. Springer 2009, 2013. [https://link.springer.com/content/pdf/10.1007%2F978-1-84800-191-6.pdf Fundamental Techniques], [https://link.springer.com/content/pdf/10.1007%2F978-1-84800-195-4.pdf Core Algorithms], [https://link.springer.com/content/pdf/10.1007%2F978-1-84882-919-0.pdf Advanced Methods].
 
# W. Burger, M. Burge. Principles of Digital Image Processing. Springer 2009, 2013. [https://link.springer.com/content/pdf/10.1007%2F978-1-84800-191-6.pdf Fundamental Techniques], [https://link.springer.com/content/pdf/10.1007%2F978-1-84800-195-4.pdf Core Algorithms], [https://link.springer.com/content/pdf/10.1007%2F978-1-84882-919-0.pdf Advanced Methods].
Строка 109: Строка 150:
 
# R. Szeliski. [http://szeliski.org/Book/2ndEdition.htm Computer Vision: Algorithms and Applications]. 2020
 
# R. Szeliski. [http://szeliski.org/Book/2ndEdition.htm Computer Vision: Algorithms and Applications]. 2020
 
# R. Hartley, A. Zisserman. [http://cvrs.whu.edu.cn/downloads/ebooks/Multiple%20View%20Geometry%20in%20Computer%20Vision%20(Second%20Edition).pdf Multiple View Geometry in Computer Vision]. Cambridge University Press, 2004.
 
# R. Hartley, A. Zisserman. [http://cvrs.whu.edu.cn/downloads/ebooks/Multiple%20View%20Geometry%20in%20Computer%20Vision%20(Second%20Edition).pdf Multiple View Geometry in Computer Vision]. Cambridge University Press, 2004.
−
 
 
|}
 
|}

Версия 13:32, 26 октября 2023

Факультетский курс. Параллельно читается в трех местах: МФТИ, ШАД, ВМК МГУ. Занятия проходят онлайн (Zoom) по средам с 18:00 до 19:20 (лекция) и с 19:30 до 20:50 (семинар). Первое занятие 13 сентября. Записи занятий будут доступны для просмотра.

Общие сведения

Семестр: 9 (пятый курс)
Форма контроля: экзамен

Краткое описание

Курс посвящен методам и алгоритмам компьютерного зрения, т.е. извлечения информации из изображений и видео. Для большинства задач будем обсуждать современные нейросетевые модели, сверточные и трансформеры. Курс в большей степени является практическим, а не теоретическим. Поэтому все лекции снабжены лабораторными и домашними работами, которые позволяют попробовать на практике большинство из рассматриваемых методов. Работы выполняются на языке Python, с использованием различных библиотек.

Команда курса

Лектор: Влад Шахуро
Семинарист: Андрей Стоцкий (@ruroruro)

Важные ссылки

Форма регистрации: ссылка (заполните для доступа к чату курса и заданиям)
 Материалы курса: ссылка
Записи лекций и семинаров: youtube

Критерии оценки за курс

Оценка по курсу получается за выполнение следующих заданий:

  1. Домашние задания (1-2 штуки в неделю). Всего порядка 12 заданий, в среднем 10 баллов за задание. Задания можно сдавать после дедлайна до конца курса, при этом оценка ограничивается 60% от базовой
  2. Итоговая контрольная в конце курса. 10 письменных вопросов на 10 баллов, 1.5 часа на выполнение

Критерии оценки по 10-балльной шкале будут опубликованы в середине ноября. Приблизительные критерии (в процентах от макс. балла):
≥ 75% — отлично
≥ 65% — хорошо
≥ 55% — удовлетворительно

Перезачет. Если вы уже проходили наш курс в другом месте (или будете проходить его параллельно в этом семестре), то вы можете перезачесть оценку за весь курс или часть заданий. Перезачет делается в индивидуальном порядке (пишите @ruroruro в телеграм). Перезачесть вместо наших заданий "похожие" задания из других курсов НЕЛЬЗЯ.

Пересдача. Если до конца курса вы не набираете баллов на оценку «удовлетворительно», то вам нужно будет досдавать/пересдавать задания со штрафом как после дедлайна (60%) до тех пор, пока вы не наберете достаточно баллов. В крайнем случае назначается пересдача в формате итоговой контрольной на которой можно добрать недостающие баллы.

План курса

Пожалуйста, не выкладывайте содержание заданий и ваши решения в открытый доступ (Github и т.п.). Подготовка качественных заданий требует много времени и сил, которые таким образом обесцениваются. Заимствование кода из публичных источников без указания источника или плагиат могут штрафоваться.

План курса предварительный, в процессе чтения может меняться.

# Дата Лекция Семинар Домашнее задание
1 13.09.2023 Цифровое изображение Введение в практическую часть курса, Работа с numpy Демозаикинг
Прокудин-Горский
2 20.09.2023 Основы обработки изображений Базовая обработка изображений
3 27.09.2023 Сжатие изображений, Преобразование Фурье Преобразование Фурье Сжатие изображение (PCA, JPEG)
Обратная свертка
4 04.10.2023 Классификация изображений. Введение в нейросети Иерархия абстракций: numpy, pytorch, pytorch-lightning Реализация нейросети на numpy
5 11.10.2023 Сверточные нейросетевые архитектуры Нейросетевые задания курса, Базовое обучение нейросетей Регрессия точек лица
6 18.10.2023 Трансформеры и сверточные нейронные сети с большими ядрами Разбор устройства ViT, Приемы для дообучения нейросетей Дообучение нейросети
7 25.10.2023 Поиск похожих изображений Метрическое обучение, Эффективность тензорных вычислений Классификация редких дорожных знаков
8 01.11.2023 Детекторы объектов Детектирование объектов Простой нейросетевой детектор
9 08.11.2023 Сегментация изображений Простая нейросеть для сегментации Сегментация изображений
10 15.11.2023 Основы обработки видео Работа с видео Трекинг объектов
11 22.11.2023 Self-supervised learning, foundation models Self-supervised learning
12 29.11.2023 Перенос стиля, superresolution, GAN, VAE (начало) AE, VAE, GAN GAN
13 06.12.2023 VAE (продолжение), Diffusion Diffusion
14 13.12.2023 Research pipeline: чтение статей, проведение экспериментов, написание статьи
Нейросети в проде: mixed precision, дистилляция, архитектуры, pruning, quantization, ONNX 		Разметка данных, управление экспериментами Квантование простой нейросети
15 20.12.2023 Итоговая контрольная Гостевая лекция / обзор свежих интересных работ

Рекомендуемая литература

  1. W. Burger, M. Burge. Principles of Digital Image Processing. Springer 2009, 2013. Fundamental Techniques, Core Algorithms, Advanced Methods.
  2. M. Nielsen. Neural Networks and Deep Learning.
  3. A. Zhang, Z. Lipton, Mu Li, A. Smola. Dive into Deep Learning. 2020.
  4. I. Goodfellow, Y. Bengio, A. Courville. Deep learning. MIT Press 2016.
  5. R. Szeliski. Computer Vision: Algorithms and Applications. 2020
  6. R. Hartley, A. Zisserman. Multiple View Geometry in Computer Vision. Cambridge University Press, 2004.
Источник — «http://wiki.atp-fivt.org/index.php?title=CV_2023&oldid=2439»