CV 2023 — различия между версиями

Материал из Public ATP Wiki
Перейти к: навигация, поиск
(Предварительный план курса (может поменяться в процессe))
Строка 34: Строка 34:
  
 
'''TODO''' добавить задания в таблицу
 
'''TODO''' добавить задания в таблицу
 
+
{| class="wikitable"  
{| class="wikitable" style="text-align:right; color:#000000;"
+
|-
|- style="text-align:left;"
 
 
! #
 
! #
! дата
+
! Дата
! Тема занятия
+
! Лекция
|- style="background-color:#ffffff;"
+
! Семинар
 +
! Домашнее задание
 +
|-
 
| 1
 
| 1
| 07.09.2023
+
| 13.09.2023
| style="text-align:left;" | Цифровое изображение и тональная коррекция
+
| Цифровое изображение и тональная коррекция
|- style="background-color:#ffffff;"
+
| Работа с изображениями в python
 +
| Демозаикинг<br />Прокудин-Горский
 +
|-
 
| 2
 
| 2
| 14.09.2023
+
| 20.09.2023
| style="text-align:left;" | Основы обработки изображений
+
| Основы обработки изображений
|- style="background-color:#ffffff;"
+
| Базовая обработка изображений
 +
|
 +
|-
 
| 3
 
| 3
| 21.09.2023
+
| 27.09.2023
| style="text-align:left;" | Продвинутая обработка изображений. <br /> PNG, JPEG, преобразование Фурье, Лапласовская пирамида. Сэмплирование
+
| Продвинутая обработка изображений. <br>PNG, JPEG, преобразование Фурье, Лапласовская пирамида. Сэмплирование
|- style="background-color:#ffffff;"
+
| Преобразование Фурье<br />Геометрические преобразования изображений
 +
| Сжатие изображение (PCA, JPEG)<br />Обратная свертка
 +
|-
 
| 4
 
| 4
| 28.09.2023
+
| 04.10.2023
| style="text-align:left;" | Введение в свёрточные нейросети и трансформеры. Классификация изображений
+
| Введение в свёрточные нейросети и трансформеры. Классификация изображений
|- style="background-color:#ffffff;"
+
| Обратное распространение ошибки<br />Numpy, pytorch, lightning
 +
| Реализация нейросети на numpy
 +
|-
 
| 5
 
| 5
| 05.10.2023
+
| 11.10.2023
| style="text-align:left;" | Обратное распространение ошибки: базовые принципы и основные слои
+
| Обратное распространение ошибки: базовые принципы и основные слои
|- style="background-color:#ffffff;"
+
| Lightning. Обучение простого классификатора
 +
| Регрессия точек лица
 +
|-
 
| 6
 
| 6
| 12.10.2023
+
| 18.10.2023
| style="text-align:left;" | Бэкбоны для классификации (CNN и трансформеры)
+
| Бэкбоны для классификации (CNN и трансформеры)
|- style="background-color:#ffffff;"
+
| Дообучение нейросети
 +
| Дообучение нейросети
 +
|-
 
| 7
 
| 7
| 19.10.2023
+
| 25.10.2023
| style="text-align:left;" | Поиск по изображениям, metric learning
+
| Поиск по изображениям, metric learning
|- style="background-color:#ffffff;"
+
| Metric learning
 +
| Классификация редких дорожных знаков
 +
|-
 
| 8
 
| 8
| 26.10.2023
+
| 01.11.2023
| style="text-align:left;" | Детекторы объектов
+
| Детекторы объектов
|- style="background-color:#ffffff;"
+
| Детектирование объектов
 +
| Простой нейросетевой детектор
 +
|-
 
| 9
 
| 9
| 02.11.2023
+
| 08.11.2023
| style="text-align:left;" | Сегментация изображений
+
| Сегментация изображений
|- style="background-color:#ffffff;"
+
| Простая нейросеть для сегментации
 +
| Сегментация изображений
 +
|-
 
| 10
 
| 10
| 09.11.2023
+
| 15.11.2023
| style="text-align:left;" | Основы обработки видео
+
| Основы обработки видео
|- style="background-color:#ffffff;"
+
| Работа с видео
 +
| Трекинг объектов
 +
|-
 
| 11
 
| 11
| 16.11.2023
+
| 22.11.2023
| style="text-align:left;" | Перенос стиля, superresolution, GAN<br />
+
| Self-supervised learning, foundation models
|- style="background-color:#ffffff;"
+
| Self-supervised learning
 +
|
 +
|-
 
| 12
 
| 12
| 23.11.2023
+
| 29.11.2023
| style="text-align:left;" | VAE, Diffusion
+
| Перенос стиля, superresolution, GAN, VAE (начало)
|- style="background-color:#ffffff;"
+
| AE, VAE, GAN
 +
| GAN
 +
|-
 
| 13
 
| 13
| 30.11.2023
+
| 06.12.2023
| style="vertical-align:bottom; text-align:left;" | Self-supervised learning, foundation models
+
| VAE (продолжение), Diffusion
|- style="background-color:#ffffff;"
+
| Diffusion
 +
|  
 +
|-
 
| 14
 
| 14
| 07.12.2023
+
| 13.12.2023
| style="text-align:left;" | Research pipeline: чтение статей, проведение экспериментов, написание статьи<br />Нейросети в проде: mixed precision, дистилляция, архитектуры, pruning, quantization, ONNX
+
| Research pipeline: чтение статей, проведение экспериментов, написание статьи<br />Нейросети в проде: mixed precision, дистилляция, архитектуры, pruning, quantization, ONNX
|- style="background-color:#ffffff;"
+
| Разметка данных, управление экспериментами
 +
| Квантование простой нейросети
 +
|-
 
| 15
 
| 15
| 14.12.2023
+
| 20.12.2023
| style="vertical-align:bottom; text-align:left;" | Итоговая контрольная
+
| Итоговая контрольная
 +
| Гостевая лекция / обзор свежих интересных работ
 +
|
 
|}
 
|}
  

Версия 10:07, 25 августа 2023

Факультетский курс. Параллельно читается в трех местах: МФТИ, ШАД, ВМК МГУ. Занятия проходят онлайн (Zoom) по средам с 18:00 до 19:20 (лекция) и с 19:30 до 20:50 (семинар). Записи занятий будут доступны для просмотра.

Общие сведения

Семестр: 9 (пятый курс)
Форма контроля: экзамен

Краткое описание

Курс посвящен методам и алгоритмам компьютерного зрения, т.е. извлечения информации из изображений и видео. Для большинства задач будем обсуждать современные нейросетевые модели, сверточные и трансформеры. Курс в большей степени является практическим, а не теоретическим. Поэтому все лекции снабжены лабораторными и домашними работами, которые позволяют попробовать на практике большинство из рассматриваемых методов. Работы выполняются на языке Python, с использованием различных библиотек.

Команда курса

  • Лектор: Влад Шахуро
  • Семинарист: Андрей Стоцкий, TODO
  • Учебные ассистенты::

Важные ссылки

  • Форма регистрации: TODO (заполните для доступа к чату курса и заданиям)
  • Материалы курса: TODO
  • Записи лекций и семинаров: youtube, диск

Критерии получения оценки

Оценка по курсу получается за выполнение следующих заданий:

  1. Лабораторные и домашние задания (1-2 штуки в неделю). Всего порядка 12 заданий
  2. Задания можно сдавать после дедлайна до конца курса, при этом оценка ограничивается 60% от базовой
  3. Финальный экзамен в конце курса

Критерии оценки

TODO

Предварительный план курса (может поменяться в процессe)

TODO добавить задания в таблицу

# Дата Лекция Семинар Домашнее задание
1 13.09.2023 Цифровое изображение и тональная коррекция Работа с изображениями в python Демозаикинг
Прокудин-Горский
2 20.09.2023 Основы обработки изображений Базовая обработка изображений
3 27.09.2023 Продвинутая обработка изображений.
PNG, JPEG, преобразование Фурье, Лапласовская пирамида. Сэмплирование
Преобразование Фурье
Геометрические преобразования изображений
Сжатие изображение (PCA, JPEG)
Обратная свертка
4 04.10.2023 Введение в свёрточные нейросети и трансформеры. Классификация изображений Обратное распространение ошибки
Numpy, pytorch, lightning
Реализация нейросети на numpy
5 11.10.2023 Обратное распространение ошибки: базовые принципы и основные слои Lightning. Обучение простого классификатора Регрессия точек лица
6 18.10.2023 Бэкбоны для классификации (CNN и трансформеры) Дообучение нейросети Дообучение нейросети
7 25.10.2023 Поиск по изображениям, metric learning Metric learning Классификация редких дорожных знаков
8 01.11.2023 Детекторы объектов Детектирование объектов Простой нейросетевой детектор
9 08.11.2023 Сегментация изображений Простая нейросеть для сегментации Сегментация изображений
10 15.11.2023 Основы обработки видео Работа с видео Трекинг объектов
11 22.11.2023 Self-supervised learning, foundation models Self-supervised learning
12 29.11.2023 Перенос стиля, superresolution, GAN, VAE (начало) AE, VAE, GAN GAN
13 06.12.2023 VAE (продолжение), Diffusion Diffusion
14 13.12.2023 Research pipeline: чтение статей, проведение экспериментов, написание статьи
Нейросети в проде: mixed precision, дистилляция, архитектуры, pruning, quantization, ONNX
Разметка данных, управление экспериментами Квантование простой нейросети
15 20.12.2023 Итоговая контрольная Гостевая лекция / обзор свежих интересных работ

Рекомендуемая литература

  1. W. Burger, M. Burge. Principles of Digital Image Processing. Springer 2009, 2013. Fundamental Techniques, Core Algorithms, Advanced Methods.
  2. M. Nielsen. Neural Networks and Deep Learning.
  3. A. Zhang, Z. Lipton, Mu Li, A. Smola. Dive into Deep Learning. 2020.
  4. I. Goodfellow, Y. Bengio, A. Courville. Deep learning. MIT Press 2016.
  5. R. Szeliski. Computer Vision: Algorithms and Applications. 2020
  6. R. Hartley, A. Zisserman. Multiple View Geometry in Computer Vision. Cambridge University Press, 2004.