|
Факультетский курс. Параллельно читается в трех местах: МФТИ, ШАД, ВМК МГУ. Занятия проходят онлайн (Zoom) по средам с 18:00 до 19:20 (лекция) и с 19:30 до 20:50 (семинар). Записи занятий будут доступны для просмотра.
Общие сведения
Семестр: 9 (пятый курс)
Форма контроля: экзамен
Краткое описание
Курс посвящен методам и алгоритмам компьютерного зрения, т.е. извлечения информации из изображений и видео. Для большинства задач будем обсуждать современные нейросетевые модели, сверточные и трансформеры. Курс в большей степени является практическим, а не теоретическим. Поэтому все лекции снабжены лабораторными и домашними работами, которые позволяют попробовать на практике большинство из рассматриваемых методов. Работы выполняются на языке Python, с использованием различных библиотек.
Команда курса
- Лектор: Влад Шахуро
- Семинарист: Андрей Стоцкий, TODO
- Учебные ассистенты::
Важные ссылки
- Форма регистрации: TODO (заполните для доступа к чату курса и заданиям)
- Материалы курса: TODO
- Записи лекций и семинаров: youtube, диск
Критерии получения оценки
Оценка по курсу получается за выполнение следующих заданий:
- Лабораторные и домашние задания (1-2 штуки в неделю). Всего порядка 12 заданий
- Задания можно сдавать после дедлайна до конца курса, при этом оценка ограничивается 60% от базовой
- Финальный экзамен в конце курса
Критерии оценки
TODO
Предварительный план курса (может поменяться в процессe)
TODO добавить задания в таблицу
| #
|
Дата
|
Лекция
|
Семинар
|
Домашнее задание
|
| 1
|
13.09.2023
|
Цифровое изображение и тональная коррекция
|
Работа с изображениями в python
|
Демозаикинг
Прокудин-Горский
|
| 2
|
20.09.2023
|
Основы обработки изображений
|
Базовая обработка изображений
|
|
| 3
|
27.09.2023
|
Продвинутая обработка изображений.
PNG, JPEG, преобразование Фурье, Лапласовская пирамида. Сэмплирование
|
Преобразование Фурье
Геометрические преобразования изображений
|
Сжатие изображение (PCA, JPEG)
Обратная свертка
|
| 4
|
04.10.2023
|
Введение в свёрточные нейросети и трансформеры. Классификация изображений
|
Обратное распространение ошибки
Numpy, pytorch, lightning
|
Реализация нейросети на numpy
|
| 5
|
11.10.2023
|
Обратное распространение ошибки: базовые принципы и основные слои
|
Lightning. Обучение простого классификатора
|
Регрессия точек лица
|
| 6
|
18.10.2023
|
Бэкбоны для классификации (CNN и трансформеры)
|
Дообучение нейросети
|
Дообучение нейросети
|
| 7
|
25.10.2023
|
Поиск по изображениям, metric learning
|
Metric learning
|
Классификация редких дорожных знаков
|
| 8
|
01.11.2023
|
Детекторы объектов
|
Детектирование объектов
|
Простой нейросетевой детектор
|
| 9
|
08.11.2023
|
Сегментация изображений
|
Простая нейросеть для сегментации
|
Сегментация изображений
|
| 10
|
15.11.2023
|
Основы обработки видео
|
Работа с видео
|
Трекинг объектов
|
| 11
|
22.11.2023
|
Self-supervised learning, foundation models
|
Self-supervised learning
|
|
| 12
|
29.11.2023
|
Перенос стиля, superresolution, GAN, VAE (начало)
|
AE, VAE, GAN
|
GAN
|
| 13
|
06.12.2023
|
VAE (продолжение), Diffusion
|
Diffusion
|
|
| 14
|
13.12.2023
|
Research pipeline: чтение статей, проведение экспериментов, написание статьи
Нейросети в проде: mixed precision, дистилляция, архитектуры, pruning, quantization, ONNX
|
Разметка данных, управление экспериментами
|
Квантование простой нейросети
|
| 15
|
20.12.2023
|
Итоговая контрольная
|
Гостевая лекция / обзор свежих интересных работ
|
|
Рекомендуемая литература
- W. Burger, M. Burge. Principles of Digital Image Processing. Springer 2009, 2013. Fundamental Techniques, Core Algorithms, Advanced Methods.
- M. Nielsen. Neural Networks and Deep Learning.
- A. Zhang, Z. Lipton, Mu Li, A. Smola. Dive into Deep Learning. 2020.
- I. Goodfellow, Y. Bengio, A. Courville. Deep learning. MIT Press 2016.
- R. Szeliski. Computer Vision: Algorithms and Applications. 2020
- R. Hartley, A. Zisserman. Multiple View Geometry in Computer Vision. Cambridge University Press, 2004.
|
