CV 2023

Факультетский курс. Параллельно читается в трех местах: МФТИ, ШАД, ВМК МГУ. Занятия проходят онлайн (Zoom) по средам с 18:00 до 19:20 (лекция) и с 19:30 до 20:50 (семинар). Записи занятий будут доступны для просмотра. Общие сведения Семестр: 9 (пятый курс) Форма контроля: экзамен Краткое описание Курс посвящен методам и алгоритмам компьютерного зрения, т.е. извлечения информации из изображений и видео. Для большинства задач будем обсуждать современные нейросетевые модели, сверточные и трансформеры. Курс в большей степени является практическим, а не теоретическим. Поэтому все лекции снабжены лабораторными и домашними работами, которые позволяют попробовать на практике большинство из рассматриваемых методов. Работы выполняются на языке Python, с использованием различных библиотек. Команда курса Лектор: Влад Шахуро Семинарист: Андрей Стоцкий Важные ссылки Форма регистрации: TODO (заполните для доступа к чату курса и заданиям) Материалы курса: TODO Записи лекций и семинаров: youtube, диск Критерии получения оценки Оценка по курсу получается за выполнение следующих заданий: Домашние задания (1-2 штуки в неделю). Всего порядка 12 заданий, в среднем 10 баллов за задание. Задания можно сдавать после дедлайна до конца курса, при этом оценка ограничивается 60% от базовой Итоговая контрольная в конце курса. 10 письменных вопросов на 10 баллов, 1.5 часа на выполнение Критерии оценки по 10-балльной шкале будут опубликованы в середине ноября. Приблизительные критерии (в процентах от макс. балла): ≥ 75% — отлично ≥ 65% — хорошо ≥ 50% — удовлетворительно Перезачет заданий из других курсов. Если в другом курсе вы делали задание, очень похожее по содержанию на задание из этого курса, то можно попробовать его перезачесть. Это делается в индивидуальном порядке. Для этого нужно прислать семинаристу подробную формулировку задания из другого курса, ваше решение, полученную оценку/значение метрики качества. Пересдача. Если до конца курса вы не набираете баллов на оценку «удовлетворительно», то вам нужно будет досдавать задания на 60% от оценки. В крайнем случае назначается пересдача в формате итоговой контрольной. План курса Пожалуйста, не выкладывайте содержание заданий и ваши решения в открытый доступ (Github и т.п.). Подготовка качественных заданий требует много времени и сил, которые таким образом обесцениваются. План курса предварительный, в процессе чтения может меняться.

#	Дата	Лекция	Семинар	Домашнее задание
1	13.09.2023	Цифровое изображение и тональная коррекция	Работа с изображениями в python	Демозаикинг Прокудин-Горский
2	20.09.2023	Основы обработки изображений	Базовая обработка изображений
3	27.09.2023	Продвинутая обработка изображений. PNG, JPEG, преобразование Фурье, Лапласовская пирамида. Сэмплирование	Преобразование Фурье Геометрические преобразования изображений	Сжатие изображение (PCA, JPEG) Обратная свертка
4	04.10.2023	Введение в свёрточные нейросети и трансформеры. Классификация изображений	Обратное распространение ошибки Numpy, pytorch, lightning	Реализация нейросети на numpy
5	11.10.2023	Обратное распространение ошибки: базовые принципы и основные слои	Lightning. Обучение простого классификатора	Регрессия точек лица
6	18.10.2023	Бэкбоны для классификации (CNN и трансформеры)	Дообучение нейросети	Дообучение нейросети
7	25.10.2023	Поиск по изображениям, metric learning	Metric learning	Классификация редких дорожных знаков
8	01.11.2023	Детекторы объектов	Детектирование объектов	Простой нейросетевой детектор
9	08.11.2023	Сегментация изображений	Простая нейросеть для сегментации	Сегментация изображений
10	15.11.2023	Основы обработки видео	Работа с видео	Трекинг объектов
11	22.11.2023	Self-supervised learning, foundation models	Self-supervised learning
12	29.11.2023	Перенос стиля, superresolution, GAN, VAE (начало)	AE, VAE, GAN	GAN
13	06.12.2023	VAE (продолжение), Diffusion	Diffusion
14	13.12.2023	Research pipeline: чтение статей, проведение экспериментов, написание статьи Нейросети в проде: mixed precision, дистилляция, архитектуры, pruning, quantization, ONNX	Разметка данных, управление экспериментами	Квантование простой нейросети
15	20.12.2023	Итоговая контрольная	Гостевая лекция / обзор свежих интересных работ

Рекомендуемая литература W. Burger, M. Burge. Principles of Digital Image Processing. Springer 2009, 2013. Fundamental Techniques, Core Algorithms, Advanced Methods. M. Nielsen. Neural Networks and Deep Learning. A. Zhang, Z. Lipton, Mu Li, A. Smola. Dive into Deep Learning. 2020. I. Goodfellow, Y. Bengio, A. Courville. Deep learning. MIT Press 2016. R. Szeliski. Computer Vision: Algorithms and Applications. 2020 R. Hartley, A. Zisserman. Multiple View Geometry in Computer Vision. Cambridge University Press, 2004.