Анализ изображений 2024

Факультетский курс. Параллельно читается в трех местах: МФТИ, ШАД, ВМК МГУ. Занятия проходят онлайн (Zoom) по средам с 18:00 до 19:20 (лекция) и с 19:30 до 20:50 (семинар). Первое занятие 11 сентября. Записи занятий будут доступны для просмотра. Общие сведения Семестр: 9 (пятый курс) Форма контроля: экзамен Краткое описание Курс посвящен методам и алгоритмам компьютерного зрения, т.е. извлечения информации из изображений и видео. Для большинства задач будем обсуждать современные нейросетевые модели, сверточные и трансформеры. Курс в большей степени является практическим, а не теоретическим. Поэтому все лекции снабжены лабораторными и домашними работами, которые позволяют попробовать на практике большинство из рассматриваемых методов. Работы выполняются на языке Python, с использованием различных библиотек. Команда курса Лектор: Влад Шахуро Семинарист: Андрей Стоцкий (@ruroruro) Важные ссылки Форма регистрации: [] (заполните для доступа к чату курса и заданиям) Материалы курса: [] Записи лекций и семинаров: [] Критерии оценки за курс Оценка по курсу получается за выполнение следующих заданий: Домашние задания (1-2 штуки в неделю). Всего порядка 12 заданий, в среднем 10 баллов за задание. Задания можно сдавать после дедлайна до конца курса, при этом оценка ограничивается 60% от базовой Итоговая контрольная в конце курса. 10 письменных вопросов на 10 баллов, 1.5 часа на выполнение Критерии оценки по 10-балльной шкале будут опубликованы в середине ноября. Приблизительные критерии (в процентах от макс. балла): ≥ 75% — отлично ≥ 65% — хорошо ≥ 55% — удовлетворительно Перезачет. Если вы уже проходили наш курс в другом месте (или будете проходить его параллельно в этом семестре), то вы можете перезачесть оценку за весь курс или часть заданий. Перезачет делается в индивидуальном порядке (пишите @ruroruro в телеграм). Перезачесть вместо наших заданий "похожие" задания из других курсов НЕЛЬЗЯ. Пересдача. Если до конца курса вы не набираете баллов на оценку «удовлетворительно», то вам нужно будет досдавать/пересдавать задания со штрафом как после дедлайна (60%) до тех пор, пока вы не наберете достаточно баллов. В крайнем случае назначается пересдача в формате итоговой контрольной на которой можно добрать недостающие баллы. План курса Пожалуйста, не выкладывайте содержание заданий и ваши решения в открытый доступ (Github и т.п.). Подготовка качественных заданий требует много времени и сил, которые таким образом обесцениваются. Заимствование кода из публичных источников без указания источника или плагиат могут штрафоваться. План курса предварительный, в процессе чтения может меняться.

#	Дата	Лекция	Семинар	Домашнее задание
1	11.09.2024	Цифровое изображение	Введение в практическую часть курса, Работа с numpy	Демозаикинг Прокудин-Горский
2	18.09.2024	Основы обработки изображений	Базовая обработка изображений
3	25.09.2024	Сжатие изображений, Преобразование Фурье	Преобразование Фурье	Сжатие изображение (PCA, JPEG) Обратная свертка
4	02.10.2024	Классификация изображений. Введение в нейросети	Иерархия абстракций: numpy, pytorch, pytorch-lightning	Реализация нейросети на numpy
5	09.10.2024	Сверточные нейросетевые архитектуры	Нейросетевые задания курса, Базовое обучение нейросетей	Регрессия точек лица
6	16.10.2024	Трансформеры и сверточные нейронные сети с большими ядрами	Разбор устройства ViT, Приемы для дообучения нейросетей	Дообучение нейросети
7	23.10.2024	Поиск похожих изображений	Метрическое обучение, Эффективность тензорных вычислений	Классификация редких дорожных знаков
8	30.10.2024	Детекторы объектов	Детектирование объектов	Простой нейросетевой детектор
9	06.11.2024	Сегментация изображений	Простая нейросеть для сегментации	Сегментация изображений
10	13.11.2024	Основы обработки видео	Работа с видео	Трекинг объектов
11	20.11.2024	Self-supervised learning, foundation models	Self-supervised learning
12	27.11.2024	Перенос стиля, superresolution, GAN, VAE (начало)	AE, VAE, GAN	GAN
13	04.12.2024	VAE (продолжение), Diffusion	Diffusion
14	11.12.2024	Итоговая контрольная	Чтение статей, организация семинара, выбор аспирантуры	Квантование простой нейросети

Рекомендуемая литература W. Burger, M. Burge. Principles of Digital Image Processing. Springer 2009, 2013. Fundamental Techniques, Core Algorithms, Advanced Methods. M. Nielsen. Neural Networks and Deep Learning. A. Zhang, Z. Lipton, Mu Li, A. Smola. Dive into Deep Learning. 2020. I. Goodfellow, Y. Bengio, A. Courville. Deep learning. MIT Press 2016. R. Szeliski. Computer Vision: Algorithms and Applications. 2020 R. Hartley, A. Zisserman. Multiple View Geometry in Computer Vision. Cambridge University Press, 2004.