Анализ изображений 2024
|
Факультетский курс. Параллельно читается в трех местах: МФТИ, ШАД, ВМК МГУ. Занятия проходят онлайн (Zoom) по средам с 18:00 до 19:20 (лекция) и с 19:30 до 20:50 (семинар). Первое занятие 11 сентября. Записи занятий будут доступны для просмотра. СодержаниеОбщие сведенияСеместр: 9 (пятый курс) Краткое описание Курс посвящен методам и алгоритмам компьютерного зрения, т.е. извлечения информации из изображений и видео. Для большинства задач будем обсуждать современные нейросетевые модели, сверточные и трансформеры. Курс в большей степени является практическим, а не теоретическим. Поэтому все лекции снабжены лабораторными и домашними работами, которые позволяют попробовать на практике большинство из рассматриваемых методов. Работы выполняются на языке Python, с использованием различных библиотек. Команда курсаЛектор: Влад Шахуро Важные ссылкиЧат курса: Обратите внимание! Актуальная информация по курсу будет в первую очередь появляться в телеграм-чате курса. Чтобы не пропустить важную информацию, не отключайте уведомления в топике "Анонсы". Критерии оценки за курсОценка по курсу получается за выполнение домашних заданий (1-2 штуки в неделю). Всего порядка 12 заданий, в среднем 10 баллов за задание. Задания можно сдавать после дедлайна до конца курса, но тогда оценка будет ограничиваться 60% от базовой. Итоговая оценка за курс проставляется по 5-бальной шкале: неуд(2), удовл(3), хор(4), отл(5). Если в ведомости требуется оценка по 10-бальной шкале, то итоговая оценка за курс конвертируется неуд → 2/10, удовл → 4/10, хор → 7/10, отл → 10/10. Критерии оценки. Перезачет. Если вы уже проходили наш курс в другом месте (или будете проходить его параллельно в этом семестре), то вы можете перезачесть оценку за весь курс или часть заданий. Перезачет делается в индивидуальном порядке (пишите @ruroruro в телеграм). Перезачесть вместо наших заданий "похожие" задания из других курсов НЕЛЬЗЯ. Пересдача. Если до конца курса вы не набираете баллов на оценку «удовл», то вам нужно будет досдавать/пересдавать задания до тех пор, пока вы не наберете достаточно баллов. Обратите внимание! На пересдаче нельзя получить оценку выше «удовл» (даже если вы наберете достаточно баллов). Кроме того, на пересдаче все ещё применяются штрафы за просроченные дедлайны (60%). В результате, сдать курс "с нуля" на пересдаче, не выполняя задания во время семестра - практически невозможно. Пожалуйста, не откладывайте выполнение заданий на потом. Плагиат. В нашем курсе не допускается заимствование решений или фрагментов кода из интернета или у других студентов. Перед подведением итогов в конце семестра, все студенческие решения обрабатываются автоматической системой анти-плагиата. В зависимости от результатов ручной проверки срабатываний анти-плагиата и объема/значительности выявленных заимствований, могут быть сняты баллы или даже проставлен штраф (отрицательный балл) за задание с выявленными заимствованиями. Пожалуйста, не выкладывайте содержание заданий и ваши решения в открытый доступ (Github и т.п.). Подготовка качественных заданий требует много времени и сил, которые таким образом обесцениваются. План курсаПлан курса предварительный, в процессе чтения может меняться. |
| # | Дата | Лекция | Семинар | Домашнее задание |
|---|---|---|---|---|
| 1 | 11.09.2024 | Цифровое изображение | Введение в практическую часть курса, Работа с numpy | Демозаикинг Прокудин-Горский |
| 2 | 18.09.2024 | Основы обработки изображений | Базовая обработка изображений | |
| 3 | 25.09.2024 | Сжатие изображений, Преобразование Фурье | Преобразование Фурье | Сжатие изображение (PCA, JPEG) Обратная свертка |
| 4 | 02.10.2024 | Классификация изображений. Введение в нейросети | Иерархия абстракций: numpy, pytorch, pytorch-lightning | Реализация нейросети на numpy |
| 5 | 09.10.2024 | Сверточные нейросетевые архитектуры | Нейросетевые задания курса, Базовое обучение нейросетей | Регрессия точек лица |
| 6 | 16.10.2024 | Трансформеры и сверточные нейронные сети с большими ядрами | Разбор устройства ViT, Приемы для дообучения нейросетей | Дообучение нейросети |
| 7 | 23.10.2024 | Поиск похожих изображений | Метрическое обучение, Эффективность тензорных вычислений | Классификация редких дорожных знаков |
| 8 | 30.10.2024 | Детекторы объектов | Детектирование объектов | Простой нейросетевой детектор |
| 9 | 06.11.2024 | Сегментация изображений | Простая нейросеть для сегментации | Сегментация изображений |
| 10 | 13.11.2024 | Основы обработки видео | Работа с видео | Трекинг объектов |
| 11 | 20.11.2024 | Self-supervised learning, foundation models | Self-supervised learning | |
| 12 | 27.11.2024 | Перенос стиля, superresolution, GAN, VAE (начало) | AE, VAE, GAN | GAN |
| 13 | 04.12.2024 | VAE (продолжение), Diffusion | Diffusion | |
| 14 | 11.12.2024 | Чтение статей, организация семинара, выбор аспирантуры | Квантование простой нейросети |
Рекомендуемая литература
|
