HOBOD 2021
Содержание
Общие сведения
- Семестр: 10 (пятый курс)
- Форма контроля: экзамен
- План курса
- Телеграм-чат курса
- Форма регистрации. Заполняют только те, кому не пришли письма от automation@atp-fivt.org
- Таблица с оценками
Материалы занятий
- Презентации лекций
- Коды семинаров
- Видео занятий. Для доступа зайдите в аккаунт на @phystech.edu.
- Домашние задания.
Инфраструктура
- Форма для проблем с инфраструктурой
- Сервер GitLab:
http://gitlab.atp-fivt.org
- Презентация "как сдавать домашки"
- Видео инструкция о том как смотреть логи
Основной кластер Hadoop
- Hostname клиента:
ssh <user>@mipt-client.atp-fivt.org
- Как работать с Juputer и Spark на кластере МФТИ
Резервный кластер Hadoop
- Hostname клиента:
ssh <user>@sber-client.atp-fivt.org
- Инструкция пользователя.
Сервер для работы с Docker
- Hostname сервера:
ssh hob2021XXX@environ01.atp-fivt.org
- XXX - [001, 285]. Номер см. в таблице с оценками.
- пароль см. в чате курса. Рекомендуется при первом входе сбросить его командой passwd.
Команда курса
Преподаватели
- Ивченко Олег
- Лахвич Дмитрий
- Ташоян Арсений
- Роман Липовский
- Пономарёв Иван
- Ахтямов Павел
- Федотов Иван
- Жестов Анатолий
Учебные ассистенты
- Чернецкий Аркадий (проверка ДЗ)
- Якушева Софья (проверка ДЗ)
- Воропаев Роберт (разработка тестов)
- Цион Михаил (разработка тестов)
Критерии получения оценки
Суммарно за все активности курса (домашки, контрольные, экзамены и бонус) можно получить 17 / 10. Для получения положительной оценки нужно сдать хотя бы 1 ДЗ. Если нет ни одной домашки, будет неуд. даже если вы набрали > 2.5.
Домашние задания
Планируется 6 домашних заданий.
- Каждое оценивается максимум в 1,5 балла.
- За сдачу позже мягкого дедлайна -50%
- За сдачу позже жёсткого -75%. Со штрафом -75% можно сдавать до экзамена.
Дедлайны по домашкам
| Домашка | Мягкий deadline | Жёсткий deadline |
|---|---|---|
| MapReduce | 09.03, 23:59 | 14.03, 23:59 |
| Hive | 21.03, 23:59 | 28.03, 23:59 |
| Spark | 04.04, 23:59 | 11.05, 23:59 |
| RealTime & Kafka | 25.04, 23:59 (02.05 для Kafka Streams) | 02.05, 23:59 (11.05 для Kafka Streams) |
| HBase / Casssandra | 11.05, 23:59 | 16.05, 23:59 |
| Google Spanner | 30.05, 23:59 | 06.06, 23:59 |
В идеальном случае за домашние задания можно получить 9 баллов.
Мини-контрольные работы (Quiz'ы)
Планируется 5 мини-контрольных (см. план курса). Они будут проводиться с помощью системы прокторинга http://exams.mipt.ru/. По ссылке доступна инструкция пользователя. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.
Каждая контрольная:
- проводится на занятиях.
- содержит 10-15 вопросов с выбором вариантов ответа,
- длится 10-15 мин.,
- оценивается максимум в 1 балл.
| Название события на http://exams.mipt.ru/ | Дата | Результаты | Результаты дописывания |
|---|---|---|---|
| ХОБОД-2021. HDFS, MapReduce, YARN | 11.03.21 | http://gg.gg/hobod21-test1 | |
| ХОБОД-2021. SQL over BigData | 18.03.21 | http://gg.gg/hobod21-test2 | |
| ХОБОД-2021. Spark RDD & DF | 01.04.21 | http://gg.gg/hobod21-test3 | |
| ХОБОД-2021. Realtime & Kafka, Kafka Streams | 06.05.21 | ||
| ХОБОД-2021. NoSQL | 20.05.21 | не предусмотрено |
В идеальном случае за контрольные можно получить 5 баллов.
В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить форму на дописывание. Дописывание состоится 20.05:
- 17:00 для 1-го Quiz'a,
- 17:15 для 2-го,
- 17:30 для 3-го,
- 17:45 для 4-го.
- 5й Quiz пройдет в 18:35, дописывания у него нет.
Бонус
Бонус начисляется за:
- активное участие в семинарах,
- помощь коллегам в чате курса.
Возможно получить до 1 балла. Количество студентов, которым может быть начислен бонус, неограничено.
Экзамен
Экзамен состоится 17.06 в 10:00. Он будет проходить через Прокторинг.
Является необязательным.
- 6 вопросов по всему курсу,
- 45 минут времени
- возможна устная защита по окончанию 45 минут
- Максимальная оценка: 2 балла.
Перезачет курса
Если вы хотите перпезачесть курс, просьба заполнить форму до 4.03.2021.
Курс PD-2018 (a.k.a. МВС) не перезасчитывается т.к. ХОБОД является его продолжением.
Список рекомендуемых материалов
Основная
- Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
- Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
- Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
Дополнительная
- Chuck Lam. Hadoop in Action. New York: Manning Publications co., 2011.
- Alex Holmes , "Hadoop in Practice", 2012
- Martin Fowler, "NoSQL", 2013
- Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks", 2012
- Jonathan Leibiusky, "Getting Started with Storm", 2012
- Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly, 2013.
- Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley, 2014.
- Spark Core Programming. TutorialsPoint, 2015.
- Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly, 2012.
- Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly, 2012.
- Lars George. HBase: The Definitive Guide. O’Reilly, 2011.
- Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly, 2011.
