HOBOD 2021

Материал из Public ATP Wiki
Версия от 21:06, 15 апреля 2021; VeLKerr (обсуждение | вклад) (Сервер для работы с Docker)
Перейти к: навигация, поиск

Общие сведения

Материалы занятий

Инфраструктура

Основной кластер Hadoop

Резервный кластер Hadoop

Сервер для работы с Docker

  • Hostname сервера:
    ssh hob2021XXX@environ01.atp-fivt.org
  • XXX - [001, 285]. Номер см. в таблице с оценками.
  • пароль см. в чате курса. Рекомендуется при первом входе сбросить его командой passwd.

Команда курса

Преподаватели

  • Ивченко Олег
  • Лахвич Дмитрий
  • Ташоян Арсений
  • Роман Липовский
  • Пономарёв Иван
  • Ахтямов Павел
  • Федотов Иван
  • Жестов Анатолий

Учебные ассистенты

  • Чернецкий Аркадий (проверка ДЗ)
  • Якушева Софья (проверка ДЗ)
  • Воропаев Роберт (разработка тестов)
  • Цион Михаил (разработка тестов)

Критерии получения оценки

Суммарно за все активности курса (домашки, контрольные, экзамены и бонус) можно получить 17 / 10. Для получения положительной оценки нужно сдать хотя бы 1 ДЗ. Если нет ни одной домашки, будет неуд. даже если вы набрали > 2.5.

Домашние задания

Планируется 6 домашних заданий.

  • Каждое оценивается максимум в 1,5 балла.
  • За сдачу позже мягкого дедлайна -50%
  • За сдачу позже жёсткого -75%. Со штрафом -75% можно сдавать до экзамена.

Дедлайны по домашкам

Домашка Мягкий deadline Жёсткий deadline
MapReduce 09.03, 23:59 14.03, 23:59
Hive 21.03, 23:59 28.03, 23:59
Spark 04.04, 23:59 11.05, 23:59
RealTime & Kafka 25.04, 23:59 (02.05 для Kafka Streams) 02.05, 23:59 (11.05 для Kafka Streams)
HBase / Casssandra 11.05, 23:59 16.05, 23:59
Google Spanner 30.05, 23:59 06.06, 23:59

В идеальном случае за домашние задания можно получить 9 баллов.

Мини-контрольные работы (Quiz'ы)

Планируется 5 мини-контрольных (см. план курса). Они будут проводиться с помощью системы прокторинга http://exams.mipt.ru/. По ссылке доступна инструкция пользователя. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

Каждая контрольная:

  • проводится на занятиях.
  • содержит 10-15 вопросов с выбором вариантов ответа,
  • длится 10-15 мин.,
  • оценивается максимум в 1 балл.
Название события на http://exams.mipt.ru/ Дата Результаты Результаты дописывания
ХОБОД-2021. HDFS, MapReduce, YARN 11.03.21 http://gg.gg/hobod21-test1
ХОБОД-2021. SQL over BigData 18.03.21 http://gg.gg/hobod21-test2
ХОБОД-2021. Spark RDD & DF 01.04.21 http://gg.gg/hobod21-test3
ХОБОД-2021. Realtime & Kafka, Kafka Streams 06.05.21
ХОБОД-2021. NoSQL 20.05.21 не предусмотрено

В идеальном случае за контрольные можно получить 5 баллов.

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить форму на дописывание. Дописывание состоится 20.05:

  • 17:00 для 1-го Quiz'a,
  • 17:15 для 2-го,
  • 17:30 для 3-го,
  • 17:45 для 4-го.
  • 5й Quiz пройдет в 18:35, дописывания у него нет.

Бонус

Бонус начисляется за:

  • активное участие в семинарах,
  • помощь коллегам в чате курса.

Возможно получить до 1 балла. Количество студентов, которым может быть начислен бонус, неограничено.

Экзамен

Экзамен состоится 17.06 в 10:00. Он будет проходить через Прокторинг.

Является необязательным.

  • 6 вопросов по всему курсу,
  • 45 минут времени
  • возможна устная защита по окончанию 45 минут
  • Максимальная оценка: 2 балла.

Перезачет курса

Если вы хотите перпезачесть курс, просьба заполнить форму до 4.03.2021.

Курс PD-2018 (a.k.a. МВС) не перезасчитывается т.к. ХОБОД является его продолжением.

Список рекомендуемых материалов

Основная

  1. Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
  2. Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
  3. Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.

Дополнительная

  1. Chuck Lam. Hadoop in Action. New York: Manning Publications co., 2011.
  2. Alex Holmes , "Hadoop in Practice", 2012
  3. Martin Fowler, "NoSQL", 2013
  4. Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks", 2012
  5. Jonathan Leibiusky, "Getting Started with Storm", 2012
  6. Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly, 2013.
  7. Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley, 2014.
  8. Spark Core Programming. TutorialsPoint, 2015.
  9. Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly, 2012.
  10. Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly, 2012.
  11. Lars George. HBase: The Definitive Guide. O’Reilly, 2011.
  12. Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly, 2011.