HOBOD 2021 — различия между версиями

Материал из Public ATP Wiki
Перейти к: навигация, поиск
(→‎Общие сведения)
(→‎Экзамен)
 
(не показано 46 промежуточных версий этого же участника)
Строка 5: Строка 5:
 
* [https://t.me/joinchat/IYbBl5bdUze_j1Pi Телеграм-чат курса]
 
* [https://t.me/joinchat/IYbBl5bdUze_j1Pi Телеграм-чат курса]
 
* [https://forms.gle/a4ihZhVEpZGKzTGKA Форма регистрации]. Заполняют только те, кому '''не пришли письма''' от automation@atp-fivt.org
 
* [https://forms.gle/a4ihZhVEpZGKzTGKA Форма регистрации]. Заполняют только те, кому '''не пришли письма''' от automation@atp-fivt.org
−
* [TBD Таблица с оценками]
+
* [https://docs.google.com/spreadsheets/d/1qb0EZcxhxvRfM518rHJdw6WAfVQ4f-4k0y_tM2Kroz8/edit?usp=sharing Таблица с оценками]
  
 
== Материалы занятий ==
 
== Материалы занятий ==
 
* [https://drive.google.com/drive/folders/1UF5bifzoJkrjsFdfn2lWeS0LizPm67Gz?usp=sharing Презентации лекций]
 
* [https://drive.google.com/drive/folders/1UF5bifzoJkrjsFdfn2lWeS0LizPm67Gz?usp=sharing Презентации лекций]
−
* [https://gitlab.com/VeLKerr/hobod-practice Коды семинаров]
+
* [https://gitlab.com/hobod/hobod-practice Коды семинаров]
 
* [https://drive.google.com/drive/folders/1zDlS6rmCv2_F1UoTPxgC4OWnqoiqMIAE?usp=sharing Видео занятий]. Для доступа зайдите в аккаунт на @phystech.edu.
 
* [https://drive.google.com/drive/folders/1zDlS6rmCv2_F1UoTPxgC4OWnqoiqMIAE?usp=sharing Видео занятий]. Для доступа зайдите в аккаунт на @phystech.edu.
 
* [https://drive.google.com/drive/folders/1C2RDCMUkO6eXGt4kgHBsZV3O8UxpxGw9?usp=sharing Домашние задания].
 
* [https://drive.google.com/drive/folders/1C2RDCMUkO6eXGt4kgHBsZV3O8UxpxGw9?usp=sharing Домашние задания].
−
* [Интересные ссылки]
 
  
 
== Инфраструктура ==
 
== Инфраструктура ==
−
* [https://docs.google.com/forms/d/1OM0YC8MrQKIUiST5kPOLAr0-a65MHUCuiFU_YpovtL8/edit#responses Форма для проблем с инфраструктурой]
+
* [https://forms.gle/skSoR3P2xYKFJpUJ7 Форма для проблем с инфраструктурой]
 
* Сервер GitLab: <pre>http://gitlab.atp-fivt.org</pre>
 
* Сервер GitLab: <pre>http://gitlab.atp-fivt.org</pre>
−
* Кластер Hadoop: <pre>ssh <user>@mipt-client.atp-fivt.org</pre>
 
 
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY/edit#slide=id.p Презентация "как сдавать домашки"]
 
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY/edit#slide=id.p Презентация "как сдавать домашки"]
 +
* [https://drive.google.com/file/d/1TxzwDMHFPG3sz3xXiTNDnCHiB_BkNtwa/view?usp=sharing Видео инструкция о том как смотреть логи]
 +
 +
==== Основной кластер Hadoop ====
 +
* Hostname клиента: <pre>ssh <user>@mipt-client.atp-fivt.org</pre>
 +
* [https://docs.google.com/document/d/1dmb8o3M2ZCsjPq3rJQqd-jNLQhiBXWbWZcTn9aYUAp8 Как работать с Juputer и Spark на кластере МФТИ]
 +
 +
==== Резервный кластер Hadoop ====
 +
* Hostname клиента: <pre>ssh <user>@sber-client.atp-fivt.org</pre>
 +
* [https://gitlab.com/VeLKerr/hobod-practice/-/blob/master/00-additional-cluster-guide.md Инструкция пользователя].
 +
 +
==== Сервер для работы с Docker ====
 +
* Hostname сервера: <pre>ssh hob2021XXX@environ01.atp-fivt.org</pre>
 +
* XXX - [001, 285]. Номер см. в таблице с оценками.
 +
* пароль см. в чате курса. Рекомендуется при первом входе сбросить его командой passwd.
  
 
= Команда курса =
 
= Команда курса =
Строка 34: Строка 46:
 
* Чернецкий Аркадий (проверка ДЗ)
 
* Чернецкий Аркадий (проверка ДЗ)
 
* Якушева Софья (проверка ДЗ)
 
* Якушева Софья (проверка ДЗ)
−
* Воропаев Роберт (проверка ДЗ, разработка тестов)
+
* Воропаев Роберт (разработка тестов)
 
* Цион Михаил (разработка тестов)
 
* Цион Михаил (разработка тестов)
  
 
= Критерии получения оценки =
 
= Критерии получения оценки =
−
Суммарно за все активности курса (домашки, контрольные, экзамены и бонус) можно получить 17 / 10. Но если не сдана хотя бы одна (любая) домашка, за курс будет неуд. даже если по баллам набрано > 2.5.
+
Суммарно за все активности курса (домашки, контрольные, экзамены и бонус) можно получить 17 / 10. Для получения положительной оценки нужно сдать хотя бы 1 ДЗ. '''Если нет ни одной домашки, будет неуд. даже если вы набрали > 2.5'''.
−
 
 
 
=== Домашние задания ===
 
=== Домашние задания ===
 
Планируется 6 домашних заданий.  
 
Планируется 6 домашних заданий.  
Строка 53: Строка 64:
 
! Жёсткий deadline
 
! Жёсткий deadline
 
|-
 
|-
−
|[ MapReduce] ||||  
+
|[https://docs.google.com/document/d/1FViOqe_szEp1idZ3mJ0yUe1W7tZEgo1Cmp74JC5_ky0 MapReduce] || 09.03, 23:59 || 14.03, 23:59
 
|-
 
|-
−
|[ Hive] || ||  
+
|[https://docs.google.com/document/d/14NuJRSHoFFj8ND2zOM_ZfKXgahstmz4PMiUUCVQFG_o Hive] || 21.03, 23:59 || 28.03, 23:59
 
|-
 
|-
−
|[ Spark] || ||  
+
|[https://docs.google.com/document/d/1OP8x8lPFCHcDBbxZ-Ny7W1uagrCzk8Ez1OWCTONzcLQ Spark] || 04.04, 23:59 || 11.05, 23:59
 
|-
 
|-
−
|[ RealTime & Kafka] || ||  
+
|[https://docs.google.com/document/d/1fljwR-DKlo91NZIHIgMxtVqaTTaWh5-MzJeDBTO3bAw RealTime & Kafka] || 25.04, 23:59 ''(02.05 для Kafka Streams)'' || 02.05, 23:59 ''(11.05 для Kafka Streams)''
 
|-
 
|-
−
|[ HBase] || ||  
+
|[https://docs.google.com/document/d/1Js0C2aSa-acffSIANZc-I7nc4147N-92suw8vr9HUrw HBase / Casssandra] || 11.05, 23:59 || 16.05, 23:59
 
|-
 
|-
−
|[ Google Spanner] || ||  
+
|[https://docs.google.com/document/d/1sY9ZCztEzbqLQSjOGtsJ8vQQohrk4ZgyNcN122D-wMc Google Spanner] || 30.05, 23:59 || 06.06, 23:59
 
|}
 
|}
  
Строка 69: Строка 80:
  
 
=== Мини-контрольные работы (Quiz'ы) ===
 
=== Мини-контрольные работы (Quiz'ы) ===
−
Планируется 5 мини-контрольных (см. план курса). Каждая контрольная:
+
Планируется 5 мини-контрольных (см. план курса). Они будут проводиться с помощью системы прокторинга http://exams.mipt.ru/. По ссылке доступна [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing инструкция пользователя].
−
* проводится на семинарах (т.е. в четверг в 18:30).
+
На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.
 +
 
 +
Каждая контрольная:
 +
* проводится на занятиях.
 
* содержит 10-15 вопросов с выбором вариантов ответа,
 
* содержит 10-15 вопросов с выбором вариантов ответа,
−
* длится 10 мин.,
+
* длится 10-15 мин.,
 
* оценивается максимум в 1 балл.
 
* оценивается максимум в 1 балл.
  
Строка 79: Строка 93:
 
! Название события на http://exams.mipt.ru/
 
! Название события на http://exams.mipt.ru/
 
! Дата
 
! Дата
 +
! Результаты
 +
! Результаты дописывания
 
|-
 
|-
−
| ХОБОД-2021. HDFS, MapReduce, YARN || 04.03.21
+
| ХОБОД-2021. HDFS, MapReduce, YARN || 11.03.21 || http://gg.gg/hobod21-test1 ||
 
|-
 
|-
−
| ХОБОД-2021. SQL over BigData || 18.03.21
+
| ХОБОД-2021. SQL over BigData || 18.03.21 || http://gg.gg/hobod21-test2 ||
 
|-
 
|-
−
| ХОБОД-2021. Spark RDD & DF || 01.04.21
+
| ХОБОД-2021. Spark RDD & DF || 01.04.21 || http://gg.gg/hobod21-test3 ||
 
|-
 
|-
−
| ХОБОД-2021. Realtime & Kafka, Kafka Streams || 06.05.21
+
| ХОБОД-2021. Realtime & Kafka, Kafka Streams || 13.05.21 || http://gg.gg/hobod21-test4 ||
 
|-
 
|-
−
| ХОБОД-2021. NoSQL || 20.05.21
+
| ХОБОД-2021. NoSQL || 20.05.21 || http://gg.gg/hobod21-test5 || не предусмотрено
 
|}
 
|}
  
 
В идеальном случае за контрольные можно получить '''5 баллов'''.
 
В идеальном случае за контрольные можно получить '''5 баллов'''.
  
−
В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://forms.gle/5tWAbJxXVBcsPZrp8 '''форму на дописывание''']. Дописывание состоится 20.05: 17:00 для 1го Quiz'a, 17:15 для 2го, 17:30 для 3-го...
+
В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://forms.gle/86jyRTU7g8FAy7zf7 '''форму на дописывание''']. После этого вы появитесь в [https://docs.google.com/spreadsheets/d/e/2PACX-1vQSYmcLvl9jTyb2QS_7nbp5FqkabRJDuiBtpDhGgu_lieSHKV6HZrYDHBOiKiFhSBGVCto6L2hGl7nT/pubhtml?gid=429526285&single=true таблице].
 +
 
 +
Дописывание состоится 20.05:  
 +
* 17:00 для 1-го Quiz'a,  
 +
* 17:15 для 2-го,  
 +
* 17:30 для 3-го,
 +
* 17:45 для 4-го.
 +
* 5й Quiz пройдет в 18:35, дописывания у него нет.
  
 
=== Бонус ===
 
=== Бонус ===
Строка 102: Строка 125:
  
 
=== Экзамен ===
 
=== Экзамен ===
 +
Экзамен состоится '''17.06 в 10:00'''. Он будет проходить через Прокторинг.
 +
 
Является '''необязательным'''.
 
Является '''необязательным'''.
−
* 6 вопросов по всему курсу,
+
* вопросы по всему курсу,
−
* 45 минут времени
+
* 30 минут времени
−
* возможна устная защита по окончанию 45 минут
+
* возможна устная защита по окончанию 30 минут
 
* Максимальная оценка: 2 балла.
 
* Максимальная оценка: 2 балла.
 +
 +
=== Перезачет курса ===
 +
Если вы хотите перпезачесть курс, просьба заполнить [https://forms.gle/1niBmRpP968H3VzVA форму] до '''4.03.2021'''.
 +
 +
Курс PD-2018 (a.k.a. МВС) не перезасчитывается т.к. ХОБОД является его продолжением.
  
 
= Список рекомендуемых материалов =
 
= Список рекомендуемых материалов =
Строка 126: Строка 156:
 
# Lars George. HBase: The Definitive Guide. O’Reilly, 2011.
 
# Lars George. HBase: The Definitive Guide. O’Reilly, 2011.
 
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly, 2011.
 
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly, 2011.
 +
 +
* '''[https://docs.google.com/spreadsheets/d/1X7lhS8aYlyhX9gb1yT6t3A8K7OfCA-x0GJRfMcykDJk/edit?usp=sharing Интересные ссылки]'''

Текущая версия на 00:38, 13 июня 2021

Общие сведения

Материалы занятий

Инфраструктура

Основной кластер Hadoop

Резервный кластер Hadoop

Сервер для работы с Docker

  • Hostname сервера: 
    ssh hob2021XXX@environ01.atp-fivt.org
  • XXX - [001, 285]. Номер см. в таблице с оценками.
  • пароль см. в чате курса. Рекомендуется при первом входе сбросить его командой passwd.

Команда курса

Преподаватели

  • Ивченко Олег
  • Лахвич Дмитрий
  • Ташоян Арсений
  • Роман Липовский
  • Пономарёв Иван
  • Ахтямов Павел
  • Федотов Иван
  • Жестов Анатолий

Учебные ассистенты

  • Чернецкий Аркадий (проверка ДЗ)
  • Якушева Софья (проверка ДЗ)
  • Воропаев Роберт (разработка тестов)
  • Цион Михаил (разработка тестов)

Критерии получения оценки

Суммарно за все активности курса (домашки, контрольные, экзамены и бонус) можно получить 17 / 10. Для получения положительной оценки нужно сдать хотя бы 1 ДЗ. Если нет ни одной домашки, будет неуд. даже если вы набрали > 2.5.

Домашние задания

Планируется 6 домашних заданий.

  • Каждое оценивается максимум в 1,5 балла.
  • За сдачу позже мягкого дедлайна -50%
  • За сдачу позже жёсткого -75%. Со штрафом -75% можно сдавать до экзамена.

Дедлайны по домашкам

Домашка Мягкий deadline Жёсткий deadline
MapReduce 09.03, 23:59 14.03, 23:59
Hive 21.03, 23:59 28.03, 23:59
Spark 04.04, 23:59 11.05, 23:59
RealTime & Kafka 25.04, 23:59 (02.05 для Kafka Streams) 02.05, 23:59 (11.05 для Kafka Streams)
HBase / Casssandra 11.05, 23:59 16.05, 23:59
Google Spanner 30.05, 23:59 06.06, 23:59

В идеальном случае за домашние задания можно получить 9 баллов.

Мини-контрольные работы (Quiz'ы)

Планируется 5 мини-контрольных (см. план курса). Они будут проводиться с помощью системы прокторинга http://exams.mipt.ru/. По ссылке доступна инструкция пользователя. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

Каждая контрольная:

  • проводится на занятиях.
  • содержит 10-15 вопросов с выбором вариантов ответа,
  • длится 10-15 мин.,
  • оценивается максимум в 1 балл.
Название события на http://exams.mipt.ru/ Дата Результаты Результаты дописывания
ХОБОД-2021. HDFS, MapReduce, YARN 11.03.21 http://gg.gg/hobod21-test1
ХОБОД-2021. SQL over BigData 18.03.21 http://gg.gg/hobod21-test2
ХОБОД-2021. Spark RDD & DF 01.04.21 http://gg.gg/hobod21-test3
ХОБОД-2021. Realtime & Kafka, Kafka Streams 13.05.21 http://gg.gg/hobod21-test4
ХОБОД-2021. NoSQL 20.05.21 http://gg.gg/hobod21-test5 не предусмотрено

В идеальном случае за контрольные можно получить 5 баллов.

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить форму на дописывание. После этого вы появитесь в таблице.

Дописывание состоится 20.05:

  • 17:00 для 1-го Quiz'a,
  • 17:15 для 2-го,
  • 17:30 для 3-го,
  • 17:45 для 4-го.
  • 5й Quiz пройдет в 18:35, дописывания у него нет.

Бонус

Бонус начисляется за:

  • активное участие в семинарах,
  • помощь коллегам в чате курса.

Возможно получить до 1 балла. Количество студентов, которым может быть начислен бонус, неограничено.

Экзамен

Экзамен состоится 17.06 в 10:00. Он будет проходить через Прокторинг.

Является необязательным.

  • вопросы по всему курсу,
  • 30 минут времени
  • возможна устная защита по окончанию 30 минут
  • Максимальная оценка: 2 балла.

Перезачет курса

Если вы хотите перпезачесть курс, просьба заполнить форму до 4.03.2021.

Курс PD-2018 (a.k.a. МВС) не перезасчитывается т.к. ХОБОД является его продолжением.

Список рекомендуемых материалов

Основная

  1. Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
  2. Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
  3. Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.

Дополнительная

  1. Chuck Lam. Hadoop in Action. New York: Manning Publications co., 2011.
  2. Alex Holmes , "Hadoop in Practice", 2012
  3. Martin Fowler, "NoSQL", 2013
  4. Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks", 2012
  5. Jonathan Leibiusky, "Getting Started with Storm", 2012
  6. Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly, 2013.
  7. Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley, 2014.
  8. Spark Core Programming. TutorialsPoint, 2015.
  9. Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly, 2012.
  10. Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly, 2012.
  11. Lars George. HBase: The Definitive Guide. O’Reilly, 2011.
  12. Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly, 2011.
Источник — «http://wiki.atp-fivt.org/index.php?title=HOBOD_2021&oldid=819»