HOBOD 2022 — различия между версиями

Материал из Public ATP Wiki
Перейти к: навигация, поиск
(→‎Важные ссылки)
(Отмена правки 1450, сделанной Victorialim (обсуждение))
 
(не показано 16 промежуточных версий 2 участников)
Строка 4: Строка 4:
  
 
== Важные ссылки ==
 
== Важные ссылки ==
 +
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vSwRvMervg5IX9DpqQAQUpO41JyZIpCQbPLvbIxbocnzr74VHFN0vI_I0QQDItOlGB6k0KAebPIVKbF/pubhtml?gid=359301262&single=true План курса]
 
* [https://t.me/+f64z3UiR3yA4N2Ni Чат курса]
 
* [https://t.me/+f64z3UiR3yA4N2Ni Чат курса]
 
* [http://bit.ly/bigdata-2022-signup Регистрация]
 
* [http://bit.ly/bigdata-2022-signup Регистрация]
 +
* [https://docs.google.com/spreadsheets/d/16eF4JYYZFHsule7MD5HSwpHeHbofL6rB_O-XJzI0TW4/edit?usp=sharing Таблица с оценками]
 +
* [https://docs.google.com/spreadsheets/d/16eF4JYYZFHsule7MD5HSwpHeHbofL6rB_O-XJzI0TW4/edit#gid=192694011 Лог проверки ДЗ]
 +
 +
== Технические ссылки ==
 +
* [https://forms.gle/PWhsFdPR9iVrsXbs9 Форма для проблем с инфраструктурой АТП]
 +
* В случае проблем с кластером MPI, пишите на '''parallel-cluster-atp@googlegroups.com'''.
 +
==== Сервер Gitlab ====
 +
На данный момент сервер находится по адресу https://gitlab2.atp-fivt.org/, на котором наблюдаются проблемы с сертификатом SSL.
 +
 +
Если вы наблюдаете проблему <pre> fatal: unable to access 'https://gitlab2.atp-fivt.org/...': server certificate verification failed. CAfile: /etc/ssl/certs/ca-certificates.crt CRLfile: none </pre>, временно отключите проверку сертификата <pre>git config --global http.sslVerify "false"</pre>.
  
 
== Материалы ==
 
== Материалы ==
−
* [https://drive.google.com/drive/folders/1rFHAlyGRzmudKKRrDQAM3g2NcTVNUX-1?usp=sharing Видео занятий]. Доступ только по почте @phystech.edu.
+
* [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfjBETENNMnQxWU85cGFmb0w2NVZkXzJLRFJRUXdxREhMWDJTY1J4WWV0b1U?resourcekey=0-aPaLJZs_yaDSDSQ9548wBg&usp=sharing Видео занятий].
 
* [https://drive.google.com/drive/folders/1S5nW0MX6o3nXckKOLsBya8ms-c6j2PSe?usp=sharing Слайды презентаций]
 
* [https://drive.google.com/drive/folders/1S5nW0MX6o3nXckKOLsBya8ms-c6j2PSe?usp=sharing Слайды презентаций]
 +
* [https://gitlab.com/hobod/hobod-practice Коды семинаров]
 +
 +
=== Домашние задания ===
 +
'''Если нет ни одной домашки, будет неуд. даже если вы набрали > 2.5.'''
 +
 +
Планируется 6 домашних заданий.
 +
* Каждое оценивается максимум в 1,5 балла.
 +
* За сдачу позже мягкого дедлайна -50%
 +
* За сдачу позже жёсткого -75%. Со штрафом -75% можно сдавать до экзамена.
 +
 +
==== Дедлайны по домашкам ====
 +
{|  class="wikitable"
 +
|-
 +
! Домашка
 +
! Мягкий deadline
 +
! Жёсткий deadline
 +
|-
 +
|[https://docs.google.com/document/d/1FViOqe_szEp1idZ3mJ0yUe1W7tZEgo1Cmp74JC5_ky0 MapReduce] || -- || --
 +
|-
 +
|[https://docs.google.com/document/d/14NuJRSHoFFj8ND2zOM_ZfKXgahstmz4PMiUUCVQFG_o Hive] || -- || --
 +
|-
 +
|[https://docs.google.com/document/d/1OP8x8lPFCHcDBbxZ-Ny7W1uagrCzk8Ez1OWCTONzcLQ Spark] || -- ||--
 +
|-
 +
|[https://docs.google.com/document/d/1fljwR-DKlo91NZIHIgMxtVqaTTaWh5-MzJeDBTO3bAw RealTime & Kafka] || -- || --
 +
|-
 +
|[https://docs.google.com/document/d/1Js0C2aSa-acffSIANZc-I7nc4147N-92suw8vr9HUrw HBase / Casssandra] || -- || --
 +
|-
 +
|[https://docs.google.com/document/d/1sY9ZCztEzbqLQSjOGtsJ8vQQohrk4ZgyNcN122D-wMc Google Spanner] || -- || --
 +
|}
 +
 +
В идеальном случае за домашние задания можно получить '''9 баллов'''.
 +
 +
=== Бонус ===
 +
Бонус начисляется за:
 +
* активное участие в семинарах,
 +
* помощь коллегам в чате курса.
 +
Возможно получить до 1 балла. Количество студентов, которым может быть начислен бонус, неограничено.
 +
 +
=== Экзамен ===
 +
Экзамен состоится '''30.06 в 10:00'''. Он будет проходить через Прокторинг.
 +
 +
Является '''необязательным'''.
 +
* вопросы по всему курсу,
 +
* 30 минут времени
 +
* возможна устная защита по окончанию 30 минут
 +
* Максимальная оценка: 2 балла.
 +
 +
=== Перезачет курса ===
 +
Если вы хотите перпезачесть курс, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSf9EUgyKnvSq8bLwFisX-Jr6GbIiEOIuy-XZm2avCYzRVRTBw/viewform?usp=sf_link форму] до '''29.06.2022'''.
 +
 +
Курс PD-2019 (a.k.a. МВС) не перезасчитывается т.к. ХОБОД является его продолжением.
 +
 +
= Список рекомендуемых материалов =
 +
=== Основная ===
 +
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale,  Publisher: O'Reilly, Media Release Date: April 2015
 +
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
 +
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
 +
=== Дополнительная ===
 +
# Chuck Lam. Hadoop in Action. New York: Manning Publications co., 2011.
 +
# Alex Holmes , "Hadoop in Practice", 2012
 +
# Martin Fowler, "NoSQL", 2013
 +
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks", 2012
 +
# Jonathan Leibiusky, "Getting Started with Storm", 2012
 +
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly, 2013.
 +
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley, 2014.
 +
# Spark Core Programming. TutorialsPoint, 2015.
 +
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly, 2012.
 +
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly, 2012.
 +
# Lars George. HBase: The Definitive Guide. O’Reilly, 2011.
 +
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly, 2011.
 +
 +
* '''[https://docs.google.com/spreadsheets/d/1X7lhS8aYlyhX9gb1yT6t3A8K7OfCA-x0GJRfMcykDJk/edit?usp=sharing Интересные ссылки]'''

Текущая версия на 02:07, 2 декабря 2022

Общие сведения

  • Семестр: 10 (5й курс)
  • Форма контроля: экзамен

Важные ссылки

Технические ссылки

Сервер Gitlab

На данный момент сервер находится по адресу https://gitlab2.atp-fivt.org/, на котором наблюдаются проблемы с сертификатом SSL.

Если вы наблюдаете проблему 
 fatal: unable to access 'https://gitlab2.atp-fivt.org/...': server certificate verification failed. CAfile: /etc/ssl/certs/ca-certificates.crt CRLfile: none
, временно отключите проверку сертификата 
git config --global http.sslVerify "false"
.

Материалы

Домашние задания

Если нет ни одной домашки, будет неуд. даже если вы набрали > 2.5.

Планируется 6 домашних заданий.

  • Каждое оценивается максимум в 1,5 балла.
  • За сдачу позже мягкого дедлайна -50%
  • За сдачу позже жёсткого -75%. Со штрафом -75% можно сдавать до экзамена.

Дедлайны по домашкам

Домашка Мягкий deadline Жёсткий deadline
MapReduce -- --
Hive -- --
Spark -- --
RealTime & Kafka -- --
HBase / Casssandra -- --
Google Spanner -- --

В идеальном случае за домашние задания можно получить 9 баллов.

Бонус

Бонус начисляется за:

  • активное участие в семинарах,
  • помощь коллегам в чате курса.

Возможно получить до 1 балла. Количество студентов, которым может быть начислен бонус, неограничено.

Экзамен

Экзамен состоится 30.06 в 10:00. Он будет проходить через Прокторинг.

Является необязательным.

  • вопросы по всему курсу,
  • 30 минут времени
  • возможна устная защита по окончанию 30 минут
  • Максимальная оценка: 2 балла.

Перезачет курса

Если вы хотите перпезачесть курс, просьба заполнить форму до 29.06.2022.

Курс PD-2019 (a.k.a. МВС) не перезасчитывается т.к. ХОБОД является его продолжением.

Список рекомендуемых материалов

Основная

  1. Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
  2. Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
  3. Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.

Дополнительная

  1. Chuck Lam. Hadoop in Action. New York: Manning Publications co., 2011.
  2. Alex Holmes , "Hadoop in Practice", 2012
  3. Martin Fowler, "NoSQL", 2013
  4. Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks", 2012
  5. Jonathan Leibiusky, "Getting Started with Storm", 2012
  6. Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly, 2013.
  7. Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley, 2014.
  8. Spark Core Programming. TutorialsPoint, 2015.
  9. Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly, 2012.
  10. Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly, 2012.
  11. Lars George. HBase: The Definitive Guide. O’Reilly, 2011.
  12. Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly, 2011.
Источник — «http://wiki.atp-fivt.org/index.php?title=HOBOD_2022&oldid=1451»