Хранение и обработка больших объёмов данных весна 2025 — различия между версиями

Материал из Public ATP Wiki
Перейти к: навигация, поиск
(Новая страница: «Test»)
 
Строка 1: Строка 1:
−
Test
+
= Общие сведения =
 +
* Семестр: 10 (5й курс)
 +
* Форма контроля: экзамен
 +
 
 +
== Важные ссылки ==
 +
* [https://docs.google.com/spreadsheets/d/1B94t_1yRFQ6wPtsFnerbzplu2wDwDc6c6SkcIQSaDt4/edit#gid=359301262 План курса]
 +
* [https://t.me/+e6IDxg77nqgyYzcy Чат курса]
 +
* [https://forms.gle/heWN34KJmCRBEwM77 Регистрация на курс]
 +
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vTW-bj0Y8ktGo-KZjoJtYKv0I2OdMmxQLuNyjCXJ0INcZU2QrN5G-gq-awTw_24hpZBq54w6TSIdhYO/pubhtml?gid=915915854&single=true '''Таблица с оценками''']
 +
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vTW-bj0Y8ktGo-KZjoJtYKv0I2OdMmxQLuNyjCXJ0INcZU2QrN5G-gq-awTw_24hpZBq54w6TSIdhYO/pubhtml?gid=2075695586&single=true '''Очередь проверки ДЗ''']
 +
* [https://forms.gle/Ep9rskK5VKkX5LUWA Продление дедлайнов]
 +
 
 +
== Доступы ==
 +
По вопросам доступов и работы Gitlab-сервера пишите в [https://docs.google.com/forms/d/e/1FAIpQLSd_JxfMFOcWdaXKLC8sydJlDtwRG-B6Puiia_h3GqORXEDUKA/viewform форму] или на почту servers@atp-fivt.org.
 +
 
 +
== Материалы ==
 +
* [https://drive.google.com/drive/folders/1__SHzAQ4LUJTnXOX52sv-bfKilm9JZYw?usp=drive_link'''Видео занятий Google Диск ''']
 +
* [https://www.youtube.com/playlist?list=PLHVUfYYv0xkn9YhqBEHXSjNzTq9hodDPD'''Видео занятий youtube''']
 +
* [https://www.youtube.com/playlist?list=PLHVUfYYv0xklnCAk1Zs_Q4EzAJp6zJNSK '''Видео за 2023 год ''']
 +
* [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfjBETENNMnQxWU85cGFmb0w2NVZkXzJLRFJRUXdxREhMWDJTY1J4WWV0b1U?resourcekey=0-aPaLJZs_yaDSDSQ9548wBg&usp=sharing Видео за 2022 год]
 +
* [https://drive.google.com/drive/folders/1dWCgHzm9SCpE9Fa-lvb5mGZChhiSSquP?usp=drive_link '''Слайды презентаций''']
 +
* [https://gitlab.com/hobod/hobod-practice Коды семинаров]
 +
 
 +
=== Домашние задания ===
 +
'''Если ни одно домашнее задание не сдано - оценка неудовлетворительно, даже если вы набрали > 2.5.'''
 +
 
 +
Планируется 6 домашних заданий.
 +
* Каждое оценивается максимум в 1,5 балла.
 +
* За сдачу позже мягкого дедлайна - 50%
 +
* За сдачу позже жёсткого -75%. Со штрафом -75% можно сдавать до 20.06, 23:59.
 +
 
 +
5 мини-тестов (~10 мин.) на семинарах
 +
* в сумме 5 баллов
 +
 
 +
==== Дедлайны по домашним заданиям ====
 +
{|  class="wikitable"
 +
|-
 +
! Задание
 +
! Мягкий deadline
 +
! Жёсткий deadline
 +
|-
 +
|[https://docs.google.com/document/d/1uC1gPRbhcgoXU3Vd40d4Ec4FaoZHGXZ_ZB00WeUkQaM/edit?usp=drive_link MapReduce] || 30.03 || 06.04
 +
|-
 +
|[https://docs.google.com/document/d/1QNnPR21cVC-BJXV35z7VqQE7EpiO2CfrNg996s72YNM/edit?usp=drive_link Hive] || 23.04 || 30.04
 +
|-
 +
|[https://docs.google.com/document/d/15abYtz5_HI0lAox8LZRIcJ5vUM0MtOE9nUrT8Qp8TbU/edit?usp=drive_link Spark] || 07.05 ||14.05
 +
|-
 +
|[https://docs.google.com/document/d/10X-P2KXBi3SDeGTF845G78utrgKaHvssLQnTp2-vdLk/edit?usp=drive_link RealTime & Kafka] || 21.05 || 28.05
 +
|-
 +
|[https://docs.google.com/document/d/11nQl5pSkOjUC8BayDMAJODBKkTUWPJ_g7zOPu9AGKkc/edit?usp=drive_link HBase / Casssandra] || 04.06 || 18.06
 +
|-
 +
|[https://docs.google.com/document/d/1s9XXsIUUzoBJ-hv9b9ihoGasRsSVtXSBFCJyqQ1tESc/edit?usp=drive_link Google Spanner] || 18.06 || 25.06
 +
|}
 +
 
 +
В идеальном случае за домашние задания можно получить '''9 баллов'''.
 +
 
 +
Как сдавать ДЗ:
 +
* [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY/edit#slide=id.g4f2997e0e1_1_24 презентация]
 +
* [https://drive.google.com/file/d/1gdGDUTavS34dd2Odw11eK89v7WLPGt_s/view?usp=drive_link видео]
 +
 
 +
Сдать ДЗ со штрафом, возможно до 25.06.2024
 +
 
 +
=== Бонус ===
 +
Бонус начисляется за:
 +
* активное участие в семинарах,
 +
* помощь коллегам в чате курса.
 +
Возможно получить до 1 балла. Количество студентов, которым может быть начислен бонус, неограничено.
 +
 
 +
=== Экзамен ===
 +
Экзамен состоится '''27.06.2024'''. Он будет проходить через Прокторинг.
 +
 
 +
Является '''необязательным'''.
 +
* вопросы по всему курсу
 +
* письменная работа (6 вопросов по всему курсу) на 45 мин
 +
* возможна устная защита по окончанию 30 минут
 +
* максимальная оценка: 2 балла.
 +
 
 +
Итого
 +
*идеальный вариант: 9 + 5 + 2 + 1 = 17 из 10
 +
*но надо сделать хоть 1 ДЗ.
 +
 
 +
=== Перезачет курса ===
 +
Если вы хотите перпезачесть курс, просьба заполнить [https://forms.gle/RNSc1RVoz9uGcgDg6 форму] до '''28.02.2024'''.
 +
 
 +
Курс PD (a.k.a. МВС) не перезасчитывается т.к. ХОБОД является его продолжением.
 +
 
 +
=== Дописывание Quiz'ов  ===
 +
В случае если вы не смогли написать Quiz в указанную дату по технической или другой уважительной причине, заполните, пожалуйста, [https://forms.gle/zrygWeEkzkSmvvcK8 форму.]
 +
 
 +
= Список рекомендуемых материалов =
 +
=== Основная ===
 +
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale,  Publisher: O'Reilly, Media Release Date: April 2015
 +
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
 +
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
 +
=== Дополнительная ===
 +
# Chuck Lam. Hadoop in Action. New York: Manning Publications co., 2011.
 +
# Alex Holmes , "Hadoop in Practice", 2012
 +
# Martin Fowler, "NoSQL", 2013
 +
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks", 2012
 +
# Jonathan Leibiusky, "Getting Started with Storm", 2012
 +
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly, 2013.
 +
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley, 2014.
 +
# Spark Core Programming. TutorialsPoint, 2015.
 +
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly, 2012.
 +
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly, 2012.
 +
# Lars George. HBase: The Definitive Guide. O’Reilly, 2011.
 +
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly, 2011.
 +
 
 +
* '''[https://docs.google.com/spreadsheets/d/1X7lhS8aYlyhX9gb1yT6t3A8K7OfCA-x0GJRfMcykDJk/edit?usp=sharing Интересные ссылки]'''

Версия 11:30, 24 января 2025

Общие сведения

  • Семестр: 10 (5й курс)
  • Форма контроля: экзамен

Важные ссылки

Доступы

По вопросам доступов и работы Gitlab-сервера пишите в форму или на почту servers@atp-fivt.org.

Материалы

Домашние задания

Если ни одно домашнее задание не сдано - оценка неудовлетворительно, даже если вы набрали > 2.5.

Планируется 6 домашних заданий.

  • Каждое оценивается максимум в 1,5 балла.
  • За сдачу позже мягкого дедлайна - 50%
  • За сдачу позже жёсткого -75%. Со штрафом -75% можно сдавать до 20.06, 23:59.

5 мини-тестов (~10 мин.) на семинарах

  • в сумме 5 баллов

Дедлайны по домашним заданиям

Задание Мягкий deadline Жёсткий deadline
MapReduce 30.03 06.04
Hive 23.04 30.04
Spark 07.05 14.05
RealTime & Kafka 21.05 28.05
HBase / Casssandra 04.06 18.06
Google Spanner 18.06 25.06

В идеальном случае за домашние задания можно получить 9 баллов.

Как сдавать ДЗ:

Сдать ДЗ со штрафом, возможно до 25.06.2024

Бонус

Бонус начисляется за:

  • активное участие в семинарах,
  • помощь коллегам в чате курса.

Возможно получить до 1 балла. Количество студентов, которым может быть начислен бонус, неограничено.

Экзамен

Экзамен состоится 27.06.2024. Он будет проходить через Прокторинг.

Является необязательным.

  • вопросы по всему курсу
  • письменная работа (6 вопросов по всему курсу) на 45 мин
  • возможна устная защита по окончанию 30 минут
  • максимальная оценка: 2 балла.

Итого

  • идеальный вариант: 9 + 5 + 2 + 1 = 17 из 10
  • но надо сделать хоть 1 ДЗ.

Перезачет курса

Если вы хотите перпезачесть курс, просьба заполнить форму до 28.02.2024.

Курс PD (a.k.a. МВС) не перезасчитывается т.к. ХОБОД является его продолжением.

Дописывание Quiz'ов

В случае если вы не смогли написать Quiz в указанную дату по технической или другой уважительной причине, заполните, пожалуйста, форму.

Список рекомендуемых материалов

Основная

  1. Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
  2. Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
  3. Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.

Дополнительная

  1. Chuck Lam. Hadoop in Action. New York: Manning Publications co., 2011.
  2. Alex Holmes , "Hadoop in Practice", 2012
  3. Martin Fowler, "NoSQL", 2013
  4. Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks", 2012
  5. Jonathan Leibiusky, "Getting Started with Storm", 2012
  6. Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly, 2013.
  7. Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley, 2014.
  8. Spark Core Programming. TutorialsPoint, 2015.
  9. Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly, 2012.
  10. Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly, 2012.
  11. Lars George. HBase: The Definitive Guide. O’Reilly, 2011.
  12. Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly, 2011.
Источник — «http://wiki.atp-fivt.org/index.php?title=Хранение_и_обработка_больших_объёмов_данных_весна_2025&oldid=3628»