Параллельные и распределённые вычисления 2019 — различия между версиями

Материал из Public ATP Wiki
Перейти к: навигация, поиск
(→‎Преподаватели)
(→‎Общие сведения)
Строка 7: Строка 7:
  
 
'''Материалы занятий'''
 
'''Материалы занятий'''
−
* [https://www.youtube.com/channel/UCdxesVp6Fs7wLpnp1XKkvZg/playlists?view=50&sort=dd&shelf_id=10 Видео лекций]
+
* [https://www.youtube.com/watch?v=XR38gW_9CSI&list=PL4_hYwCyhAvaPnYMJ-mBwwkG1iORVpwz1 Видео лекций]
 
* [https://drive.google.com/drive/folders/1tUlmDBzczmYZWDg3UVV4i8AXJ3fyZ_x6 Слайды презентаций]
 
* [https://drive.google.com/drive/folders/1tUlmDBzczmYZWDg3UVV4i8AXJ3fyZ_x6 Слайды презентаций]
 
* [https://gitlab.com/VeLKerr/pardistrib Материалы семинаров]
 
* [https://gitlab.com/VeLKerr/pardistrib Материалы семинаров]

Версия 02:20, 26 октября 2019

Общие сведения

Материалы занятий

Преподаватели

  • Лекторы
    • Долуденко А. (tg: @adoludenko)
    • Ивченко О. (tg: @velkerr)
    • Пилипенко А.
    • Лахвич Д.
    • Леонов Я.
  • Семинаристы
    • Параллельная часть:
      • Бабин Олег
      • Долуденко Алексей
      • Ахтямов Павел
      • Иванова Юлия
    • Распределённая часть:
      • Бабин Олег
      • Булгакова Дарья
      • Долуденко Алексей
      • Ахтямов Павел
      • Чернецкий Аркадий
      • Иванова Юлия
      • Ивченко Олег
  • Учебные ассистенты
    • Вручтель Серафима
    • Госткин Евгений.

Критерии получения оценки

После дедлайна задачи можно сдавать лишь с -50% от максимальной оценки.

План курса

Дата Лектор Тема лекций и семинаров Дополнительные активности
29.10 Пилипенко А. Hive, продолжение Контрольная по HDFS & MapReduce
05.11 Лахвич Д. Spark, начало Выдача домашки по Hive
12.11 Леонов Я. Лекция: Модель распределённых систем Семинар: продолжение Spark
19.11 AB, FLP, CAP. Контрольная по Hive & Spark. Выдача домашки по Zookeeper
26.11 Распределённые конфигурации. Zookeeper
03.12 Dynamo-подобные системы. Cassandra
10.12 Очереди в распределённых вычислениях. Kafka. Контрольная по Cassandra. Kafka, Zookeeper.

Список рекомендуемых материалов

  • Параллельная часть
  1. Методичка по MPI
  2. Методичка по OpenMP
  • Распределённая часть (лекции)
  1. Распределённые файловые системы (GFS, HDFS). Её составляющие. Их достоинства, недостатки и сфера применения. Чтение и запись в HDFS. HDFS APIs: WebUI, shell, Java API
  2. Парадигма MapReduce. Основная идея, формальное описание. Обзор реализаций. API для работы с Hadoop (Native Java API vs. Streaming), примеры
  3. Типы Join'ов и их реализации в парадигме MR. Паттерны проекттирования MR (pairs, stripes, составные ключи). PageRank в MR. Планировщик задач в YARN
  4. SQL поверх BigData
  • Распределённая часть (семинары)
  1. Устройство Hadoop-кластера, HDFS CLI, Web API, внутреннее устройство HDFS
  2. Hadoop streaming API. Простейшая программа на MapReduce (подсчёт слов в тексте). Её модификации. Инструменты отладки в MapReduce.
  3. Advanced HDFS shell. Hadoop Java API, Joins в MapReduce, Счётчики в MapReduce
  4. Apache Hive. Язык HiveQL, его расширения (Hive Streaming, User defined functions)
Источник — «http://wiki.atp-fivt.org/index.php?title=Параллельные_и_распределённые_вычисления_2019&oldid=113»