Параллельные и распределённые вычисления

Общие сведения

• Семестр: 5 (третий курс)
• Форма контроля: экзамен
• Форма регистрации на курс
• [Таблица с оценками] TBD.
• Дополнительную информацию см. в вводной презентации курса

Материалы занятий

• Видео лекций
• Слайды презентаций
• Материалы семинаров и домашние задания
• Q&A форум "Piazza"
• Gitlab для автоматического тестирования ДЗ

Распределённая часть

Преподаватели

• Модуль "Обработка больших данных":
  • Ивченко Олег,
  • Штохов Александр
• Модуль "Отказоустойчивые распределенные системы":
  • Липовский Роман

Семинаристы

• Долуденко Алексей
• Ивченко Олег
• Ахтямов Павел
• Емельянов Антон
• Сурин Михаил

Теоретический трек (лекции)

1. Распределённые файловые системы (GFS, HDFS). Её составляющие. Их достоинства, недостатки и сфера применения. Чтение и запись в HDFS. HDFS APIs: WebUI, shell, Java API.
2. Парадигма MapReduce. Основная идея, формальное описание. Обзор реализаций. API для работы с Hadoop (Native Java API vs. Streaming), примеры.
3. Типы Join'ов и их реализации в парадигме MR. Паттерны проекттирования MR (pairs, stripes, составные ключи). PageRank в MR. Планировщик задач в YARN.
4. SQL поверх BigData.

Практический трек (семинары)

1. Устройство Hadoop-кластера, HDFS CLI, Web API, внутреннее устройство HDFS.
2. Hadoop Java API, Hadoop streaming API. Простейшая программа на MapReduce (подсчёт слов в тексте). Её модификации.
3. Joins в MapReduce, инструменты отладки в MapReduce.
4. Apache Hive. Язык HiveQL, его расширения (Hive Streaming, User defined functions).

P.S.

Если имеются проблемы с доступами на какой-нибудь из сервисов, напишите сюда.

Параллельная часть

Преподаватели

Сальников Алексей Николаевич

Семинаристы

• Долуденко Алексей
• Сальников Алексей Николаевич
• Котельников Алексей
• Сурин Михаил