Параллельные и распределённые вычисления
(перенаправлено с «МВС 2018»)
Содержание
Общие сведения
- Семестр: 5 (третий курс)
- Форма контроля: экзамен
- Форма регистрации на курс
- Таблица с оценками
- Телеграм-чат курса
- Дополнительную информацию см. в вводной презентации курса
Материалы занятий
- Видео лекций
- Слайды презентаций
- Материалы семинаров и домашние задания
- Q&A форум "Piazza"
- Gitlab для автоматического тестирования ДЗ
Распределённая часть
Преподаватели
- Модуль "Обработка больших данных":
- Ивченко Олег,
- Штохов Александр
- Модуль "Отказоустойчивые распределенные системы":
- Липовский Роман
Семинаристы
- Долуденко Алексей
- Ивченко Олег
- Ахтямов Павел
- Сурин Михаил
Теоретический трек (лекции)
- Распределённые файловые системы (GFS, HDFS). Её составляющие. Их достоинства, недостатки и сфера применения. Чтение и запись в HDFS. HDFS APIs: WebUI, shell, Java API.
- Парадигма MapReduce. Основная идея, формальное описание. Обзор реализаций. API для работы с Hadoop (Native Java API vs. Streaming), примеры.
- Типы Join'ов и их реализации в парадигме MR. Паттерны проекттирования MR (pairs, stripes, составные ключи). PageRank в MR. Планировщик задач в YARN.
- SQL поверх BigData.
Практический трек (семинары)
- Устройство Hadoop-кластера, HDFS CLI, Web API, внутреннее устройство HDFS.
- Hadoop streaming API. Простейшая программа на MapReduce (подсчёт слов в тексте). Её модификации. Инструменты отладки в MapReduce
- Advanced HDFS shell. Hadoop Java API, Joins в MapReduce, Счётчики в MapReduce.
- Apache Hive. Язык HiveQL, его расширения (Hive Streaming, User defined functions).
P.S.
Если имеются проблемы с доступами на какой-нибудь из сервисов, напишите сюда.
Параллельная часть
Преподаватели
Сальников Алексей Николаевич
Семинаристы
- Долуденко Алексей
- Сальников Алексей Николаевич
- Котельников Алексей
- Сурин Михаил
- Ахтямов Павел
