Параллельные и распределённые вычисления 2019: различия между версиями
Перейти к навигации
Перейти к поиску
VeLKerr (обсуждение | вклад) |
|||
| Строка 14: | Строка 14: | ||
= Преподаватели = | = Преподаватели = | ||
* Лекторы | * '''Лекторы''' | ||
** Долуденко А. (tg: @adoludenko) | ** Долуденко А. (tg: @adoludenko) | ||
** Ивченко О. (tg: @velkerr) | ** Ивченко О. (tg: @velkerr) | ||
| Строка 20: | Строка 20: | ||
** Лахвич Д. | ** Лахвич Д. | ||
** Леонов Я. | ** Леонов Я. | ||
* Семинаристы | |||
* '''Семинаристы''' | |||
** Параллельная часть: | ** Параллельная часть: | ||
*** Бабин Олег | |||
*** Долуденко Алексей | |||
*** Ахтямов Павел | |||
*** Иванова Юлия | |||
** Распределённая часть: | |||
*** Бабин Олег | *** Бабин Олег | ||
*** Булгакова Дарья | *** Булгакова Дарья | ||
| Строка 29: | Строка 35: | ||
*** Иванова Юлия | *** Иванова Юлия | ||
*** Ивченко Олег | *** Ивченко Олег | ||
* '''Учебные ассистенты''' | |||
** Вручтель Серафима | |||
** Госткин Евгений. | |||
= Критерии получения оценки = | = Критерии получения оценки = | ||
Версия от 23:18, 25 октября 2019
Общие сведения
- Семестр: 5 (третий курс)
- Форма контроля: зачет
- Форма регистрации на курс
- Таблица с оценками
- Телеграм-чат курса
Материалы занятий
Преподаватели
- Лекторы
- Долуденко А. (tg: @adoludenko)
- Ивченко О. (tg: @velkerr)
- Пилипенко А.
- Лахвич Д.
- Леонов Я.
- Семинаристы
- Параллельная часть:
- Бабин Олег
- Долуденко Алексей
- Ахтямов Павел
- Иванова Юлия
- Распределённая часть:
- Бабин Олег
- Булгакова Дарья
- Долуденко Алексей
- Ахтямов Павел
- Чернецкий Аркадий
- Иванова Юлия
- Ивченко Олег
- Параллельная часть:
- Учебные ассистенты
- Вручтель Серафима
- Госткин Евгений.
Критерии получения оценки
После дедлайна задачи можно сдавать лишь с -50% от максимальной оценки.
План курса
| Дата | Лектор | Тема лекций и семинаров | Дополнительные активности |
|---|---|---|---|
| 29.10 | Пилипенко А. | Hive, продолжение | Контрольная по HDFS & MapReduce |
| 05.11 | Лахвич Д. | Spark, начало | Выдача домашки по Hive |
| 12.11 | Леонов Я. | Лекция: Модель распределённых систем | Семинар: продолжение Spark |
| 19.11 | AB, FLP, CAP. | Контрольная по Hive & Spark. Выдача домашки по Zookeeper | |
| 26.11 | Распределённые конфигурации. Zookeeper | ||
| 03.12 | Dynamo-подобные системы. Cassandra | ||
| 10.12 | Очереди в распределённых вычислениях. Kafka. | Контрольная по Cassandra. Kafka, Zookeeper. |
Список рекомендуемых материалов
- Параллельная часть
- Распределённая часть (лекции)
- Распределённые файловые системы (GFS, HDFS). Её составляющие. Их достоинства, недостатки и сфера применения. Чтение и запись в HDFS. HDFS APIs: WebUI, shell, Java API
- Парадигма MapReduce. Основная идея, формальное описание. Обзор реализаций. API для работы с Hadoop (Native Java API vs. Streaming), примеры
- Типы Join'ов и их реализации в парадигме MR. Паттерны проекттирования MR (pairs, stripes, составные ключи). PageRank в MR. Планировщик задач в YARN
- SQL поверх BigData
- Распределённая часть (семинары)
- Устройство Hadoop-кластера, HDFS CLI, Web API, внутреннее устройство HDFS
- Hadoop streaming API. Простейшая программа на MapReduce (подсчёт слов в тексте). Её модификации. Инструменты отладки в MapReduce.
- Advanced HDFS shell. Hadoop Java API, Joins в MapReduce, Счётчики в MapReduce
- Apache Hive. Язык HiveQL, его расширения (Hive Streaming, User defined functions)