Параллельные и распределённые вычисления 2019 — различия между версиями
м (→Общие сведения) |
(→Преподаватели) |
||
| Строка 15: | Строка 15: | ||
= Преподаватели = | = Преподаватели = | ||
* Лекторы: | * Лекторы: | ||
| − | ** Долуденко | + | ** Долуденко А. (tg: @adoludenko) |
| − | ** Ивченко | + | ** Ивченко О. (tg: @velkerr) |
| + | ** Пилипенко А. | ||
| + | ** Лахвич Д. | ||
| + | ** Леонов Я. | ||
* Семинаристы: | * Семинаристы: | ||
| − | ** Бабин Олег | + | ** Параллельная часть: |
| − | ** Булгакова Дарья | + | *** Бабин Олег |
| − | ** Долуденко Алексей | + | *** Булгакова Дарья |
| − | ** Ахтямов Павел | + | *** Долуденко Алексей |
| − | ** Чернецкий Аркадий | + | *** Ахтямов Павел |
| − | ** Иванова Юлия | + | *** Чернецкий Аркадий |
| − | ** Ивченко Олег | + | *** Иванова Юлия |
| + | *** Ивченко Олег | ||
= Критерии получения оценки = | = Критерии получения оценки = | ||
Версия 16:33, 24 октября 2019
Содержание
Общие сведения
- Семестр: 5 (третий курс)
- Форма контроля: зачет
- Форма регистрации на курс
- Таблица с оценками
- Телеграм-чат курса
Материалы занятий
Преподаватели
- Лекторы:
- Долуденко А. (tg: @adoludenko)
- Ивченко О. (tg: @velkerr)
- Пилипенко А.
- Лахвич Д.
- Леонов Я.
- Семинаристы:
- Параллельная часть:
- Бабин Олег
- Булгакова Дарья
- Долуденко Алексей
- Ахтямов Павел
- Чернецкий Аркадий
- Иванова Юлия
- Ивченко Олег
- Параллельная часть:
Критерии получения оценки
После дедлайна задачи можно сдавать лишь с -50% от максимальной оценки.
План курса
| Дата | Лектор | Тема лекций и семинаров | Дополнительные активности |
|---|---|---|---|
| 29.10 | Пилипенко А. | Hive, продолжение | Контрольная по HDFS & MapReduce |
| 05.11 | Лахвич Д. | Spark, начало | Выдача домашки по Hive |
| 12.11 | Леонов Я. | Лекция: Модель распределённых систем | Семинар: продолжение Spark |
| 19.11 | AB, FLP, CAP. | Контрольная по Hive & Spark. Выдача домашки по Zookeeper | |
| 26.11 | Распределённые конфигурации. Zookeeper | ||
| 03.12 | Dynamo-подобные системы. Cassandra | ||
| 10.12 | Очереди в распределённых вычислениях. Kafka. | Контрольная по Cassandra. Kafka, Zookeeper. |
Список рекомендуемых материалов
- Параллельная часть
- Распределённая часть (лекции)
- Распределённые файловые системы (GFS, HDFS). Её составляющие. Их достоинства, недостатки и сфера применения. Чтение и запись в HDFS. HDFS APIs: WebUI, shell, Java API
- Парадигма MapReduce. Основная идея, формальное описание. Обзор реализаций. API для работы с Hadoop (Native Java API vs. Streaming), примеры
- Типы Join'ов и их реализации в парадигме MR. Паттерны проекттирования MR (pairs, stripes, составные ключи). PageRank в MR. Планировщик задач в YARN
- SQL поверх BigData
- Распределённая часть (семинары)
- Устройство Hadoop-кластера, HDFS CLI, Web API, внутреннее устройство HDFS
- Hadoop streaming API. Простейшая программа на MapReduce (подсчёт слов в тексте). Её модификации. Инструменты отладки в MapReduce.
- Advanced HDFS shell. Hadoop Java API, Joins в MapReduce, Счётчики в MapReduce
- Apache Hive. Язык HiveQL, его расширения (Hive Streaming, User defined functions)
