Параллельные и распределённые вычисления 2019: различия между версиями
Перейти к навигации
Перейти к поиску
| Строка 27: | Строка 27: | ||
= Критерии получения оценки = | = Критерии получения оценки = | ||
После дедлайна задачи можно сдавать лишь с -50% от максимальной оценки. | После дедлайна задачи можно сдавать лишь с -50% от максимальной оценки. | ||
= План курса = | |||
{| class="wikitable" | |||
|- ! Дата !! Лектор !! Тема лекций и семинаров !! Дополнительные активности | |||
|- | 29.10 || Пилипенко А. || Hive, продолжение || Контрольная по HDFS & MapReduce | |||
|- | 05.11 || Лахвич Д. || Spark, начало || Выдача домашки по Hive | |||
|- | 12.11 || Леонов Я. || Лекция: Модель распределённых систем || Семинар: продолжение Spark | |||
|- | 19.11 || || AB, FLP, CAP. || Контрольная по Hive & Spark. Выдача домашки по Zookeeper | |||
|- | 26.11 || ||Распределённые конфигурации. Zookeeper | |||
|- | 03.12 || ||Dynamo-подобные системы. Cassandra | |||
|- | 10.12 || ||Очереди в распределённых вычислениях. Kafka. || Контрольная по Cassandra. Kafka, Zookeeper. | |||
|} | |||
= Список рекомендуемых материалов = | = Список рекомендуемых материалов = | ||
Версия от 12:52, 24 октября 2019
Общие сведения
- Семестр: 5 (третий курс)
- Форма контроля: зачет
- Форма регистрации на курс
- Таблица с оценками
- Телеграм-чат курса
Материалы занятий
Преподаватели
- Лекторы:
- Долуденко Алексей (tg: @adoludenko)
- Ивченко Олег (tg: @velkerr)
- Семинаристы:
- Бабин Олег (791)
- Булгакова Дарья (792)
- Долуденко Алексей (793, 796)
- Ахтямов Павел (794)
- Чернецкий Аркадий (795)
- Иванова Юлия (797)
- Ивченко Олег (798, 7910)
Критерии получения оценки
После дедлайна задачи можно сдавать лишь с -50% от максимальной оценки.
План курса
Список рекомендуемых материалов
- Параллельная часть
- Распределённая часть (лекции)
- Распределённые файловые системы (GFS, HDFS). Её составляющие. Их достоинства, недостатки и сфера применения. Чтение и запись в HDFS. HDFS APIs: WebUI, shell, Java API
- Парадигма MapReduce. Основная идея, формальное описание. Обзор реализаций. API для работы с Hadoop (Native Java API vs. Streaming), примеры
- Типы Join'ов и их реализации в парадигме MR. Паттерны проекттирования MR (pairs, stripes, составные ключи). PageRank в MR. Планировщик задач в YARN
- SQL поверх BigData
- Распределённая часть (семинары)
- Устройство Hadoop-кластера, HDFS CLI, Web API, внутреннее устройство HDFS
- Hadoop streaming API. Простейшая программа на MapReduce (подсчёт слов в тексте). Её модификации. Инструменты отладки в MapReduce.
- Advanced HDFS shell. Hadoop Java API, Joins в MapReduce, Счётчики в MapReduce
- Apache Hive. Язык HiveQL, его расширения (Hive Streaming, User defined functions)