Параллельные и распределённые вычисления 2019: различия между версиями

Материал из Public ATP Wiki
Перейти к навигации Перейти к поиску
← Предыдущая правкаСледующая правка →
Строка 30: Строка 30:
= План курса =
= План курса =
{|  class="wikitable"
{|  class="wikitable"
|- ! Дата !! Лектор !! Тема лекций и семинаров !! Дополнительные активности
|-  
|- | 29.10 || Пилипенко А. || Hive, продолжение || Контрольная по HDFS & MapReduce
! Дата  
|- | 05.11 || Лахвич Д. || Spark, начало || Выдача домашки по Hive
! Лектор  
|- | 12.11 || Леонов Я. || Лекция: Модель распределённых систем || Семинар: продолжение Spark
! Тема лекций и семинаров  
|- | 19.11 || || AB, FLP, CAP. || Контрольная по Hive & Spark. Выдача домашки по Zookeeper
! Дополнительные активности
|- | 26.11 || ||Распределённые конфигурации. Zookeeper
|-  
|- | 03.12 || ||Dynamo-подобные системы. Cassandra
| 29.10  
|- | 10.12 || ||Очереди в распределённых вычислениях. Kafka. || Контрольная по Cassandra. Kafka, Zookeeper.
|| Пилипенко А.  
|| Hive, продолжение  
|| Контрольная по HDFS & MapReduce
|-  
| 05.11  
|| Лахвич Д.  
|| Spark, начало  
|| Выдача домашки по Hive
|-  
| 12.11  
|rowspan="5"| Леонов Я.  
|| Лекция: Модель распределённых систем  
|| Семинар: продолжение Spark
|-  
| 19.11  
|| AB, FLP, CAP.  
|| Контрольная по Hive & Spark. Выдача домашки по Zookeeper
|-  
| 26.11  
||Распределённые конфигурации. Zookeeper
||
|-  
| 03.12  
||Dynamo-подобные системы. Cassandra
||
|-  
| 10.12  
||Очереди в распределённых вычислениях. Kafka.  
|| Контрольная по Cassandra. Kafka, Zookeeper.
|}
|}


Версия от 12:56, 24 октября 2019

Общие сведения

Материалы занятий

Преподаватели

  • Лекторы:
    • Долуденко Алексей (tg: @adoludenko)
    • Ивченко Олег (tg: @velkerr)
  • Семинаристы:
    • Бабин Олег (791)
    • Булгакова Дарья (792)
    • Долуденко Алексей (793, 796)
    • Ахтямов Павел (794)
    • Чернецкий Аркадий (795)
    • Иванова Юлия (797)
    • Ивченко Олег (798, 7910)

Критерии получения оценки

После дедлайна задачи можно сдавать лишь с -50% от максимальной оценки.

План курса

Дата Лектор Тема лекций и семинаров Дополнительные активности
29.10 Пилипенко А. Hive, продолжение Контрольная по HDFS & MapReduce
05.11 Лахвич Д. Spark, начало Выдача домашки по Hive
12.11 Леонов Я. Лекция: Модель распределённых систем Семинар: продолжение Spark
19.11 AB, FLP, CAP. Контрольная по Hive & Spark. Выдача домашки по Zookeeper
26.11 Распределённые конфигурации. Zookeeper
03.12 Dynamo-подобные системы. Cassandra
10.12 Очереди в распределённых вычислениях. Kafka. Контрольная по Cassandra. Kafka, Zookeeper.

Список рекомендуемых материалов

  • Параллельная часть
  1. Методичка по MPI
  2. Методичка по OpenMP
  • Распределённая часть (лекции)
  1. Распределённые файловые системы (GFS, HDFS). Её составляющие. Их достоинства, недостатки и сфера применения. Чтение и запись в HDFS. HDFS APIs: WebUI, shell, Java API
  2. Парадигма MapReduce. Основная идея, формальное описание. Обзор реализаций. API для работы с Hadoop (Native Java API vs. Streaming), примеры
  3. Типы Join'ов и их реализации в парадигме MR. Паттерны проекттирования MR (pairs, stripes, составные ключи). PageRank в MR. Планировщик задач в YARN
  4. SQL поверх BigData
  • Распределённая часть (семинары)
  1. Устройство Hadoop-кластера, HDFS CLI, Web API, внутреннее устройство HDFS
  2. Hadoop streaming API. Простейшая программа на MapReduce (подсчёт слов в тексте). Её модификации. Инструменты отладки в MapReduce.
  3. Advanced HDFS shell. Hadoop Java API, Joins в MapReduce, Счётчики в MapReduce
  4. Apache Hive. Язык HiveQL, его расширения (Hive Streaming, User defined functions)
Источник — https://wiki.atp-fivt.org/index.php?title=Параллельные_и_распределённые_вычисления_2019&oldid=101