Параллельные и распределённые вычисления 2019

Материал из Public ATP Wiki
Версия от 14:06, 8 октября 2019; Shajdurova.es (обсуждение | вклад) (→‎контакты для связи)
Перейти к: навигация, поиск

Общие сведения

Материалы занятий

Преподаватели

  • Лекторы:
    • Долуденко Алексей (tg: @adoludenko)
    • Ивченко Олег (tg: @velkerr)
  • Семинаристы:
    • Бабин Олег (791)
    • Булгакова Дарья (792)
    • Долуденко Алексей (793, 796)
    • Ахтямов Павел (794)
    • Чернецкий Аркадий (795)
    • Иванова Юлия (797)
    • Ивченко Олег (798, 7910)

Критерии получения оценки

После дедлайна задачи можно сдавать лишь с -50% от максимальной оценки.

Список рекомендуемых материалов

  1. Распределённые файловые системы (GFS, HDFS). Её составляющие. Их достоинства, недостатки и сфера применения. Чтение и запись в HDFS. HDFS APIs: WebUI, shell, Java API
  2. Парадигма MapReduce. Основная идея, формальное описание. Обзор реализаций. API для работы с Hadoop (Native Java API vs. Streaming), примеры
  3. Типы Join'ов и их реализации в парадигме MR. Паттерны проекттирования MR (pairs, stripes, составные ключи). PageRank в MR. Планировщик задач в YARN
  4. SQL поверх BigData
  • Распределённая часть (семинары)
  1. Устройство Hadoop-кластера, HDFS CLI, Web API, внутреннее устройство HDFS
  2. Hadoop streaming API. Простейшая программа на MapReduce (подсчёт слов в тексте). Её модификации. Инструменты отладки в MapReduce.
  3. Advanced HDFS shell. Hadoop Java API, Joins в MapReduce, Счётчики в MapReduce
  4. Apache Hive. Язык HiveQL, его расширения (Hive Streaming, User defined functions)
Источник — «http://wiki.atp-fivt.org/index.php?title=Параллельные_и_распределённые_вычисления_2019&oldid=87»