Параллельные и распределённые вычисления — различия между версиями

Материал из Public ATP Wiki
Перейти к: навигация, поиск
(Теоретический трек (лекции))
(Практический трек (семинары))
Строка 37: Строка 37:
  
 
=== Практический трек (семинары) ===
 
=== Практический трек (семинары) ===
# Устройство Hadoop-кластера, HDFS CLI, Web API, внутреннее устройство HDFS.
+
# [https://gitlab.com/VeLKerr/pardistrib/blob/master/practice/01-hdfs.md Устройство Hadoop-кластера, HDFS CLI, Web API, внутреннее устройство HDFS].
 
# Hadoop Java API, Hadoop streaming API. Простейшая программа на MapReduce (подсчёт слов в тексте). Её модификации.
 
# Hadoop Java API, Hadoop streaming API. Простейшая программа на MapReduce (подсчёт слов в тексте). Её модификации.
 
# Joins в MapReduce, инструменты отладки в MapReduce.
 
# Joins в MapReduce, инструменты отладки в MapReduce.

Версия 22:20, 9 сентября 2018

Параллельные и распределённые вычисления

Общие сведения

Материалы занятий

Распределённая часть

Преподаватели

  • Модуль "Обработка больших данных":
    • Ивченко Олег,
    • Штохов Александр
  • Модуль "Отказоустойчивые распределенные системы":
    • Липовский Роман

Семинаристы

  • Долуденко Алексей
  • Ивченко Олег
  • Ахтямов Павел
  • Емельянов Антон
  • Сурин Михаил

Теоретический трек (лекции)

  1. Распределённые файловые системы (GFS, HDFS). Её составляющие. Их достоинства, недостатки и сфера применения. Чтение и запись в HDFS. HDFS APIs: WebUI, shell, Java API.
  2. Парадигма MapReduce. Основная идея, формальное описание. Обзор реализаций. API для работы с Hadoop (Native Java API vs. Streaming), примеры.
  3. Типы Join'ов и их реализации в парадигме MR. Паттерны проекттирования MR (pairs, stripes, составные ключи). PageRank в MR. Планировщик задач в YARN.
  4. SQL поверх BigData.

Практический трек (семинары)

  1. Устройство Hadoop-кластера, HDFS CLI, Web API, внутреннее устройство HDFS.
  2. Hadoop Java API, Hadoop streaming API. Простейшая программа на MapReduce (подсчёт слов в тексте). Её модификации.
  3. Joins в MapReduce, инструменты отладки в MapReduce.
  4. Apache Hive. Язык HiveQL, его расширения (Hive Streaming, User defined functions).

Параллельная часть

Преподаватели

Сальников Алексей Николаевич

Семинаристы

  • Долуденко Алексей
  • Сальников Алексей Николаевич
  • Котельников Алексей
  • Сурин Михаил

Теоретический трек (лекции)

Практический трек (семинары)

P.S.

Если имеются проблемы с доступами на какой-нибудь из сервисов, напишите сюда.