Параллельные и распределённые вычисления — различия между версиями
VeLKerr (обсуждение | вклад) м (VeLKerr переименовал страницу МВС 2018 в Параллельные и распределённые вычисления: Изменение названия курса) |
VeLKerr (обсуждение | вклад) |
||
| Строка 1: | Строка 1: | ||
| − | + | = Общие сведения = | |
| − | |||
| − | |||
* Семестр: 5 (третий курс) | * Семестр: 5 (третий курс) | ||
* Форма контроля: экзамен | * Форма контроля: экзамен | ||
| Строка 15: | Строка 13: | ||
* [http://gitlab.atp-fivt.org Gitlab для автоматического тестирования ДЗ] | * [http://gitlab.atp-fivt.org Gitlab для автоматического тестирования ДЗ] | ||
| − | + | = Распределённая часть = | |
| − | + | == Преподаватели == | |
* '''Модуль "Обработка больших данных":''' | * '''Модуль "Обработка больших данных":''' | ||
** Ивченко Олег, | ** Ивченко Олег, | ||
| Строка 23: | Строка 21: | ||
** Липовский Роман | ** Липовский Роман | ||
| − | + | == Семинаристы == | |
* Долуденко Алексей | * Долуденко Алексей | ||
* Ивченко Олег | * Ивченко Олег | ||
| Строка 30: | Строка 28: | ||
* Сурин Михаил | * Сурин Михаил | ||
| − | + | == Теоретический трек (лекции) == | |
# [https://docs.google.com/presentation/d/1206T54F84HDhKbScxrDFzLnERRGwu0oLrbWEJ3mT9GI Распределённые файловые системы (GFS, HDFS). Её составляющие. Их достоинства, недостатки и сфера применения. Чтение и запись в HDFS. HDFS APIs: WebUI, shell, Java API]. | # [https://docs.google.com/presentation/d/1206T54F84HDhKbScxrDFzLnERRGwu0oLrbWEJ3mT9GI Распределённые файловые системы (GFS, HDFS). Её составляющие. Их достоинства, недостатки и сфера применения. Чтение и запись в HDFS. HDFS APIs: WebUI, shell, Java API]. | ||
# Парадигма MapReduce. Основная идея, формальное описание. Обзор реализаций. API для работы с Hadoop (Native Java API vs. Streaming), примеры. | # Парадигма MapReduce. Основная идея, формальное описание. Обзор реализаций. API для работы с Hadoop (Native Java API vs. Streaming), примеры. | ||
| Строка 36: | Строка 34: | ||
# SQL поверх BigData. | # SQL поверх BigData. | ||
| − | + | == Практический трек (семинары) == | |
# [https://gitlab.com/VeLKerr/pardistrib/blob/master/practice/01-hdfs.md Устройство Hadoop-кластера, HDFS CLI, Web API, внутреннее устройство HDFS]. | # [https://gitlab.com/VeLKerr/pardistrib/blob/master/practice/01-hdfs.md Устройство Hadoop-кластера, HDFS CLI, Web API, внутреннее устройство HDFS]. | ||
# Hadoop Java API, Hadoop streaming API. Простейшая программа на MapReduce (подсчёт слов в тексте). Её модификации. | # Hadoop Java API, Hadoop streaming API. Простейшая программа на MapReduce (подсчёт слов в тексте). Её модификации. | ||
| Строка 42: | Строка 40: | ||
# Apache Hive. Язык HiveQL, его расширения (Hive Streaming, User defined functions). | # Apache Hive. Язык HiveQL, его расширения (Hive Streaming, User defined functions). | ||
| − | + | = Параллельная часть = | |
| − | + | == Преподаватели == | |
Сальников Алексей Николаевич | Сальников Алексей Николаевич | ||
| − | + | == Семинаристы == | |
* Долуденко Алексей | * Долуденко Алексей | ||
* Сальников Алексей Николаевич | * Сальников Алексей Николаевич | ||
| Строка 52: | Строка 50: | ||
* Сурин Михаил | * Сурин Михаил | ||
| − | + | == Теоретический трек (лекции) == | |
| − | + | == Практический трек (семинары) == | |
== P.S. == | == P.S. == | ||
Если имеются проблемы с доступами на какой-нибудь из сервисов, напишите [https://goo.gl/forms/r5TC8njYkjiY9X7X2 сюда]. | Если имеются проблемы с доступами на какой-нибудь из сервисов, напишите [https://goo.gl/forms/r5TC8njYkjiY9X7X2 сюда]. | ||
Версия 22:22, 9 сентября 2018
Содержание
Общие сведения
- Семестр: 5 (третий курс)
- Форма контроля: экзамен
- Форма регистрации на курс
- [Таблица с оценками] TBD.
- Дополнительную информацию см. в вводной презентации курса
Материалы занятий
- Видео лекций
- Слайды презентаций
- Материалы семинаров и домашние задания
- Q&A форум "Piazza"
- Gitlab для автоматического тестирования ДЗ
Распределённая часть
Преподаватели
- Модуль "Обработка больших данных":
- Ивченко Олег,
- Штохов Александр
- Модуль "Отказоустойчивые распределенные системы":
- Липовский Роман
Семинаристы
- Долуденко Алексей
- Ивченко Олег
- Ахтямов Павел
- Емельянов Антон
- Сурин Михаил
Теоретический трек (лекции)
- Распределённые файловые системы (GFS, HDFS). Её составляющие. Их достоинства, недостатки и сфера применения. Чтение и запись в HDFS. HDFS APIs: WebUI, shell, Java API.
- Парадигма MapReduce. Основная идея, формальное описание. Обзор реализаций. API для работы с Hadoop (Native Java API vs. Streaming), примеры.
- Типы Join'ов и их реализации в парадигме MR. Паттерны проекттирования MR (pairs, stripes, составные ключи). PageRank в MR. Планировщик задач в YARN.
- SQL поверх BigData.
Практический трек (семинары)
- Устройство Hadoop-кластера, HDFS CLI, Web API, внутреннее устройство HDFS.
- Hadoop Java API, Hadoop streaming API. Простейшая программа на MapReduce (подсчёт слов в тексте). Её модификации.
- Joins в MapReduce, инструменты отладки в MapReduce.
- Apache Hive. Язык HiveQL, его расширения (Hive Streaming, User defined functions).
Параллельная часть
Преподаватели
Сальников Алексей Николаевич
Семинаристы
- Долуденко Алексей
- Сальников Алексей Николаевич
- Котельников Алексей
- Сурин Михаил
Теоретический трек (лекции)
Практический трек (семинары)
P.S.
Если имеются проблемы с доступами на какой-нибудь из сервисов, напишите сюда.
