Параллельные и распределённые вычисления — различия между версиями
VeLKerr (обсуждение | вклад) (→Теоретический трек (лекции)) |
(→Семинаристы) |
||
| (не показано 5 промежуточных версий этого же участника) | |||
| Строка 4: | Строка 4: | ||
* '''[https://goo.gl/forms/F8TQRkiA1gwdiqkH2 Форма регистрации на курс]''' | * '''[https://goo.gl/forms/F8TQRkiA1gwdiqkH2 Форма регистрации на курс]''' | ||
* [https://docs.google.com/spreadsheets/d/1mBps9pmarBpU51IQt4KH0jDgf0gsSXrXReIcPM2S3yE Таблица с оценками] | * [https://docs.google.com/spreadsheets/d/1mBps9pmarBpU51IQt4KH0jDgf0gsSXrXReIcPM2S3yE Таблица с оценками] | ||
| + | * [https://t.me/joinchat/E1sBpVHHkmZZpZiXhGMFvg Телеграм-чат курса] | ||
* Дополнительную информацию см. в [https://docs.google.com/presentation/d/1206T54F84HDhKbScxrDFzLnERRGwu0oLrbWEJ3mT9GI/edit#slide=id.p29 вводной презентации курса] | * Дополнительную информацию см. в [https://docs.google.com/presentation/d/1206T54F84HDhKbScxrDFzLnERRGwu0oLrbWEJ3mT9GI/edit#slide=id.p29 вводной презентации курса] | ||
| Строка 25: | Строка 26: | ||
* Ивченко Олег | * Ивченко Олег | ||
* Ахтямов Павел | * Ахтямов Павел | ||
| − | |||
* Сурин Михаил | * Сурин Михаил | ||
| Строка 32: | Строка 32: | ||
# [https://drive.google.com/file/d/1j5NEBSGjROwEXCujSNhFqKfrf9fL-ZGR/view?usp=sharing Парадигма MapReduce. Основная идея, формальное описание. Обзор реализаций. API для работы с Hadoop (Native Java API vs. Streaming), примеры]. | # [https://drive.google.com/file/d/1j5NEBSGjROwEXCujSNhFqKfrf9fL-ZGR/view?usp=sharing Парадигма MapReduce. Основная идея, формальное описание. Обзор реализаций. API для работы с Hadoop (Native Java API vs. Streaming), примеры]. | ||
# [https://drive.google.com/file/d/1E_90b6GxA7wym3BB5RVsvBSS62bqjreh/view?usp=sharing Типы Join'ов и их реализации в парадигме MR. Паттерны проекттирования MR (pairs, stripes, составные ключи). PageRank в MR. Планировщик задач в YARN]. | # [https://drive.google.com/file/d/1E_90b6GxA7wym3BB5RVsvBSS62bqjreh/view?usp=sharing Типы Join'ов и их реализации в парадигме MR. Паттерны проекттирования MR (pairs, stripes, составные ключи). PageRank в MR. Планировщик задач в YARN]. | ||
| − | # SQL поверх BigData. | + | # [https://drive.google.com/drive/folders/151645JTf7yK3CjuQMn5SM2AlPHtYCPcY?usp=sharing SQL поверх BigData]. |
== Практический трек (семинары) == | == Практический трек (семинары) == | ||
# [https://gitlab.com/VeLKerr/pardistrib/blob/master/practice/01-hdfs.md Устройство Hadoop-кластера, HDFS CLI, Web API, внутреннее устройство HDFS]. | # [https://gitlab.com/VeLKerr/pardistrib/blob/master/practice/01-hdfs.md Устройство Hadoop-кластера, HDFS CLI, Web API, внутреннее устройство HDFS]. | ||
# [https://gitlab.com/VeLKerr/pardistrib/blob/master/practice/02-hadoop.md Hadoop streaming API. Простейшая программа на MapReduce (подсчёт слов в тексте). Её модификации. Инструменты отладки в MapReduce] | # [https://gitlab.com/VeLKerr/pardistrib/blob/master/practice/02-hadoop.md Hadoop streaming API. Простейшая программа на MapReduce (подсчёт слов в тексте). Её модификации. Инструменты отладки в MapReduce] | ||
| − | # Hadoop Java API, Joins в MapReduce, Счётчики в MapReduce. | + | # [https://gitlab.com/VeLKerr/pardistrib/blob/master/practice/03-hadoop2.md Advanced HDFS shell. Hadoop Java API, Joins в MapReduce, Счётчики в MapReduce]. |
| − | # Apache Hive. Язык HiveQL, его расширения (Hive Streaming, User defined functions). | + | # [https://gitlab.com/VeLKerr/pardistrib/blob/master/practice/04-Hive.md Apache Hive. Язык HiveQL, его расширения (Hive Streaming, User defined functions)]. |
== P.S. == | == P.S. == | ||
| Строка 51: | Строка 51: | ||
* Сальников Алексей Николаевич | * Сальников Алексей Николаевич | ||
* Котельников Алексей | * Котельников Алексей | ||
| − | * Сурин Михаил | + | * Сурин Михаил |
| + | * Ахтямов Павел | ||
== Теоретический трек (лекции) == | == Теоретический трек (лекции) == | ||
== Практический трек (семинары) == | == Практический трек (семинары) == | ||
Текущая версия на 19:47, 21 января 2019
Содержание
Общие сведения
- Семестр: 5 (третий курс)
- Форма контроля: экзамен
- Форма регистрации на курс
- Таблица с оценками
- Телеграм-чат курса
- Дополнительную информацию см. в вводной презентации курса
Материалы занятий
- Видео лекций
- Слайды презентаций
- Материалы семинаров и домашние задания
- Q&A форум "Piazza"
- Gitlab для автоматического тестирования ДЗ
Распределённая часть
Преподаватели
- Модуль "Обработка больших данных":
- Ивченко Олег,
- Штохов Александр
- Модуль "Отказоустойчивые распределенные системы":
- Липовский Роман
Семинаристы
- Долуденко Алексей
- Ивченко Олег
- Ахтямов Павел
- Сурин Михаил
Теоретический трек (лекции)
- Распределённые файловые системы (GFS, HDFS). Её составляющие. Их достоинства, недостатки и сфера применения. Чтение и запись в HDFS. HDFS APIs: WebUI, shell, Java API.
- Парадигма MapReduce. Основная идея, формальное описание. Обзор реализаций. API для работы с Hadoop (Native Java API vs. Streaming), примеры.
- Типы Join'ов и их реализации в парадигме MR. Паттерны проекттирования MR (pairs, stripes, составные ключи). PageRank в MR. Планировщик задач в YARN.
- SQL поверх BigData.
Практический трек (семинары)
- Устройство Hadoop-кластера, HDFS CLI, Web API, внутреннее устройство HDFS.
- Hadoop streaming API. Простейшая программа на MapReduce (подсчёт слов в тексте). Её модификации. Инструменты отладки в MapReduce
- Advanced HDFS shell. Hadoop Java API, Joins в MapReduce, Счётчики в MapReduce.
- Apache Hive. Язык HiveQL, его расширения (Hive Streaming, User defined functions).
P.S.
Если имеются проблемы с доступами на какой-нибудь из сервисов, напишите сюда.
Параллельная часть
Преподаватели
Сальников Алексей Николаевич
Семинаристы
- Долуденко Алексей
- Сальников Алексей Николаевич
- Котельников Алексей
- Сурин Михаил
- Ахтямов Павел
