Параллельные и распределённые вычисления: различия между версиями

Материал из Public ATP Wiki
Перейти к навигации Перейти к поиску
← Предыдущая правка
 
(не показано 18 промежуточных версий 2 участников)
Строка 1: Строка 1:
= Параллельные и распределённые вычисления =
= Общие сведения =
 
== Общие сведения ==
* Семестр: 5 (третий курс)
* Семестр: 5 (третий курс)
* Форма контроля: экзамен
* Форма контроля: экзамен
* [https://goo.gl/forms/F8TQRkiA1gwdiqkH2 Форма регистрации на курс]
* '''[https://goo.gl/forms/F8TQRkiA1gwdiqkH2 Форма регистрации на курс]'''
* [Таблица с оценками] TBD.
* [https://docs.google.com/spreadsheets/d/1mBps9pmarBpU51IQt4KH0jDgf0gsSXrXReIcPM2S3yE Таблица с оценками]
* [https://t.me/joinchat/E1sBpVHHkmZZpZiXhGMFvg Телеграм-чат курса]
* Дополнительную информацию см. в [https://docs.google.com/presentation/d/1206T54F84HDhKbScxrDFzLnERRGwu0oLrbWEJ3mT9GI/edit#slide=id.p29 вводной презентации курса]
* Дополнительную информацию см. в [https://docs.google.com/presentation/d/1206T54F84HDhKbScxrDFzLnERRGwu0oLrbWEJ3mT9GI/edit#slide=id.p29 вводной презентации курса]


Строка 15: Строка 14:
* [http://gitlab.atp-fivt.org Gitlab для автоматического тестирования ДЗ]
* [http://gitlab.atp-fivt.org Gitlab для автоматического тестирования ДЗ]


== Распределённая часть ==
= Распределённая часть =
=== Преподаватели ===
== Преподаватели ==
* '''Модуль "Обработка больших данных":'''  
* '''Модуль "Обработка больших данных":'''  
** Ивченко Олег,  
** Ивченко Олег,  
Строка 23: Строка 22:
** Липовский Роман
** Липовский Роман


=== Семинаристы ===
== Семинаристы ==
* Долуденко Алексей
* Долуденко Алексей
* Ивченко Олег
* Ивченко Олег
* Ахтямов Павел
* Ахтямов Павел
* Емельянов Антон
* Сурин Михаил
* Сурин Михаил


=== Теоретический трек (лекции) ===
== Теоретический трек (лекции) ==
# [https://docs.google.com/presentation/d/1206T54F84HDhKbScxrDFzLnERRGwu0oLrbWEJ3mT9GI Распределённые файловые системы (GFS, HDFS). Её составляющие. Их достоинства, недостатки и сфера применения. Чтение и запись в HDFS. HDFS APIs: WebUI, shell, Java API].
# [https://docs.google.com/presentation/d/1206T54F84HDhKbScxrDFzLnERRGwu0oLrbWEJ3mT9GI Распределённые файловые системы (GFS, HDFS). Её составляющие. Их достоинства, недостатки и сфера применения. Чтение и запись в HDFS. HDFS APIs: WebUI, shell, Java API].
# Парадигма MapReduce. Основная идея, формальное описание. Обзор реализаций.  API для работы с Hadoop (Native Java API vs. Streaming), примеры.
# [https://drive.google.com/file/d/1j5NEBSGjROwEXCujSNhFqKfrf9fL-ZGR/view?usp=sharing Парадигма MapReduce. Основная идея, формальное описание. Обзор реализаций.  API для работы с Hadoop (Native Java API vs. Streaming), примеры].
# Типы Join'ов и их реализации в парадигме MR. Паттерны проекттирования MR (pairs, stripes, составные ключи). PageRank в MR. Планировщик задач в YARN.
# [https://drive.google.com/file/d/1E_90b6GxA7wym3BB5RVsvBSS62bqjreh/view?usp=sharing Типы Join'ов и их реализации в парадигме MR. Паттерны проекттирования MR (pairs, stripes, составные ключи). PageRank в MR. Планировщик задач в YARN].
# SQL поверх BigData.
# [https://drive.google.com/drive/folders/151645JTf7yK3CjuQMn5SM2AlPHtYCPcY?usp=sharing SQL поверх BigData].


=== Практический трек (семинары) ===
== Практический трек (семинары) ==
# [https://gitlab.com/VeLKerr/pardistrib/blob/master/practice/01-hdfs.md Устройство Hadoop-кластера, HDFS CLI, Web API, внутреннее устройство HDFS].
# [https://gitlab.com/VeLKerr/pardistrib/blob/master/practice/01-hdfs.md Устройство Hadoop-кластера, HDFS CLI, Web API, внутреннее устройство HDFS].
# Hadoop Java API, Hadoop streaming API. Простейшая программа на MapReduce (подсчёт слов в тексте). Её модификации.
# [https://gitlab.com/VeLKerr/pardistrib/blob/master/practice/02-hadoop.md Hadoop streaming API. Простейшая программа на MapReduce (подсчёт слов в тексте). Её модификации. Инструменты отладки в MapReduce]
# Joins в MapReduce, инструменты отладки в MapReduce.
# [https://gitlab.com/VeLKerr/pardistrib/blob/master/practice/03-hadoop2.md Advanced HDFS shell. Hadoop Java API, Joins в MapReduce, Счётчики в MapReduce].
# Apache Hive. Язык HiveQL, его расширения (Hive Streaming, User defined functions).
# [https://gitlab.com/VeLKerr/pardistrib/blob/master/practice/04-Hive.md Apache Hive. Язык HiveQL, его расширения (Hive Streaming, User defined functions)].


== Параллельная часть ==
== P.S. ==
=== Преподаватели ===
Если имеются проблемы с доступами на какой-нибудь из сервисов, напишите [https://goo.gl/forms/r5TC8njYkjiY9X7X2 сюда].
 
= Параллельная часть =
== Преподаватели ==
Сальников Алексей Николаевич
Сальников Алексей Николаевич


=== Семинаристы ===
== Семинаристы ==
* Долуденко Алексей
* Долуденко Алексей
* Сальников Алексей Николаевич
* Сальников Алексей Николаевич
* Котельников Алексей
* Котельников Алексей
* Сурин Михаил  
* Сурин Михаил
 
* Ахтямов Павел
=== Теоретический трек (лекции) ===


=== Практический трек (семинары) ===
== Теоретический трек (лекции) ==


== P.S. ==
== Практический трек (семинары) ==
Если имеются проблемы с доступами на какой-нибудь из сервисов, напишите [https://goo.gl/forms/r5TC8njYkjiY9X7X2 сюда].

Текущая версия от 16:47, 21 января 2019

Общие сведения

Материалы занятий

Распределённая часть

Преподаватели

  • Модуль "Обработка больших данных":
    • Ивченко Олег,
    • Штохов Александр
  • Модуль "Отказоустойчивые распределенные системы":
    • Липовский Роман

Семинаристы

  • Долуденко Алексей
  • Ивченко Олег
  • Ахтямов Павел
  • Сурин Михаил

Теоретический трек (лекции)

  1. Распределённые файловые системы (GFS, HDFS). Её составляющие. Их достоинства, недостатки и сфера применения. Чтение и запись в HDFS. HDFS APIs: WebUI, shell, Java API.
  2. Парадигма MapReduce. Основная идея, формальное описание. Обзор реализаций. API для работы с Hadoop (Native Java API vs. Streaming), примеры.
  3. Типы Join'ов и их реализации в парадигме MR. Паттерны проекттирования MR (pairs, stripes, составные ключи). PageRank в MR. Планировщик задач в YARN.
  4. SQL поверх BigData.

Практический трек (семинары)

  1. Устройство Hadoop-кластера, HDFS CLI, Web API, внутреннее устройство HDFS.
  2. Hadoop streaming API. Простейшая программа на MapReduce (подсчёт слов в тексте). Её модификации. Инструменты отладки в MapReduce
  3. Advanced HDFS shell. Hadoop Java API, Joins в MapReduce, Счётчики в MapReduce.
  4. Apache Hive. Язык HiveQL, его расширения (Hive Streaming, User defined functions).

P.S.

Если имеются проблемы с доступами на какой-нибудь из сервисов, напишите сюда.

Параллельная часть

Преподаватели

Сальников Алексей Николаевич

Семинаристы

  • Долуденко Алексей
  • Сальников Алексей Николаевич
  • Котельников Алексей
  • Сурин Михаил
  • Ахтямов Павел

Теоретический трек (лекции)

Практический трек (семинары)

Источник — https://wiki.atp-fivt.org/index.php?title=Параллельные_и_распределённые_вычисления&oldid=60