Public ATP Wiki - Вклад участника [ru]

Параллельные и распределенные вычисления весна 2026

2026-03-25T12:09:28Z

Killerrati:

= Общие сведения =
* Семестр: 6 (третий курс)
* Форма контроля: диф. зачет
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vQEQcwHzAVnVfqwwIeJcnRK1_kmhUjvHAtDz9b9GK8rjIgaDjMvH4pXGHFtlJh32WYZJAlRyP-fjxDC/pubhtml?gid=397546993&single=true План лекций, семинаров,домашних работ, контрольных]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vQEQcwHzAVnVfqwwIeJcnRK1_kmhUjvHAtDz9b9GK8rjIgaDjMvH4pXGHFtlJh32WYZJAlRyP-fjxDC/pubhtml?gid=2040051800&single=true Таблица с оценками]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vQEQcwHzAVnVfqwwIeJcnRK1_kmhUjvHAtDz9b9GK8rjIgaDjMvH4pXGHFtlJh32WYZJAlRyP-fjxDC/pubhtml?gid=633420430&single=true Статус проверки домашних заданий]
* [https://docs.google.com/forms/d/e/1FAIpQLSdI3KAkUb6y-MLV3mH55kaoNoBUah7TL2tqyQu6FTHjDaLr9A/viewform?usp=preview Продление дедлайнов и дописывание КР]
* [https://studoko.atp-fivt.org/course/profile/pd-2026s Ссылка на Studoko курс]
* [https://t.me/+KHIM4QIa930yNGMy Телеграм-чат курса]

=== Материалы занятий ===
* [https://drive.google.com/drive/folders/132C2q7QfsV4nPJ_jjhKSqAo6ADO0gj-k Записи лекций]
* [https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/materials?ref_type=heads Конспекты семинаров]

== Домашние задания ==
Планируется 7+1 домашних заданий. Проверка включает 2 этапа:
# прохождение автоматических тестов (начиная с ДЗ по CUDA).
# code review при условии выполненного п.1. Исправления по code review можно делать в течение '''2 недель''' после 1-го комментария.

{| class="wikitable"
|-
! Название
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task1_mpi.md?ref_type=heads MPI]
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task2_cuda.md?ref_type=heads CUDA]
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task3_hdfs.md?ref_type=heads HDFS]
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task4_mapreduce.md?ref_type=heads Map-Reduce]
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task5_hive.md?ref_type=heads Hive]
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task6_spark.md?ref_type=heads Spark]
|}

* Штраф за опоздание каждый день -5%, до достижения -75% (15 дней)

Сдавать и исправлять домашки можно до конца зачётной недели

В случае болезни, справка продлевает дедлайн определённого дз ровно на число дней, которые она перекрывает в периоде данного дз. Период дз - между двумя дедлайнами

==== Сервера ====
* MPI & OpenMP: <pre>ssh <user>@185.81.248.52 -p 2236</pre>
* CUDA: <pre>ssh <user>@lorien.atp-fivt.org</pre>
* HDSF & AirFlow: <pre>ssh <user>@93.175.29.120 -p 10205</pre>

Сервисы Hadoop (доступны с территории кампуса. В иных случаях требуется пробрасывать порт):

{| class="wikitable"
|-
! Название
! Ссылка
! Проброс порта
|-
| MapReduce History Server || m-master.atp-fivt.org:19888/jobhistory || -L 19888:m-master.atp-fivt.org:19888
|-
| YARN ResourceManager || m-master.atp-fivt.org:8088/cluster/cluster || -L 8088:m-master.atp-fivt.org:8088
|-
| YARN Timeline Server || m-master.atp-fivt.org:8188/applicationhistory || -L 8188:m-master.atp-fivt.org:8188
|-
| HUE || m-client.atp-fivt.org:8000 || -L 8000:m-client.atp-fivt.org:8000
|-
| Hive || m-client.atp-fivt.org:8089 || -L 8089:m-client.atp-fivt.org:8089
|-
| HDFS NameNode || m-master.atp-fivt.org:9870 || -L 9870:m-master.atp-fivt.org:9870
|}

После проброса портов сервисы доступны по адресу ''localhost:port''

* В случае проблем с кластерами пишите на '''servers@atp-fivt.org'''

= Преподаватели =
* '''Руководитель курса'''
** Чернецкий Аркадий

* '''Лекторы'''
** Ивченко Олег
** Долуденко Алексей
** [[Участник:Ахтямов_Павел | Ахтямов Павел ]]
** Изабелла Затикян
** Леонид Меркин
** Вадим Опольский

* '''Семинаристы'''
** Чернецкий Аркадий
** Кочурова Ирина
** Дмитрий Павлов

* '''Учебные ассистенты'''
** Ховар Абдухоликзода
** Кочурова Ирина
** Дмитрий Николотов
** Лыгина Оксана
** Хабибулло Боймуродов

==== Контакт для организационных вопросов ====
Куратор курса [https://t.me/atpfpmi_curators @atpfpmi_curators]

= Критерии получения оценки =
Зачет выставляется по сумме баллов, полученных в течение семестра. Есть блокирующие группы домашек (хотя бы 0.5 по MPI+CUDA, и 2 по остальным. Дедлайны в этой сумме не учитываются)

== Мини-контрольные ==
Состоятся 3 теста. На контрольных нельзя пользоваться ничем и никем, кроме разрешённых смотрящими вещей. Код писать не потребуется.

{| class="wikitable"
|-
! Название
! Дата
! Длительность
|-
| HDFS & MapReduce || 20.04.2026 || 15 мин.
|-
| Hive || 04.05.2026 || 15 мин.
|-
| Spark, Zookeeper, Kafka, Cassandra || 18.05.2026 || 20 мин.
|}

= Литература =
=== MPI & OpenMP ===
# Антонов А.С. Технологии параллельного программирования MPI и OpenMP: Учеб. пособие. Предисл.: В.А.Садовничий. - М.: Издательство Московского университета, 2012.

=== CUDA ===
# Дж. Сандерс, Э. Кэррот. Технология CUDA в примерах и задачах, 2013 (рус).
# [http://courses.cms.caltech.edu/cs179/ Курс "GPU programming" в Caltech].
# [https://www.cs.bgu.ac.il/~graph161/wiki.files/09f-GPU%20-%20Scans.pdf Лекция по Scan курсе по комп. графике, Ben-Gurion university]
# [http://developer.download.nvidia.com/compute/cuda/1.1-Beta/x86_website/projects/scan/doc/scan.pdf Parallel Prefix Sum (Scan) with CUDA, Mark Harris, NVidia]
# Книги от Nvidia: [https://developer.nvidia.com/gpugems/gpugems/contributors GPU gems], [https://developer.nvidia.com/gpugems/gpugems2/inside-front-cover GPU gems 2], [https://developer.nvidia.com/gpugems/gpugems3/foreword GPU gems 3]. Особенно интересна глава 39 из [https://developer.nvidia.com/gpugems/gpugems3/part-vi-gpu-computing/chapter-39-parallel-prefix-sum-scan-cuda GPU Gems] про Scan.

=== HDFS ===
# [https://www.oreilly.com/library/view/hadoop-the-definitive/9781491901687/ T. White. "Hadoop. The definitive guide"], гл. 3 "Hadoop distributed filesystem". (есть русский перевод). 4е издание
# [https://storageconference.us/2010/Papers/MSST/Shvachko.pdf Статья про архитектуру HDFS от Константина Швачко (Yahoo!)]
# [http://www.blogjava.net/DLevin/archive/2015/01/25/422428.html Статья про архитектуру HDFS в блоге HortonWorks (Китайская копия :))]
# [http://blog.madhukaraphatak.com/secondary-namenode---what-it-really-do/ Что в действительности делает SNN]
# [https://nancyyanyu.github.io/posts/49a14c15/ Выдержка из курсов Яндекс про HDFS]

Базы данных весна 2025

2026-03-20T15:49:28Z

Killerrati:

== Общий сведения ==
* Семестр: 4 (2 курс), 2 (1 курс), 6 (3 курс)
* Форма контроля: Дифференцированный зачёт
* 15 недель, Семестр с 01.02 по 16.05

* [https://docs.google.com/document/d/1KJVumOF6nXr8UXpCV0qozQrR-SFw7o4I/edit?usp=sharing&ouid=114577160067925802179&rtpof=true&sd=true Вводная информация]

* [https://docs.google.com/spreadsheets/d/1gZ6Y0uQi5Y6dDWmRREUFP6dTyppyRjquH5qNKLt8iuk/edit?gid=1942469843#gid=1942469843 Ведомость]

* [https://gitlab.atp-fivt.org/courses-public/db-supplementary Гитлаб]

== Общие правила ==

Сдача любого контрольного мероприятия после дедлайна не предусмотрена. Сдача любого контрольного мероприятия имеет жесткий дедлайн.

Продление дедлайнов возможно только по уважительной причине (всеобщие университетские или факультетские мероприятия или болезнь):

1) При болезне дедлайн продлевается на дни болезни

2) При университетских мероприятиях - рассматриваются в инд порядке.

О пропусках нужно **обязательно** предупредить заранее.

Продление дедлайнов по уважительным причинам происходит в инд. порядке (Для этого нужно в рамках указанных сроков (не позже 5 дней после окончания действия справки) написать письмо на почту семинариста, указать рук. курса в копию. В теле письма нужно написать мероприятие по которому хотите продлить дедлайн и указать причину + приложить подтверждающий документ).

Мы считаем, что после 1го марта во всех группах была рассказана основная информация для работы над проектом.

Все дедлайны: указанный день 23-59, если не оговорено другое.

''' Гитлаб аккаунт АТП '''

Что нужно сделать:

1) Зарегистрироваться на курс

2) Если у Вас возникли проблемы, заполнить форму "проблемы на курсе"

Процес:

После заполнения анкеты, Ваши данные отправляются администраторам АТП, Они создают под вашу физтех почту аккаунт. На эту почту Вам должно прийтиписьмо с ссылкой для восстановления доступа, а также вы увидите свой ник от акаунта в ведомости.Ссылка действительна в течение 2-ух дней не пропустите ее.

Обратите внимание:

1) Проверьте спам

2) Если у вас в ведомости есть ник от акаунта - сбросьте пароль на гитлабе ( через физтех почту, указанную в ведомости)

''' Как подготовиться к курсу и настроить окружение, ПО '''

Смотрите тьюториалы согласно Вашей ПО [https://docs.google.com/document/d/1KJVumOF6nXr8UXpCV0qozQrR-SFw7o4I/edit?usp=sharing&ouid=114577160067925802179&rtpof=true&sd=true раздел Установка ПО]

== Правила для внешних студентов ==

Если Вы внешний студент, у Вас есть 2 опции: Вольный слушатель и официальный студент.

''' Вольный слушатель'''

Вольный слушатель - Вы можете посещать лекции, семинары, сдавать контрольные мероприятия, но оценка за курс не пойдет в диплом, на Вас не будет сформирована ведомость.

Как стать вольным слушателем:

1) Посмотрите расписание

2) Выберете семинаристку(та), к которой(му) хотите ходить - свяжитесь с ними по почте или телеграмм. Если они не против - начинайте ходить на пары и получать знания.

3) Попросите Ваших семинаристов или ассистентов - отметить в общей ведомости, что Вы вольный слушатель.

'''Официальный студент'''

1) Напишите на кафедру АТП + свою кафедру и попросите внести курс по БД в Ваш учебный план

2) Уточните у них будет ли сформированна ведомость на Вас в конце семестра (на конкретных семинаристов)

== Как сменить учебную группу по курсу БД? ==

1) Напишите директору курса (тг или почта) с описанием причины, почему Вам нужно ходить в группу не по Вашему расписанию (не забудьте представиться)

2) После одобрения от директора, напишите семинаристке(ку) к кому хотите перейти, ис просите разрешения

* Если Вы получили отказ в пунктах 1-2, поменять группу нельзя

3) Уведомите старого семинариста, что переходите в другу группу

* Убедитесь, что в ведомости у вас отмечен переход

Изучите информациб от кафедры АТП [http://wiki.atp-fivt.org/index.php/%D0%9F%D1%80%D0%BE_%D0%B8%D0%BD%D0%B4%D0%B8%D0%B2%D0%B8%D0%B4%D1%83%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D0%B5_%D0%BF%D0%BB%D0%B0%D0%BD%D1%8B_2025]

== Из чего состоит курс ==

* Лекции и семинары расписание можно посмотреть на гитлабе
* (Блокирующий) КР - контрольные работы (практические задания + немного теории)
* ДЗ (практические задания)
* (Блокирующий) 1 отчетный - проект
* Дифф. Зачет в конце семестра

''' План курса'''

1. Занятие №1
* Рел. алгебра
* Архитектура СУБД (схема, таблица и тд)
* Общая структура SELECT-запроса и Порядок выполнения запроса
* Unioun и Union all
* Обработка NULL, NaN и функционал greatest, least
* Работа с разными типами данных (время и дата, текстовые форматы, логические данные)

2. Занятие №2
* Джойны
* Ключи
* Полезные функции, в том числе If-ELSE, CASE ветвления
* Запросы с условиями и группировками"
* Проектирование
* Версионирование (SCD)
* НФ

3. Занятие №3
* Сложные запросы (WITH, целостность, полезные функции)
* Подзапросы (связанные, несвязанные, скалярные)
* Предикаты"
* Оконные функции

4. Занятие №4
* CTE
* Рекурсивные запросы

5. Занятие №5
* Представления (VIEW)

6. Занятие №6
* Хранимые функции
* Процедуры
* Триггеры
* Интеграция с другими ЯП

7. Занятие №7
* Индексы
* Интеграция с другими ЯП

8. Занятие №8
* Кликхаус
* Диалекты скл
* Оптимизация запросов"

== Формула оценки ==

Максимальная оценка за курс может быть больше 10 - в ведомость ставится 10

Максимальная сумма баллов за контрольные мероприятия :

* КР - 2
* ДЗ - 1
* ПРОЕКТ - 5
* ЗАЧЕТ - 2
* БОНУС - 1

== КР ==

КР проводятся ОЧНО на во время лекции, пишется на листочках.

За семестр планируется 2 КР.

Оценки за КР выставляются примерно за 2 недели.

Пропуск по неуважительной причине = 0б. Любые заминки на стороне студента, которые могут привести к “отправке или сдаче” работы после дедлайна и не дают права на повторное написание КР.

В сумме за все КР '''НЕОБХОДИМО''' набрать от 50%. (То есть если максимальный бал за КР = 2, то в сумме за 2 КР надо набрать '''хотя бы''' 1б для получения зачета)

Коллективная работа над КР может привести к обнулению баллов.

'''Даты проведения КР'''
{| class="wikitable"
|-
! КР №
! Дата
! Стоимость
|-
|1 || 1 марта || 0.8
|-
|2 || 26 апреля || 1.2
|-
|}

'''Распределение для КР №1'''

1. КР пишется в 2 потока (по времени) и в 2-ух аудиториях параллельно.

2. КР пишется строго не более 40 мин.

3. Приходить на КР нужно соответственно ФАКТИЧЕСКОЙ группе из ведомости, даже если Вы вольный слушатель.

4. Приходите за 3-5 минут до начала ВАШЕГО потока.

{| class="wikitable"
|-
! Семинарист(ка)
! Группа
! Ауд
! Время (начала)
|-
|Белков|| 403|| б.Хим|| 9-00
|-
|Белков|| 312|| Цифра Поточка|| 9-00
|-
|Бобоев|| 305|| б.Хим|| 9-00
|-
|Бобоев|| 306|| Цифра Поточка|| 9-00
|-
|Будажапов|| 402|| б.Хим|| 9-00
|-
|Викентьев|| 303|| б.Хим|| 9-00
|-
|Викентьев|| 404|| Цифра Поточка|| 9-00
|-
|Викентьев|| 304|| б.Хим|| 9-00
|-
|Викентьев|| 408|| Цифра Поточка|| 9-00
|-
|Викентьев|| 304|| б.Хим|| 9-00
|-
|Голуб|| 406|| б.Хим|| 9-00
|-
|Ермошин || 251|| б.Хим|| 9-00
|-
|Ермошин || 405|| Цифра Поточка|| 9-00
|-
|Кожанов|| 311|| б.Хим|| 9-00
|-
|Кожанов|| 407|| Цифра Поточка|| 9-00
|-
|Лушко|| 301|| б.Хим ||9-00
|-
|Лушко|| 302|| Цифра Поточка|| 9-45
|-
|Муромцев|| 409|| б.Хим|| 9-45
|-
|Новиков|| 322|| Цифра Поточка|| 9-45
|-
|Новиков|| 323|| б.Хим|| 9-45
|-
|Новиков|| 320|| Цифра Поточка|| 9-45
|-
|Новиков|| 321|| б.Хим|| 9-45
|-
|Павлов|| 307|| Цифра Поточка|| 9-45
|-
|Павлов ||231|| б.Хим|| 9-45
|-
|Павлов ||308|| б.Хим|| 9-45
|-
|Павлов ||232|| Цифра Поточка ||9-45
|-
|Смолкина ||327|| б.Хим|| 9-45
|-
|Смолкина ||351|| б.Хим|| 9-45
|-
|Смолкина|| 328|| б.Хим|| 9-45
|-
|Смолкина|| 352|| б.Хим ||9-45
|-
|Смолкина|| 312|| б.Хим|| 9-45
|-
|Ткачик || 252|| Цифра Поточка|| 9-45
|-
|Ткачик || 253|| Цифра Поточка ||9-45
|-
|Якушева|| 325|| Цифра Поточка ||9-45
|-
|Якушева|| 326|| Цифра Поточка ||9-45
|-
|}

'''Распределение для КР №2 '''

{| class="wikitable"
|-
! Семинарист(ка)
! Группа
! Ауд
! Время (начала)
! Время окончания
|-
|Белков|| 403|| Цифра Поточка|| 9-00|| 9-30
|-
|Белков|| 312|| Цифра Поточка|| 9-00|| 9-30
|-
|Бобоев|| 305|| Цифра Поточка|| 9-00|| 9-30
|-
|Бобоев|| 306|| Цифра Поточка|| 9-00|| 9-30
|-
|Будажапов|| 402|| Цифра Поточка|| 9-00|| 9-30
|-
|Викентьев|| 303|| б.Хим || 9-00|| 9-30
|-
|Викентьев|| 304|| б.Хим. || 9-00|| 9-30
|-
|Викентьев|| 304|| б.Хим. || 9-00|| 9-30
|-
|Викентьев|| 404|| б.Хим. || 9-00|| 9-30
|-
|Викентьев|| 408|| б.Хим. || 9-00|| 9-30
|-
|Голуб|| 406|| Цифра Поточка|| 9-00|| 9-30
|-
|Ермошин|| 251|| б.Хим. || 9-00|| 9-30
|-
|Ермошин || 405|| б.Хим. || 9-00|| 9-30
|-
|Кожанов|| 311|| б.Хим || 9-00|| 9-30
|-
|Кожанов|| 407|| б.Хим || 9-00|| 9-30
|-
|Лушко || 301|| б.Хим || 9-00|| 9-30
|-
|Лушко || 302|| б.Хим || 9-00|| 9-30
|-
|Муромцев|| 409|| б.Хим || 9-00|| 9-30
|-
|Новиков|| 323|| Цифра Поточка|| 9-45|| 10-15
|-
|Новиков|| 321|| Цифра Поточка|| 9-45|| 10-15
|-
|Новиков|| 322|| Цифра Поточка|| 9-45|| 10-15
|-
|Новиков|| 320|| Цифра Поточка|| 9-45|| 10-15
|-
|Павлов || 231|| б.Хим|| 9-45|| 10-15
|-
|Павлов|| 308|| б.Хим|| 9-45|| 10-15
|-
|Павлов|| 307|| б.Хим|| 9-45|| 10-15
|-
|Павлов|| 232|| б.Хим|| 9-45|| 10-15
|-
|Смолкина|| 327|| б.Хим|| 9-45|| 10-15
|-
|Смолкина|| 351|| б.Хим|| 9-45|| 10-15
|-
|Смолкина|| 328|| б.Хим|| 9-45|| 10-15
|-
|Смолкина|| 352|| б.Хим|| 9-45|| 10-15
|-
|Смолкина|| 312|| б.Хим|| 9-45|| 10-15
|-
|Ткачик|| 252|| Цифра Поточка|| 9-45|| 10-15
|-
|Ткачик|| 253|| Цифра Поточка|| 9-45|| 10-15
|-
|Якушева|| 325|| Цифра Поточка|| 9-45|| 10-15
|-
|Якушева|| 326|| Цифра Поточка|| 9-45|| 10-15
|-
|}

== ДЗ ==

Выполнять ДЗ можно с момента публикации. Гитлаб репозиторрии создаются (если у Вас их не было) после регистрации на курсе.

'''Как правильно сдавать задание'''

Для сдачи задач использовать выданные вам gitlab-репозитории.

1. Суть дз — написать SQL-скрипт по мотивам задачи.

2. Скрипты сохраняем в корне репозитория.

3. Имя файла с решением формируется из имени ветки: <ИМЯ ВЕТКИ>.sql (создайте его самостоятельно).

4. Каждая ветка — это отдельное решение. Имя ветки: hw<НОМЕР ДЗ>task<НОМЕР ЗАДАЧИ>. Для каждого ДЗ будет создан отдельный репозиторий.

5. На защите ДЗ Вас попросят продемонстрировать работу всех скриптов и решить 1 -2 задание или похожие задачи.

'''Условия ДЗ'''
Также выложены в формате MD на гитлаб

HW 1 - https://drive.google.com/drive/folders/1OYg71tXxKQ0hYbIITY0f1Cj5aZtVqEbR?usp=sharing

HW 2 - https://drive.google.com/drive/folders/1n9hQF-rMfr6QD4imS7I_X-G-X8lSgnJd?usp=sharing

HW 3 - https://drive.google.com/drive/folders/1riyye6rRBH_t7uVjnhdgzgOAh7MK-UTA?usp=sharing

HW 4 - https://drive.google.com/drive/folders/1eGn7Yotnfz256uv9nTON0GMdDKyOzoGW?usp=sharing

HW 5 - https://drive.google.com/drive/folders/1Kk7mfKskQQHYiH2PXZHR9N9eDVdZTI8u?usp=sharing

Исходные данные (sql) - https://drive.google.com/drive/folders/1M5XvYuNUAhll_nPitrVatJKhPIFlzxx5?usp=drive_link

Исходные данные - https://drive.google.com/drive/folders/1bdwD7k7U_hk__pcahcYnHE0N9b8QKe6v?usp=sharing

'''Дедлайны по ДЗ:'''

ДЗ 1 - 01.03.2025

ДЗ 2 - 14.03.2025

ДЗ 3 - 14.04.2025

ДЗ 4 - 30.04.2025

ДЗ 5 - 10.05.2025

Защита каждого ДЗ производится 1 раз, при неудачной защите, баллы за текущее ДЗ (все задачи) обнуляются.
Дедлайн по защите ДЗ всегда 2 недели от дедлайна отправки (или До зачетной недели, если дата дедлайна по общему правилу попадает позже), например для ДЗ№1 это 14.03.2025. Обратите внимание, что в 2 недели отведенные на защиту, также могут попадать праздники и выходные, они не влияют на продление.

'''Организационные моменты'''
{| class="wikitable"
|-
! ДЗ №
! Балл от итоговой оценки
! Темы
|-
|1 || 0.2 || Простые запросы
|-
|2 || 0.2 || Агрегации, группировки, соединения, подзапросы
|-
|3 || 0.2 || Оконные функции
|-
|4 || 0.2 || CTE, Views
|-
|5 || 0.2 || Functions, Stored Procedures, Triggers
|}

== Курсовой проект ==

Важно! Всю информацию, итерации сдачи/защиты курсового проекта можно найти [https://docs.google.com/document/d/1KJVumOF6nXr8UXpCV0qozQrR-SFw7o4I в разделе Проект].
Обратите внимание на примеры оформления.

[https://drive.google.com/drive/folders/1lCZIeHXCFy6YEmNcIe7hKTtXmCr50FNn?usp=sharing Примеры хорошо оформленных интеграций по проекту ]

'''Обязательно:'''

После получения предварительной оценки за итерацию (и после защиты), необходимо загрузить материалы данной итерации на гитлаб.
В комментариях надо указать :

1. Группу,

2. Итерацию,

3. Поставленную оценку,

4. Комментарии семинариста/ассистента (если есть) и кто это принял.

'''ДЕДЛАЙНЫ'''

Все пункты должны быть сданы и утверждены до дедлайна. При сдаче в последние дни перед дедлайном или в день дедлайна, если что-то требует доработки, то этот пункт не засчитывается

Рекомендация (не обязательно, но логично): выполнять и сдавать пункты №1 и №2 вместе, №3 и №4 вместе, №5 и №6 вместе

'''Обязательная часть (итерации 1-7)''' - 30.03

'''Дополнительная часть''' - 15.05

== Зачет ==
Проведение зачета может быть совмещено с защитой проектов, но оцениваются они отдельно.

Рекомендуемый формат зачета:

1) ответ на вопросы (программа семинаров и лекций)

2) решение задачи из билета (задачи похожие на итерации проекта или ДЗ или КР)

3) ответ или решение дополнительных заданий (входит в итоговую оценку)

Точный формат проведения, дату уточняйте у семинаристов.

== Команда курса ==
'''Директор курса''': Смолкина Юлия Александровна

Почта: smolkina.iua@phystech.edu

'''Команда курса''':
{| class="wikitable"
|-
! Фамилия
! Имя
! Позиция
! ТГ
|-
|Аллаберенов ||Керим || Ассистент|| @allaberenov_k
|-
|Абдухоликзода||Ховар || Ассистент|| @howardabd
|-
|Чечеткин ||Александр || Ассистент|| @snakemanysss
|-
|Ахмедов ||Амонуллохон|| Ассистент|| @isfarinski
|-
|Багрянов ||Владислав || Ассистент|| @vlad_bg
|-
|Байстрюченко ||Дмитрий ||Ассистент|| @LuciremD
|-
|Басылбеков ||Исабек ||Ассистент|| @isabek03
|-
|Бикещенко ||Анастасия ||Ассистент|| @anastasia_bikes
|-
|Богданов ||Азат ||Ассистент|| @meganiger
|-
|Булгаков ||Георгий ||Ассистент|| @gbulgakov
|-
|Герасимова ||Александра ||Ассистент|| @Alexia_Kady
|-
|Гулямов ||Рахим ||Ассистент|| @rahimgulyamov
|-
|Дементьев ||Сергей ||Ассистент|| @sdementev33
|-
|Зайнуллин ||Валерий ||Ассистент|| @valeriy_zainullin
|-
|Ильин ||Иван ||Ассистент|| @evfrpol
|-
|Каныбеков ||Канатбек ||Ассистент|| @getylman666
|-
|Кмито ||Глеб ||Ассистент|| @sasamb4ik
|-
|Кулешова ||Анастасия ||Ассистент|| @stasiacool
|-
|Мирзоев ||Асрорхон ||Ассистент|| @alliseeisgoal
|-
|Морочковский ||Владислав ||Ассистент|| @what_is_10vee
|-
|Мостовых ||Егор ||Ассистент|| @Mostovykh
|-
|Нам ||Илья ||Ассистент|| @NIYrevich
|-
|Новикова ||Варвара ||Ассистент|| @pipipapyyy
|-
|Обжерин ||Евсей ||Ассистент|| @Ewseymath
|-
|Парамонова ||Анастасия ||Ассистент|| @witchernastia
|-
|Петросян ||Вера ||Ассистент|| @veerrkka
|-
|Поляков ||Геннадий ||Ассистент|| @nullziro
|-
|Попов ||Александр ||Ассистент|| @apopovprodby
|-
|Руденко ||Даниил ||Ассистент|| @RuDanechka4
|-
|Сазанович ||Михаил ||Ассистент|| @Sazan1209
|-
|Собол ||Жан ||Ассистент||
|-
|Хусрабов ||Рустам ||Ассистент|| @khusrabov
|-
|Ядров ||Платон ||Ассистент|| @Platonrylit
|-
|Андреева|| Камилла ||Ассистент|| @msnkch
|-
|Курбанбай|| Куаныш ||Ассистент|| @haoydkqlsboql
|-
|Масленникова || София ||Ассистент|| @So_haku
|-
|Белков|| Иван ||Семинарист|| @Belkovanya
|-
|Бобоев|| Муродали ||Семинарист|| @boboevm003
|-
|Будажапов|| Марат ||Семинарист|| @budddma
|-
|Викентьев|| Михаил ||Семинарист|| @maelkaard
|-
|Голуб|| Алла ||Семинарист|| @Golub_Alla
|-
|Ермошин || Михаил ||Семинарист|| @m_erMachine
|-
|Кожанов|| Глеб ||Семинарист|| @int_main_int
|-
|Лушко|| Есения ||Семинарист|| @Cocoroko
|-
|Новиков ||Иван ||Семинарист|| @novikov_ie
|-
|Павлов ||Михаил ||Семинарист|| @mikipaw
|-
|Смолкина|| Юлия ||Семинарист|| @malayataglit
|-
|Ткачик || Андрей ||Семинарист|| @sfzxcboy
|-
|Якушева ||София ||Семинарист|| @stager108
|-
|Муромцев|| Илья ||Семинарист|| @murrromcev
|-

|-
|}

''' Полезные дополнительные материалы'''

https://www.youtube.com/watch?v=DJJEr6IaW1Y&list=PL4_hYwCyhAva6-f-YxobKju-6ltmn-jNC

Параллельные и распределенные вычисления весна 2026

2026-02-03T23:02:50Z

Killerrati:

= Общие сведения =
* Семестр: 6 (третий курс)
* Форма контроля: диф. зачет
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vQEQcwHzAVnVfqwwIeJcnRK1_kmhUjvHAtDz9b9GK8rjIgaDjMvH4pXGHFtlJh32WYZJAlRyP-fjxDC/pubhtml?gid=397546993&single=true План лекций, семинаров,домашних работ, контрольных]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vQEQcwHzAVnVfqwwIeJcnRK1_kmhUjvHAtDz9b9GK8rjIgaDjMvH4pXGHFtlJh32WYZJAlRyP-fjxDC/pubhtml?gid=2040051800&single=true Таблица с оценками]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vQEQcwHzAVnVfqwwIeJcnRK1_kmhUjvHAtDz9b9GK8rjIgaDjMvH4pXGHFtlJh32WYZJAlRyP-fjxDC/pubhtml?gid=633420430&single=true Статус проверки домашних заданий]
* [https://docs.google.com/forms/d/e/1FAIpQLSdI3KAkUb6y-MLV3mH55kaoNoBUah7TL2tqyQu6FTHjDaLr9A/viewform?usp=preview Продление дедлайнов и дописывание КР]
* [https://studoko.atp-fivt.org/course/profile/pd-2026s Ссылка на Studoko курс]
* [https://t.me/+KHIM4QIa930yNGMy Телеграм-чат курса]

=== Материалы занятий ===
* [https://drive.google.com/drive/folders/132C2q7QfsV4nPJ_jjhKSqAo6ADO0gj-k Записи лекций]
* [https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/materials?ref_type=heads Конспекты семинаров]

== Домашние задания ==
Планируется 7+1 домашних заданий. Проверка включает 2 этапа:
# прохождение автоматических тестов (начиная с ДЗ по CUDA).
# code review при условии выполненного п.1. Исправления по code review можно делать в течение '''2 недель''' после 1-го комментария.

{| class="wikitable"
|-
! Название
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task1_mpi.md?ref_type=heads MPI]
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task2_cuda.md?ref_type=heads CUDA]
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task3_hdfs.md?ref_type=heads HDFS]
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task4_mapreduce.md?ref_type=heads Map-Reduce]
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task5_hive.md?ref_type=heads Hive]
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task6_spark.md?ref_type=heads Spark]
|}

* Штраф за опоздание каждый день -5%, до достижения -75% (15 дней)

Сдавать и исправлять домашки можно до конца зачётной недели

В случае болезни, справка продлевает дедлайн определённого дз ровно на число дней, которые она перекрывает в периоде данного дз. Период дз - между двумя дедлайнами

==== Сервера ====
* MPI & OpenMP: <pre>ssh <user>@185.81.248.52 -p 2222</pre>
* CUDA: <pre>ssh <user>@lorien.atp-fivt.org</pre>

* В случае проблем с кластерами пишите на '''servers@atp-fivt.org'''

= Преподаватели =
* '''Руководитель курса'''
** Чернецкий Аркадий

* '''Лекторы'''
** Ивченко Олег
** Долуденко Алексей
** [[Участник:Ахтямов_Павел | Ахтямов Павел ]]
** Изабелла Затикян
** Леонид Меркин
** Вадим Опольский

* '''Семинаристы'''
** Чернецкий Аркадий
** Кочурова Ирина
** Дмитрий Павлов

* '''Учебные ассистенты'''
** Ховар Абдухоликзода
** Кочурова Ирина
** Дмитрий Николотов
** Лыгина Оксана
** Хабибулло Боймуродов

==== Контакт для организационных вопросов ====
Куратор курса [https://t.me/atpfpmi_curators @atpfpmi_curators]

= Критерии получения оценки =
Зачет выставляется по сумме баллов, полученных в течение семестра. Есть блокирующие группы домашек (хотя бы 0.5 по MPI+CUDA, и 2 по остальным. Дедлайны в этой сумме не учитываются)

== Мини-контрольные ==
Состоятся 3 теста. На контрольных нельзя пользоваться ничем и никем, кроме разрешённых смотрящими вещей. Код писать не потребуется.

{| class="wikitable"
|-
! Название
! Дата
! Длительность
|-
| HDFS & MapReduce || 20.04.2026 || 15 мин.
|-
| Hive || 04.05.2026 || 15 мин.
|-
| Spark, Zookeeper, Kafka, Cassandra || 18.05.2026 || 20 мин.
|}

= Литература =
=== MPI & OpenMP ===
# Антонов А.С. Технологии параллельного программирования MPI и OpenMP: Учеб. пособие. Предисл.: В.А.Садовничий. - М.: Издательство Московского университета, 2012.

=== CUDA ===
# Дж. Сандерс, Э. Кэррот. Технология CUDA в примерах и задачах, 2013 (рус).
# [http://courses.cms.caltech.edu/cs179/ Курс "GPU programming" в Caltech].
# [https://www.cs.bgu.ac.il/~graph161/wiki.files/09f-GPU%20-%20Scans.pdf Лекция по Scan курсе по комп. графике, Ben-Gurion university]
# [http://developer.download.nvidia.com/compute/cuda/1.1-Beta/x86_website/projects/scan/doc/scan.pdf Parallel Prefix Sum (Scan) with CUDA, Mark Harris, NVidia]
# Книги от Nvidia: [https://developer.nvidia.com/gpugems/gpugems/contributors GPU gems], [https://developer.nvidia.com/gpugems/gpugems2/inside-front-cover GPU gems 2], [https://developer.nvidia.com/gpugems/gpugems3/foreword GPU gems 3]. Особенно интересна глава 39 из [https://developer.nvidia.com/gpugems/gpugems3/part-vi-gpu-computing/chapter-39-parallel-prefix-sum-scan-cuda GPU Gems] про Scan.

=== HDFS ===
# [https://www.oreilly.com/library/view/hadoop-the-definitive/9781491901687/ T. White. "Hadoop. The definitive guide"], гл. 3 "Hadoop distributed filesystem". (есть русский перевод). 4е издание
# [https://storageconference.us/2010/Papers/MSST/Shvachko.pdf Статья про архитектуру HDFS от Константина Швачко (Yahoo!)]
# [http://www.blogjava.net/DLevin/archive/2015/01/25/422428.html Статья про архитектуру HDFS в блоге HortonWorks (Китайская копия :))]
# [http://blog.madhukaraphatak.com/secondary-namenode---what-it-really-do/ Что в действительности делает SNN]
# [https://nancyyanyu.github.io/posts/49a14c15/ Выдержка из курсов Яндекс про HDFS]

Параллельные и распределенные вычисления весна 2026

2026-02-01T22:24:22Z

Killerrati:

= Общие сведения =
* Семестр: 6 (третий курс)
* Форма контроля: диф. зачет
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vQEQcwHzAVnVfqwwIeJcnRK1_kmhUjvHAtDz9b9GK8rjIgaDjMvH4pXGHFtlJh32WYZJAlRyP-fjxDC/pubhtml?gid=397546993&single=true План лекций, семинаров,домашних работ, контрольных]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vQEQcwHzAVnVfqwwIeJcnRK1_kmhUjvHAtDz9b9GK8rjIgaDjMvH4pXGHFtlJh32WYZJAlRyP-fjxDC/pubhtml?gid=2040051800&single=true Таблица с оценками]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vQEQcwHzAVnVfqwwIeJcnRK1_kmhUjvHAtDz9b9GK8rjIgaDjMvH4pXGHFtlJh32WYZJAlRyP-fjxDC/pubhtml?gid=633420430&single=true Статус проверки домашних заданий]
* [https://docs.google.com/forms/d/e/1FAIpQLSdI3KAkUb6y-MLV3mH55kaoNoBUah7TL2tqyQu6FTHjDaLr9A/viewform?usp=preview Продление дедлайнов и дописывание КР]
* [https://t.me/+KHIM4QIa930yNGMy Телеграм-чат курса]

=== Материалы занятий ===
* [https://drive.google.com/drive/folders/132C2q7QfsV4nPJ_jjhKSqAo6ADO0gj-k Записи лекций]
* [https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/materials?ref_type=heads Конспекты семинаров]

== Домашние задания ==
Планируется 7+1 домашних заданий. Проверка включает 2 этапа:
# прохождение автоматических тестов (начиная с ДЗ по CUDA).
# code review при условии выполненного п.1. Исправления по code review можно делать в течение '''2 недель''' после 1-го комментария.

{| class="wikitable"
|-
! Название
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task1_mpi.md?ref_type=heads MPI]
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task2_cuda.md?ref_type=heads CUDA]
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task3_hdfs.md?ref_type=heads HDFS]
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task4_mapreduce.md?ref_type=heads Map-Reduce]
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task5_hive.md?ref_type=heads Hive]
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task6_spark.md?ref_type=heads Spark]
|}

* Штраф за опоздание каждый день -5%, до достижения -75% (15 дней)

Сдавать и исправлять домашки можно до конца зачётной недели

В случае болезни, справка продлевает дедлайн определённого дз ровно на число дней, которые она перекрывает в периоде данного дз. Период дз - между двумя дедлайнами

==== Сервера ====
* MPI & OpenMP: <pre>ssh <user>@185.81.248.52 -p 2222</pre>
* CUDA: <pre>ssh <user>@lorien.atp-fivt.org</pre>

* В случае проблем с кластерами пишите на '''servers@atp-fivt.org'''

= Преподаватели =
* '''Руководитель курса'''
** Чернецкий Аркадий

* '''Лекторы'''
** Ивченко Олег
** Долуденко Алексей
** [[Участник:Ахтямов_Павел | Ахтямов Павел ]]
** Изабелла Затикян
** Леонид Меркин
** Вадим Опольский

* '''Семинаристы'''
** Чернецкий Аркадий
** Кочурова Ирина
** Дмитрий Павлов

* '''Учебные ассистенты'''
** Ховар Абдухоликзода
** Кочурова Ирина
** Дмитрий Николотов
** Лыгина Оксана
** Хабибулло Боймуродов

==== Контакт для организационных вопросов ====
Куратор курса [https://t.me/atpfpmi_curators @atpfpmi_curators]

= Критерии получения оценки =
Зачет выставляется по сумме баллов, полученных в течение семестра. Есть блокирующие группы домашек (хотя бы 0.5 по MPI+CUDA, и 2 по остальным. Дедлайны в этой сумме не учитываются)

== Мини-контрольные ==
Состоятся 3 теста. На контрольных нельзя пользоваться ничем и никем, кроме разрешённых смотрящими вещей. Код писать не потребуется.

{| class="wikitable"
|-
! Название
! Дата
! Длительность
|-
| HDFS & MapReduce || 20.04.2026 || 15 мин.
|-
| Hive || 04.05.2026 || 15 мин.
|-
| Spark, Zookeeper, Kafka, Cassandra || 18.05.2026 || 20 мин.
|}

= Литература =
=== MPI & OpenMP ===
# Антонов А.С. Технологии параллельного программирования MPI и OpenMP: Учеб. пособие. Предисл.: В.А.Садовничий. - М.: Издательство Московского университета, 2012.

=== CUDA ===
# Дж. Сандерс, Э. Кэррот. Технология CUDA в примерах и задачах, 2013 (рус).
# [http://courses.cms.caltech.edu/cs179/ Курс "GPU programming" в Caltech].
# [https://www.cs.bgu.ac.il/~graph161/wiki.files/09f-GPU%20-%20Scans.pdf Лекция по Scan курсе по комп. графике, Ben-Gurion university]
# [http://developer.download.nvidia.com/compute/cuda/1.1-Beta/x86_website/projects/scan/doc/scan.pdf Parallel Prefix Sum (Scan) with CUDA, Mark Harris, NVidia]
# Книги от Nvidia: [https://developer.nvidia.com/gpugems/gpugems/contributors GPU gems], [https://developer.nvidia.com/gpugems/gpugems2/inside-front-cover GPU gems 2], [https://developer.nvidia.com/gpugems/gpugems3/foreword GPU gems 3]. Особенно интересна глава 39 из [https://developer.nvidia.com/gpugems/gpugems3/part-vi-gpu-computing/chapter-39-parallel-prefix-sum-scan-cuda GPU Gems] про Scan.

=== HDFS ===
# [https://www.oreilly.com/library/view/hadoop-the-definitive/9781491901687/ T. White. "Hadoop. The definitive guide"], гл. 3 "Hadoop distributed filesystem". (есть русский перевод). 4е издание
# [https://storageconference.us/2010/Papers/MSST/Shvachko.pdf Статья про архитектуру HDFS от Константина Швачко (Yahoo!)]
# [http://www.blogjava.net/DLevin/archive/2015/01/25/422428.html Статья про архитектуру HDFS в блоге HortonWorks (Китайская копия :))]
# [http://blog.madhukaraphatak.com/secondary-namenode---what-it-really-do/ Что в действительности делает SNN]
# [https://nancyyanyu.github.io/posts/49a14c15/ Выдержка из курсов Яндекс про HDFS]

Параллельные и распределенные вычисления весна 2026

2026-01-25T22:53:04Z

Killerrati: Новая страница: «= Общие сведения = * Семестр: 6 (третий курс) * Форма контроля: диф. зачет * [https://docs.google.com/spreadshe…»

= Общие сведения =
* Семестр: 6 (третий курс)
* Форма контроля: диф. зачет
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vQEQcwHzAVnVfqwwIeJcnRK1_kmhUjvHAtDz9b9GK8rjIgaDjMvH4pXGHFtlJh32WYZJAlRyP-fjxDC/pubhtml?gid=397546993&single=true План лекций, семинаров,домашних работ, контрольных]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vQEQcwHzAVnVfqwwIeJcnRK1_kmhUjvHAtDz9b9GK8rjIgaDjMvH4pXGHFtlJh32WYZJAlRyP-fjxDC/pubhtml?gid=2040051800&single=true Таблица с оценками]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vQEQcwHzAVnVfqwwIeJcnRK1_kmhUjvHAtDz9b9GK8rjIgaDjMvH4pXGHFtlJh32WYZJAlRyP-fjxDC/pubhtml?gid=633420430&single=true Статус проверки домашних заданий]
* [https://docs.google.com/forms/d/e/1FAIpQLSdI3KAkUb6y-MLV3mH55kaoNoBUah7TL2tqyQu6FTHjDaLr9A/viewform?usp=preview Продление дедлайнов и дописывание КР]
* [Soon Телеграм-чат курса]

=== Материалы занятий ===
* [https://drive.google.com/drive/folders/132C2q7QfsV4nPJ_jjhKSqAo6ADO0gj-k Записи лекций]
* [https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/materials?ref_type=heads Конспекты семинаров]

== Домашние задания ==
Планируется 7+1 домашних заданий. Проверка включает 2 этапа:
# прохождение автоматических тестов (начиная с ДЗ по CUDA).
# code review при условии выполненного п.1. Исправления по code review можно делать в течение '''2 недель''' после 1-го комментария.

{| class="wikitable"
|-
! Название
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task1_mpi.md?ref_type=heads MPI]
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task2_cuda.md?ref_type=heads CUDA]
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task3_hdfs.md?ref_type=heads HDFS]
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task4_mapreduce.md?ref_type=heads Map-Reduce]
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task5_hive.md?ref_type=heads Hive]
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task6_spark.md?ref_type=heads Spark]
|}

* Штраф за опоздание каждый день -5%, до достижения -75% (15 дней)

Сдавать и исправлять домашки можно до конца зачётной недели

В случае болезни, справка продлевает дедлайн определённого дз ровно на число дней, которые она перекрывает в периоде данного дз. Период дз - между двумя дедлайнами

==== Сервера ====
* MPI & OpenMP: <pre>ssh <user>@185.81.248.52 -p 2222</pre>
* CUDA: <pre>ssh <user>@lorien.atp-fivt.org</pre>

* В случае проблем с кластерами пишите на '''servers@atp-fivt.org'''

= Преподаватели =
* '''Руководитель курса'''
** Чернецкий Аркадий

* '''Лекторы'''
** Ивченко Олег
** Долуденко Алексей
** [[Участник:Ахтямов_Павел | Ахтямов Павел ]]
** Изабелла Затикян
** Леонид Меркин
** Вадим Опольский

* '''Семинаристы'''
** Чернецкий Аркадий
** Кочурова Ирина
** Дмитрий Павлов

* '''Учебные ассистенты'''
** Ховар Абдухоликзода
** Кочурова Ирина
** Дмитрий Николотов
** Лыгина Оксана
** Хабибулло Боймуродов

==== Контакт для организационных вопросов ====
Куратор курса [https://t.me/atpfpmi_curators @atpfpmi_curators]

= Критерии получения оценки =
Зачет выставляется по сумме баллов, полученных в течение семестра. Есть блокирующие группы домашек (хотя бы 0.5 по MPI+CUDA, и 2 по остальным. Дедлайны в этой сумме не учитываются)

== Мини-контрольные ==
Состоятся 3 теста. На контрольных нельзя пользоваться ничем и никем, кроме разрешённых смотрящими вещей. Код писать не потребуется.

{| class="wikitable"
|-
! Название
! Дата
! Длительность
|-
| HDFS & MapReduce || 20.04.2026 || 15 мин.
|-
| Hive || 04.05.2026 || 15 мин.
|-
| Spark, Zookeeper, Kafka, Cassandra || 18.05.2026 || 20 мин.
|}

= Литература =
=== MPI & OpenMP ===
# Антонов А.С. Технологии параллельного программирования MPI и OpenMP: Учеб. пособие. Предисл.: В.А.Садовничий. - М.: Издательство Московского университета, 2012.

=== CUDA ===
# Дж. Сандерс, Э. Кэррот. Технология CUDA в примерах и задачах, 2013 (рус).
# [http://courses.cms.caltech.edu/cs179/ Курс "GPU programming" в Caltech].
# [https://www.cs.bgu.ac.il/~graph161/wiki.files/09f-GPU%20-%20Scans.pdf Лекция по Scan курсе по комп. графике, Ben-Gurion university]
# [http://developer.download.nvidia.com/compute/cuda/1.1-Beta/x86_website/projects/scan/doc/scan.pdf Parallel Prefix Sum (Scan) with CUDA, Mark Harris, NVidia]
# Книги от Nvidia: [https://developer.nvidia.com/gpugems/gpugems/contributors GPU gems], [https://developer.nvidia.com/gpugems/gpugems2/inside-front-cover GPU gems 2], [https://developer.nvidia.com/gpugems/gpugems3/foreword GPU gems 3]. Особенно интересна глава 39 из [https://developer.nvidia.com/gpugems/gpugems3/part-vi-gpu-computing/chapter-39-parallel-prefix-sum-scan-cuda GPU Gems] про Scan.

=== HDFS ===
# [https://www.oreilly.com/library/view/hadoop-the-definitive/9781491901687/ T. White. "Hadoop. The definitive guide"], гл. 3 "Hadoop distributed filesystem". (есть русский перевод). 4е издание
# [https://storageconference.us/2010/Papers/MSST/Shvachko.pdf Статья про архитектуру HDFS от Константина Швачко (Yahoo!)]
# [http://www.blogjava.net/DLevin/archive/2015/01/25/422428.html Статья про архитектуру HDFS в блоге HortonWorks (Китайская копия :))]
# [http://blog.madhukaraphatak.com/secondary-namenode---what-it-really-do/ Что в действительности делает SNN]
# [https://nancyyanyu.github.io/posts/49a14c15/ Выдержка из курсов Яндекс про HDFS]

Параллельные и распределенные вычисления 2025

2025-10-25T19:44:35Z

Killerrati:

= Общие сведения =
* Семестр: 5 (третий курс)
* Форма контроля: диф. зачет
* '''[https://docs.google.com/forms/d/e/1FAIpQLScEvdV0MoJlheYqFm_Ep1lmX95vg2nWeA3dtkGjU6qcZIbt5w/viewform?usp=preview Форма регистрации на курс].
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vTeXQrTtpAKfIx1OzJEk8Lxo-hyROnx7EgyxzcVAnceZbl3OWRolvdfGSnlJXBdU3hJCvkRWirlQc3D/pubhtml?gid=397546993&single=true План лекций, семинаров,домашних работ, контрольных]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vTeXQrTtpAKfIx1OzJEk8Lxo-hyROnx7EgyxzcVAnceZbl3OWRolvdfGSnlJXBdU3hJCvkRWirlQc3D/pubhtml?gid=2040051800&single=true Таблица с оценками]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vTeXQrTtpAKfIx1OzJEk8Lxo-hyROnx7EgyxzcVAnceZbl3OWRolvdfGSnlJXBdU3hJCvkRWirlQc3D/pubhtml?gid=633420430&single=true Статус проверки домашних заданий]
* [https://docs.google.com/forms/d/e/1FAIpQLSdz-kJOPUTVqzM7dSCtZULHeHbRpff2_Y5FhFAb9MTGQG_vHg/viewform Продление дедлайнов и дописывание КР]
* [https://t.me/+tvtBcWrDSgVmYzEy Телеграм-чат курса]

=== Материалы занятий ===
* [https://drive.google.com/drive/folders/132C2q7QfsV4nPJ_jjhKSqAo6ADO0gj-k Записи лекций]
* [https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/materials?ref_type=heads Конспекты семинаров]

== Домашние задания ==
Планируется 7 домашних заданий. Проверка включает 2 этапа:
# прохождение автоматических тестов (начиная с ДЗ по CUDA).
# code review при условии выполненного п.1. Исправления по code review можно делать в течение '''1 месяца''' после 1-го комментария.

{| class="wikitable"
|-
! Название
! Дедлайн
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task1_mpi.md?ref_type=heads MPI] || 29.09.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task2_cuda.md?ref_type=heads CUDA] || 13.10.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task3_hdfs.md?ref_type=heads HDFS] || 1.11.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task4_mapreduce.md?ref_type=heads Map-Reduce] || 10.11.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task5_hive.md?ref_type=heads Hive] || 24.11.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task6_spark.md?ref_type=heads Spark] || 08.12.2025
|}

* Штраф за опоздание каждый день -5%, до достижения -75% (15 дней)

Сдавать и исправлять домашки можно до 28.12.2025

В случае болезни, справка продлевает дедлайн определённого дз ровно на число дней, которые в ней записаны и которые попадают на период определённого дз. Период дз - между двумя дедлайнами

==== Сервера ====
* MPI & OpenMP: <pre>ssh <user>@185.81.248.52 -p 2222</pre>
* CUDA: <pre>ssh <user>@lorien.atp-fivt.org</pre>
* Hadoop cluster: <pre>ssh <user>@mipt-client.atp-fivt.org</pre>

* В случае проблем с кластерами пишите на '''servers@atp-fivt.org'''

= Преподаватели =
* '''Руководитель курса'''
** Чернецкий Аркадий

* '''Лекторы'''
** Ивченко Олег
** Долуденко Алексей
** [[Участник:Ахтямов_Павел | Ахтямов Павел ]]
** Изабелла Затикян
** Леонид Меркин
** Вадим Опольский

* '''Семинаристы'''
** Чернецкий Аркадий
** Кочурова Ирина
** Максим Сталев

* '''Учебные ассистенты'''
** Ховар Абдухоликзода
** Кочурова Ирина
** Дмитрий Николотов
** Лыгина Оксана
** Хабибулло Боймуродов

==== Контакт для организационных вопросов ====
Куратор курса [https://t.me/atpfpmi_curators @atpfpmi_curators]

= Критерии получения оценки =
Зачет выставляется на основании баллов, полученных в течение семестра.

== Мини-контрольные ==
Состоятся 3 теста. На контрольных нельзя пользоваться ничем и никем, кроме разрешённых смотрящими вещей. Код писать не потребуется.

{| class="wikitable"
|-
! Название
! Дата
! Длительность
|-
| HDFS & MapReduce || 14.04.2025 || 15 мин.
|-
| Hive || 28.04.2025 || 15 мин.
|-
| Spark, Zookeeper, Kafka, Cassandra || 19.05.2025 || 20 мин.
|}

= Литература =
=== MPI & OpenMP ===
# Антонов А.С. Технологии параллельного программирования MPI и OpenMP: Учеб. пособие. Предисл.: В.А.Садовничий. - М.: Издательство Московского университета, 2012.

=== CUDA ===
# Дж. Сандерс, Э. Кэррот. Технология CUDA в примерах и задачах, 2013 (рус).
# [http://courses.cms.caltech.edu/cs179/ Курс "GPU programming" в Caltech].
# [https://www.cs.bgu.ac.il/~graph161/wiki.files/09f-GPU%20-%20Scans.pdf Лекция по Scan курсе по комп. графике, Ben-Gurion university]
# [http://developer.download.nvidia.com/compute/cuda/1.1-Beta/x86_website/projects/scan/doc/scan.pdf Parallel Prefix Sum (Scan) with CUDA, Mark Harris, NVidia]
# Книги от Nvidia: [https://developer.nvidia.com/gpugems/gpugems/contributors GPU gems], [https://developer.nvidia.com/gpugems/gpugems2/inside-front-cover GPU gems 2], [https://developer.nvidia.com/gpugems/gpugems3/foreword GPU gems 3]. Особенно интересна глава 39 из [https://developer.nvidia.com/gpugems/gpugems3/part-vi-gpu-computing/chapter-39-parallel-prefix-sum-scan-cuda GPU Gems] про Scan.

=== HDFS ===
# [https://www.oreilly.com/library/view/hadoop-the-definitive/9781491901687/ T. White. "Hadoop. The definitive guide"], гл. 3 "Hadoop distributed filesystem". (есть русский перевод). 4е издание
# [https://storageconference.us/2010/Papers/MSST/Shvachko.pdf Статья про архитектуру HDFS от Константина Швачко (Yahoo!)]
# [http://www.blogjava.net/DLevin/archive/2015/01/25/422428.html Статья про архитектуру HDFS в блоге HortonWorks (Китайская копия :))]
# [http://blog.madhukaraphatak.com/secondary-namenode---what-it-really-do/ Что в действительности делает SNN]
# [https://nancyyanyu.github.io/posts/49a14c15/ Выдержка из курсов Яндекс про HDFS]

Параллельные и распределенные вычисления 2025

2025-10-11T14:43:11Z

Killerrati:

= Общие сведения =
* Семестр: 5 (третий курс)
* Форма контроля: диф. зачет
* '''[https://docs.google.com/forms/d/e/1FAIpQLScEvdV0MoJlheYqFm_Ep1lmX95vg2nWeA3dtkGjU6qcZIbt5w/viewform?usp=preview Форма регистрации на курс].
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vTeXQrTtpAKfIx1OzJEk8Lxo-hyROnx7EgyxzcVAnceZbl3OWRolvdfGSnlJXBdU3hJCvkRWirlQc3D/pubhtml?gid=397546993&single=true План лекций, семинаров,домашних работ, контрольных]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vTeXQrTtpAKfIx1OzJEk8Lxo-hyROnx7EgyxzcVAnceZbl3OWRolvdfGSnlJXBdU3hJCvkRWirlQc3D/pubhtml?gid=2040051800&single=true Таблица с оценками]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vTeXQrTtpAKfIx1OzJEk8Lxo-hyROnx7EgyxzcVAnceZbl3OWRolvdfGSnlJXBdU3hJCvkRWirlQc3D/pubhtml?gid=633420430&single=true Статус проверки домашних заданий]
* [https://docs.google.com/forms/d/e/1FAIpQLSdz-kJOPUTVqzM7dSCtZULHeHbRpff2_Y5FhFAb9MTGQG_vHg/viewform Продление дедлайнов и дописывание КР]
* [https://t.me/+tvtBcWrDSgVmYzEy Телеграм-чат курса]

=== Материалы занятий ===
* [https://drive.google.com/drive/folders/132C2q7QfsV4nPJ_jjhKSqAo6ADO0gj-k Записи лекций]
* [https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/materials?ref_type=heads Конспекты семинаров]

== Домашние задания ==
Планируется 7 домашних заданий. Проверка включает 2 этапа:
# прохождение автоматических тестов (начиная с ДЗ по CUDA).
# code review при условии выполненного п.1. Исправления по code review можно делать в течение '''1 месяца''' после 1-го комментария.

{| class="wikitable"
|-
! Название
! Дедлайн
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task1_mpi.md?ref_type=heads MPI] || 29.09.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task2_cuda.md?ref_type=heads CUDA] || 13.10.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task3_hdfs.md?ref_type=heads HDFS] || 27.10.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task4_mapreduce.md?ref_type=heads Map-Reduce] || 10.11.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task5_hive.md?ref_type=heads Hive] || 24.11.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task6_spark.md?ref_type=heads Spark] || 08.12.2025
|}

* Штраф за опоздание каждый день -5%, до достижения -75% (15 дней)

Сдавать и исправлять домашки можно до 28.12.2025

В случае болезни, справка продлевает дедлайн определённого дз ровно на число дней, которые в ней записаны и которые попадают на период определённого дз. Период дз - между двумя дедлайнами

==== Сервера ====
* MPI & OpenMP: <pre>ssh <user>@185.81.248.52 -p 2222</pre>
* CUDA: <pre>ssh <user>@lorien.atp-fivt.org</pre>
* Hadoop cluster: <pre>ssh <user>@mipt-client.atp-fivt.org</pre>

* В случае проблем с кластерами пишите на '''servers@atp-fivt.org'''

= Преподаватели =
* '''Руководитель курса'''
** Чернецкий Аркадий

* '''Лекторы'''
** Ивченко Олег
** Долуденко Алексей
** [[Участник:Ахтямов_Павел | Ахтямов Павел ]]
** Изабелла Затикян
** Леонид Меркин
** Вадим Опольский

* '''Семинаристы'''
** Чернецкий Аркадий
** Кочурова Ирина
** Максим Сталев

* '''Учебные ассистенты'''
** Ховар Абдухоликзода
** Кочурова Ирина
** Дмитрий Николотов
** Лыгина Оксана
** Хабибулло Боймуродов

==== Контакт для организационных вопросов ====
Куратор курса [https://t.me/atpfpmi_curators @atpfpmi_curators]

= Критерии получения оценки =
Зачет выставляется на основании баллов, полученных в течение семестра.

== Мини-контрольные ==
Состоятся 3 теста. На контрольных нельзя пользоваться ничем и никем, кроме разрешённых смотрящими вещей. Код писать не потребуется.

{| class="wikitable"
|-
! Название
! Дата
! Длительность
|-
| HDFS & MapReduce || 14.04.2025 || 15 мин.
|-
| Hive || 28.04.2025 || 15 мин.
|-
| Spark, Zookeeper, Kafka, Cassandra || 19.05.2025 || 20 мин.
|}

= Литература =
=== MPI & OpenMP ===
# Антонов А.С. Технологии параллельного программирования MPI и OpenMP: Учеб. пособие. Предисл.: В.А.Садовничий. - М.: Издательство Московского университета, 2012.

=== CUDA ===
# Дж. Сандерс, Э. Кэррот. Технология CUDA в примерах и задачах, 2013 (рус).
# [http://courses.cms.caltech.edu/cs179/ Курс "GPU programming" в Caltech].
# [https://www.cs.bgu.ac.il/~graph161/wiki.files/09f-GPU%20-%20Scans.pdf Лекция по Scan курсе по комп. графике, Ben-Gurion university]
# [http://developer.download.nvidia.com/compute/cuda/1.1-Beta/x86_website/projects/scan/doc/scan.pdf Parallel Prefix Sum (Scan) with CUDA, Mark Harris, NVidia]
# Книги от Nvidia: [https://developer.nvidia.com/gpugems/gpugems/contributors GPU gems], [https://developer.nvidia.com/gpugems/gpugems2/inside-front-cover GPU gems 2], [https://developer.nvidia.com/gpugems/gpugems3/foreword GPU gems 3]. Особенно интересна глава 39 из [https://developer.nvidia.com/gpugems/gpugems3/part-vi-gpu-computing/chapter-39-parallel-prefix-sum-scan-cuda GPU Gems] про Scan.

=== HDFS ===
# [https://www.oreilly.com/library/view/hadoop-the-definitive/9781491901687/ T. White. "Hadoop. The definitive guide"], гл. 3 "Hadoop distributed filesystem". (есть русский перевод). 4е издание
# [https://storageconference.us/2010/Papers/MSST/Shvachko.pdf Статья про архитектуру HDFS от Константина Швачко (Yahoo!)]
# [http://www.blogjava.net/DLevin/archive/2015/01/25/422428.html Статья про архитектуру HDFS в блоге HortonWorks (Китайская копия :))]
# [http://blog.madhukaraphatak.com/secondary-namenode---what-it-really-do/ Что в действительности делает SNN]
# [https://nancyyanyu.github.io/posts/49a14c15/ Выдержка из курсов Яндекс про HDFS]

Параллельные и распределенные вычисления 2025

2025-10-01T13:18:34Z

Killerrati:

= Общие сведения =
* Семестр: 5 (третий курс)
* Форма контроля: диф. зачет
* '''[https://docs.google.com/forms/d/e/1FAIpQLScEvdV0MoJlheYqFm_Ep1lmX95vg2nWeA3dtkGjU6qcZIbt5w/viewform?usp=preview Форма регистрации на курс].
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vTeXQrTtpAKfIx1OzJEk8Lxo-hyROnx7EgyxzcVAnceZbl3OWRolvdfGSnlJXBdU3hJCvkRWirlQc3D/pubhtml?gid=397546993&single=true План лекций, семинаров,домашних работ, контрольных]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vTeXQrTtpAKfIx1OzJEk8Lxo-hyROnx7EgyxzcVAnceZbl3OWRolvdfGSnlJXBdU3hJCvkRWirlQc3D/pubhtml?gid=2040051800&single=true Таблица с оценками]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vTeXQrTtpAKfIx1OzJEk8Lxo-hyROnx7EgyxzcVAnceZbl3OWRolvdfGSnlJXBdU3hJCvkRWirlQc3D/pubhtml?gid=633420430&single=true Статус проверки домашних заданий]
* [https://docs.google.com/forms/d/e/1FAIpQLSdz-kJOPUTVqzM7dSCtZULHeHbRpff2_Y5FhFAb9MTGQG_vHg/viewform Продление дедлайнов и дописывание КР]
* [https://t.me/+tvtBcWrDSgVmYzEy Телеграм-чат курса]

=== Материалы занятий ===
* [https://drive.google.com/drive/folders/132C2q7QfsV4nPJ_jjhKSqAo6ADO0gj-k Записи лекций]
* [https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/materials?ref_type=heads Конспекты семинаров]

== Домашние задания ==
Планируется 7 домашних заданий. Проверка включает 2 этапа:
# прохождение автоматических тестов (начиная с ДЗ по CUDA).
# code review при условии выполненного п.1. Исправления по code review можно делать в течение '''1 месяца''' после 1-го комментария.

{| class="wikitable"
|-
! Название
! Дедлайн
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task1_mpi.md?ref_type=heads MPI] || 03.03.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task2_cuda.md?ref_type=heads CUDA] || 24.03.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task3_hdfs.md?ref_type=heads HDFS] || 07.04.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task4_mapreduce.md?ref_type=heads Map-Reduce] || 21.04.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task5_hive.md?ref_type=heads Hive] || 05.05.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task6_spark.md?ref_type=heads Spark] || 19.05.2025
|}

* Штраф за опоздание каждый день -5%, до достижения -75% (15 дней)

Сдавать и исправлять домашки можно до 28.12.2025

В случае болезни, справка продлевает дедлайн определённого дз ровно на число дней, которые в ней записаны и которые попадают на период определённого дз. Период дз - между двумя дедлайнами

==== Сервера ====
* MPI & OpenMP: <pre>ssh <user>@185.81.248.52 -p 2222</pre>
* CUDA: <pre>ssh <user>@lorien.atp-fivt.org</pre>
* Hadoop cluster: <pre>ssh <user>@mipt-client.atp-fivt.org</pre>

* В случае проблем с кластерами пишите на '''servers@atp-fivt.org'''

= Преподаватели =
* '''Руководитель курса'''
** Чернецкий Аркадий

* '''Лекторы'''
** Ивченко Олег
** Долуденко Алексей
** [[Участник:Ахтямов_Павел | Ахтямов Павел ]]
** Изабелла Затикян
** Леонид Меркин
** Вадим Опольский

* '''Семинаристы'''
** Чернецкий Аркадий
** Кочурова Ирина
** Максим Сталев

* '''Учебные ассистенты'''
** Ховар Абдухоликзода
** Кочурова Ирина
** Дмитрий Николотов
** Лыгина Оксана
** Хабибулло Боймуродов

==== Контакт для организационных вопросов ====
Куратор курса [https://t.me/atpfpmi_curators @atpfpmi_curators]

= Критерии получения оценки =
Зачет выставляется на основании баллов, полученных в течение семестра.

== Мини-контрольные ==
Состоятся 3 теста. На контрольных нельзя пользоваться ничем и никем, кроме разрешённых смотрящими вещей. Код писать не потребуется.

{| class="wikitable"
|-
! Название
! Дата
! Длительность
|-
| HDFS & MapReduce || 14.04.2025 || 15 мин.
|-
| Hive || 28.04.2025 || 15 мин.
|-
| Spark, Zookeeper, Kafka, Cassandra || 19.05.2025 || 20 мин.
|}

= Литература =
=== MPI & OpenMP ===
# Антонов А.С. Технологии параллельного программирования MPI и OpenMP: Учеб. пособие. Предисл.: В.А.Садовничий. - М.: Издательство Московского университета, 2012.

=== CUDA ===
# Дж. Сандерс, Э. Кэррот. Технология CUDA в примерах и задачах, 2013 (рус).
# [http://courses.cms.caltech.edu/cs179/ Курс "GPU programming" в Caltech].
# [https://www.cs.bgu.ac.il/~graph161/wiki.files/09f-GPU%20-%20Scans.pdf Лекция по Scan курсе по комп. графике, Ben-Gurion university]
# [http://developer.download.nvidia.com/compute/cuda/1.1-Beta/x86_website/projects/scan/doc/scan.pdf Parallel Prefix Sum (Scan) with CUDA, Mark Harris, NVidia]
# Книги от Nvidia: [https://developer.nvidia.com/gpugems/gpugems/contributors GPU gems], [https://developer.nvidia.com/gpugems/gpugems2/inside-front-cover GPU gems 2], [https://developer.nvidia.com/gpugems/gpugems3/foreword GPU gems 3]. Особенно интересна глава 39 из [https://developer.nvidia.com/gpugems/gpugems3/part-vi-gpu-computing/chapter-39-parallel-prefix-sum-scan-cuda GPU Gems] про Scan.

=== HDFS ===
# [https://www.oreilly.com/library/view/hadoop-the-definitive/9781491901687/ T. White. "Hadoop. The definitive guide"], гл. 3 "Hadoop distributed filesystem". (есть русский перевод). 4е издание
# [https://storageconference.us/2010/Papers/MSST/Shvachko.pdf Статья про архитектуру HDFS от Константина Швачко (Yahoo!)]
# [http://www.blogjava.net/DLevin/archive/2015/01/25/422428.html Статья про архитектуру HDFS в блоге HortonWorks (Китайская копия :))]
# [http://blog.madhukaraphatak.com/secondary-namenode---what-it-really-do/ Что в действительности делает SNN]
# [https://nancyyanyu.github.io/posts/49a14c15/ Выдержка из курсов Яндекс про HDFS]

Параллельные и распределенные вычисления 2025

2025-09-25T18:39:42Z

Killerrati:

= Общие сведения =
* Семестр: 5 (третий курс)
* Форма контроля: диф. зачет
* '''[https://docs.google.com/forms/d/e/1FAIpQLScEvdV0MoJlheYqFm_Ep1lmX95vg2nWeA3dtkGjU6qcZIbt5w/viewform?usp=preview Форма регистрации на курс].
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vTeXQrTtpAKfIx1OzJEk8Lxo-hyROnx7EgyxzcVAnceZbl3OWRolvdfGSnlJXBdU3hJCvkRWirlQc3D/pubhtml?gid=397546993&single=true План лекций, семинаров,домашних работ, контрольных]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vTeXQrTtpAKfIx1OzJEk8Lxo-hyROnx7EgyxzcVAnceZbl3OWRolvdfGSnlJXBdU3hJCvkRWirlQc3D/pubhtml?gid=2040051800&single=true Таблица с оценками]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vTeXQrTtpAKfIx1OzJEk8Lxo-hyROnx7EgyxzcVAnceZbl3OWRolvdfGSnlJXBdU3hJCvkRWirlQc3D/pubhtml?gid=633420430&single=true Статус проверки домашних заданий]
* [https://docs.google.com/forms/d/e/1FAIpQLSdz-kJOPUTVqzM7dSCtZULHeHbRpff2_Y5FhFAb9MTGQG_vHg/viewform Продление дедлайнов и дописывание КР]
* [https://t.me/+tvtBcWrDSgVmYzEy Телеграм-чат курса]

=== Материалы занятий ===
* [https://drive.google.com/drive/folders/1q9dZ5dXaYMyEbzW0N9TO7VFaCxT4T7oK Записи лекций]
* [https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/materials?ref_type=heads Конспекты семинаров]

== Домашние задания ==
Планируется 7 домашних заданий. Проверка включает 2 этапа:
# прохождение автоматических тестов (начиная с ДЗ по CUDA).
# code review при условии выполненного п.1. Исправления по code review можно делать в течение '''1 месяца''' после 1-го комментария.

{| class="wikitable"
|-
! Название
! Дедлайн
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task1_mpi.md?ref_type=heads MPI] || 03.03.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task2_cuda.md?ref_type=heads CUDA] || 24.03.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task3_hdfs.md?ref_type=heads HDFS] || 07.04.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task4_mapreduce.md?ref_type=heads Map-Reduce] || 21.04.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task5_hive.md?ref_type=heads Hive] || 05.05.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task6_spark.md?ref_type=heads Spark] || 19.05.2025
|}

* Штраф за опоздание каждый день -5%, до достижения -75% (15 дней)

Сдавать и исправлять домашки можно до 28.12.2025

В случае болезни, справка продлевает дедлайн определённого дз ровно на число дней, которые в ней записаны и которые попадают на период определённого дз. Период дз - между двумя дедлайнами

==== Сервера ====
* MPI & OpenMP: <pre>ssh <user>@185.81.248.52 -p 2222</pre>
* CUDA: <pre>ssh <user>@lorien.atp-fivt.org</pre>
* Hadoop cluster: <pre>ssh <user>@mipt-client.atp-fivt.org</pre>

* В случае проблем с кластерами пишите на '''servers@atp-fivt.org'''

= Преподаватели =
* '''Руководитель курса'''
** Чернецкий Аркадий

* '''Лекторы'''
** Ивченко Олег
** Долуденко Алексей
** [[Участник:Ахтямов_Павел | Ахтямов Павел ]]
** Изабелла Затикян
** Леонид Меркин
** Вадим Опольский

* '''Семинаристы'''
** Чернецкий Аркадий
** Кочурова Ирина
** Максим Сталев

* '''Учебные ассистенты'''
** Ховар Абдухоликзода
** Кочурова Ирина
** Дмитрий Николотов
** Лыгина Оксана
** Хабибулло Боймуродов

==== Контакт для организационных вопросов ====
Куратор курса [https://t.me/atpfpmi_curators @atpfpmi_curators]

= Критерии получения оценки =
Зачет выставляется на основании баллов, полученных в течение семестра.

== Мини-контрольные ==
Состоятся 3 теста. На контрольных нельзя пользоваться ничем и никем, кроме разрешённых смотрящими вещей. Код писать не потребуется.

{| class="wikitable"
|-
! Название
! Дата
! Длительность
|-
| HDFS & MapReduce || 14.04.2025 || 15 мин.
|-
| Hive || 28.04.2025 || 15 мин.
|-
| Spark, Zookeeper, Kafka, Cassandra || 19.05.2025 || 20 мин.
|}

= Литература =
=== MPI & OpenMP ===
# Антонов А.С. Технологии параллельного программирования MPI и OpenMP: Учеб. пособие. Предисл.: В.А.Садовничий. - М.: Издательство Московского университета, 2012.

=== CUDA ===
# Дж. Сандерс, Э. Кэррот. Технология CUDA в примерах и задачах, 2013 (рус).
# [http://courses.cms.caltech.edu/cs179/ Курс "GPU programming" в Caltech].
# [https://www.cs.bgu.ac.il/~graph161/wiki.files/09f-GPU%20-%20Scans.pdf Лекция по Scan курсе по комп. графике, Ben-Gurion university]
# [http://developer.download.nvidia.com/compute/cuda/1.1-Beta/x86_website/projects/scan/doc/scan.pdf Parallel Prefix Sum (Scan) with CUDA, Mark Harris, NVidia]
# Книги от Nvidia: [https://developer.nvidia.com/gpugems/gpugems/contributors GPU gems], [https://developer.nvidia.com/gpugems/gpugems2/inside-front-cover GPU gems 2], [https://developer.nvidia.com/gpugems/gpugems3/foreword GPU gems 3]. Особенно интересна глава 39 из [https://developer.nvidia.com/gpugems/gpugems3/part-vi-gpu-computing/chapter-39-parallel-prefix-sum-scan-cuda GPU Gems] про Scan.

=== HDFS ===
# [https://www.oreilly.com/library/view/hadoop-the-definitive/9781491901687/ T. White. "Hadoop. The definitive guide"], гл. 3 "Hadoop distributed filesystem". (есть русский перевод). 4е издание
# [https://storageconference.us/2010/Papers/MSST/Shvachko.pdf Статья про архитектуру HDFS от Константина Швачко (Yahoo!)]
# [http://www.blogjava.net/DLevin/archive/2015/01/25/422428.html Статья про архитектуру HDFS в блоге HortonWorks (Китайская копия :))]
# [http://blog.madhukaraphatak.com/secondary-namenode---what-it-really-do/ Что в действительности делает SNN]
# [https://nancyyanyu.github.io/posts/49a14c15/ Выдержка из курсов Яндекс про HDFS]

Параллельные и распределенные вычисления 2025

2025-09-01T12:34:18Z

Killerrati: Новая страница: «= Общие сведения = * Семестр: 5 (третий курс) * Форма контроля: диф. зачет * '''[https://docs.google.com/forms/…»

= Общие сведения =
* Семестр: 5 (третий курс)
* Форма контроля: диф. зачет
* '''[https://docs.google.com/forms/d/e/1FAIpQLScEvdV0MoJlheYqFm_Ep1lmX95vg2nWeA3dtkGjU6qcZIbt5w/viewform?usp=preview Форма регистрации на курс].
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vTeXQrTtpAKfIx1OzJEk8Lxo-hyROnx7EgyxzcVAnceZbl3OWRolvdfGSnlJXBdU3hJCvkRWirlQc3D/pubhtml?gid=397546993&single=true План лекций, семинаров,домашних работ, контрольных]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vTeXQrTtpAKfIx1OzJEk8Lxo-hyROnx7EgyxzcVAnceZbl3OWRolvdfGSnlJXBdU3hJCvkRWirlQc3D/pubhtml?gid=2040051800&single=true Таблица с оценками]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vTeXQrTtpAKfIx1OzJEk8Lxo-hyROnx7EgyxzcVAnceZbl3OWRolvdfGSnlJXBdU3hJCvkRWirlQc3D/pubhtml?gid=633420430&single=true Статус проверки домашних заданий]
* [https://docs.google.com/forms/d/e/1FAIpQLSdz-kJOPUTVqzM7dSCtZULHeHbRpff2_Y5FhFAb9MTGQG_vHg/viewform Продление дедлайнов и дописывание КР]
* [https://t.me/+tvtBcWrDSgVmYzEy Телеграм-чат курса]

=== Материалы занятий ===
* [https://drive.google.com/drive/folders/1q9dZ5dXaYMyEbzW0N9TO7VFaCxT4T7oK Записи лекций]
* [https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/materials?ref_type=heads Конспекты семинаров]

== Домашние задания ==
Планируется 7 домашних заданий. Проверка включает 2 этапа:
# прохождение автоматических тестов (начиная с ДЗ по CUDA).
# code review при условии выполненного п.1. Исправления по code review можно делать в течение '''1 месяца''' после 1-го комментария.

{| class="wikitable"
|-
! Название
! Дедлайн
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task1_mpi.md?ref_type=heads MPI] || 03.03.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task2_cuda.md?ref_type=heads CUDA] || 24.03.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task3_hdfs.md?ref_type=heads HDFS] || 07.04.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task4_mapreduce.md?ref_type=heads Map-Reduce] || 21.04.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task5_hive.md?ref_type=heads Hive] || 05.05.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task6_spark.md?ref_type=heads Spark] || 19.05.2025
|}

* Штраф за опоздание каждый день -5%, до достижения -75% (15 дней)

Сдавать и исправлять домашки можно до 28.12.2025

В случае болезни, справка продлевает дедлайн определённого дз ровно на число дней, которые в ней записаны и которые попадают на период определённого дз. Период дз - между двумя дедлайнами

==== Сервера ====
* MPI & OpenMP: <pre>ssh <user>@185.81.248.52 -p 2222</pre>
* CUDA: <pre>ssh <user>@lorien.atp-fivt.org</pre>
* Hadoop cluster: <pre>ssh <user>@mipt-client.atp-fivt.org</pre>

* В случае проблем с кластерами пишите на '''servers@atp-fivt.org'''

= Преподаватели =
* '''Руководитель курса'''
** Чернецкий Аркадий

* '''Лекторы'''
** Ивченко Олег
** Долуденко Алексей
** [[Участник:Ахтямов_Павел | Ахтямов Павел ]]
** Изабелла Затикян
** Леонид Меркин
** Вадим Опольский

* '''Семинаристы'''
** Чернецкий Аркадий
** Кочурова Ирина
** Дмитрий Павлов

* '''Учебные ассистенты'''
** Ховар Абдухоликзода
** Кочурова Ирина
** Дмитрий Николотов
** Лыгина Оксана
** Хабибулло Боймуродов

==== Контакт для организационных вопросов ====
Куратор курса [https://t.me/atpfpmi_curators @atpfpmi_curators]

= Критерии получения оценки =
Зачет выставляется на основании баллов, полученных в течение семестра.

== Мини-контрольные ==
Состоятся 3 теста. На контрольных нельзя пользоваться ничем и никем, кроме разрешённых смотрящими вещей. Код писать не потребуется.

{| class="wikitable"
|-
! Название
! Дата
! Длительность
|-
| HDFS & MapReduce || 14.04.2025 || 15 мин.
|-
| Hive || 28.04.2025 || 15 мин.
|-
| Spark, Zookeeper, Kafka, Cassandra || 19.05.2025 || 20 мин.
|}

= Литература =
=== MPI & OpenMP ===
# Антонов А.С. Технологии параллельного программирования MPI и OpenMP: Учеб. пособие. Предисл.: В.А.Садовничий. - М.: Издательство Московского университета, 2012.

=== CUDA ===
# Дж. Сандерс, Э. Кэррот. Технология CUDA в примерах и задачах, 2013 (рус).
# [http://courses.cms.caltech.edu/cs179/ Курс "GPU programming" в Caltech].
# [https://www.cs.bgu.ac.il/~graph161/wiki.files/09f-GPU%20-%20Scans.pdf Лекция по Scan курсе по комп. графике, Ben-Gurion university]
# [http://developer.download.nvidia.com/compute/cuda/1.1-Beta/x86_website/projects/scan/doc/scan.pdf Parallel Prefix Sum (Scan) with CUDA, Mark Harris, NVidia]
# Книги от Nvidia: [https://developer.nvidia.com/gpugems/gpugems/contributors GPU gems], [https://developer.nvidia.com/gpugems/gpugems2/inside-front-cover GPU gems 2], [https://developer.nvidia.com/gpugems/gpugems3/foreword GPU gems 3]. Особенно интересна глава 39 из [https://developer.nvidia.com/gpugems/gpugems3/part-vi-gpu-computing/chapter-39-parallel-prefix-sum-scan-cuda GPU Gems] про Scan.

=== HDFS ===
# [https://www.oreilly.com/library/view/hadoop-the-definitive/9781491901687/ T. White. "Hadoop. The definitive guide"], гл. 3 "Hadoop distributed filesystem". (есть русский перевод). 4е издание
# [https://storageconference.us/2010/Papers/MSST/Shvachko.pdf Статья про архитектуру HDFS от Константина Швачко (Yahoo!)]
# [http://www.blogjava.net/DLevin/archive/2015/01/25/422428.html Статья про архитектуру HDFS в блоге HortonWorks (Китайская копия :))]
# [http://blog.madhukaraphatak.com/secondary-namenode---what-it-really-do/ Что в действительности делает SNN]
# [https://nancyyanyu.github.io/posts/49a14c15/ Выдержка из курсов Яндекс про HDFS]

Параллельные и распределенные вычисления весна 2025

2025-04-27T21:10:49Z

Killerrati: /* Мини-контрольные */

= Общие сведения =
* Семестр: 6 (третий курс)
* Форма контроля: диф. зачет
* '''[https://docs.google.com/forms/d/e/1FAIpQLSdiXebJ4ddB7RybaVIPvsGiDoHmFBMNth2vIrhuXSlztsfDvg/viewform Форма регистрации на курс].
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vRvjUbLbXkpA6LTEsUfwWZ7rAqAxcjDT0hriRaPPKqjQg8oGhePyEGZZ-4kV8-i9-s-QiXjNQYFE1gH/pubhtml?gid=397546993&single=true План лекций, семинаров,домашних работ, контрольных]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vRvjUbLbXkpA6LTEsUfwWZ7rAqAxcjDT0hriRaPPKqjQg8oGhePyEGZZ-4kV8-i9-s-QiXjNQYFE1gH/pubhtml?gid=2040051800&single=true Таблица с оценками]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vRvjUbLbXkpA6LTEsUfwWZ7rAqAxcjDT0hriRaPPKqjQg8oGhePyEGZZ-4kV8-i9-s-QiXjNQYFE1gH/pubhtml?gid=633420430&single=true Статус проверки домашних заданий]
* [https://docs.google.com/forms/d/e/1FAIpQLSe7a8YcHLSE7XYfXgKHVGggAcOBGEUBADd_9RWB90Qt2ry6JA/viewform Продление дедлайнов и дописывание КР]
* [https://t.me/+3s6XjCzFlaYxMzIy Телеграм-чат курса]

=== Материалы занятий ===
* [https://drive.google.com/drive/folders/1q9dZ5dXaYMyEbzW0N9TO7VFaCxT4T7oK Записи лекций]
* [https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/materials?ref_type=heads Конспекты семинаров]

== Домашние задания ==
Планируется 6 домашних заданий. Проверка включает 2 этапа:
# прохождение автоматических тестов (начиная с ДЗ по CUDA).
# code review при условии выполненного п.1. Исправления по code review можно делать в течение '''1 месяца''' после 1-го комментария.

{| class="wikitable"
|-
! Название
! Дедлайн
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task1_mpi.md?ref_type=heads MPI] || 03.03.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task2_cuda.md?ref_type=heads CUDA] || 24.03.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task3_hdfs.md?ref_type=heads HDFS] || 07.04.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task4_mapreduce.md?ref_type=heads Map-Reduce] || 21.04.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task5_hive.md?ref_type=heads Hive] || 05.05.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task6_spark.md?ref_type=heads Spark] || 19.05.2025
|}

* Штраф за опоздание каждый день -5%, до достижения -75% (15 дней)

Сдавать и исправлять домашки можно до 28.05.2025

В случае болезни, справка продлевает дедлайн определённого дз ровно на число дней, которые в ней записаны и которые попадают на период определённого дз. Период дз - между двумя дедлайнами

==== Сервера ====
* MPI & OpenMP: <pre>ssh <user>@185.81.248.52 -p 2222</pre>
* CUDA: <pre>ssh <user>@lorien.atp-fivt.org</pre>
* Hadoop cluster: <pre>ssh <user>@mipt-client.atp-fivt.org</pre>

* В случае проблем с кластерами пишите на '''servers@atp-fivt.org'''

= Преподаватели =
* '''Руководитель курса'''
** Чернецкий Аркадий

* '''Лекторы'''
** Ивченко Олег
** Долуденко Алексей
** [[Участник:Ахтямов_Павел | Ахтямов Павел ]]
** Изабелла Затикян
** Леонид Меркин
** Вадим Опольский

* '''Семинаристы'''
** Чернецкий Аркадий
** Ахтямов Павел
** Дмитрий Павлов

* '''Учебные ассистенты'''
** Ховар Абдухоликзода
** Кочурова Ирина
** Дмитрий Николотов
** Лыгина Оксана
** Хабибулло Боймуродов

==== Контакт для организационных вопросов ====
Куратор курса [https://t.me/atpfpmi_curators @atpfpmi_curators]

= Критерии получения оценки =
Зачет выставляется на основании баллов, полученных в течение семестра.

== Мини-контрольные ==
Состоятся 3 теста. На контрольных нельзя пользоваться ничем и никем, кроме разрешённых смотрящими вещей. Код писать не потребуется.

{| class="wikitable"
|-
! Название
! Дата
! Длительность
|-
| HDFS & MapReduce || 14.04.2025 || 15 мин.
|-
| Hive || 28.04.2025 || 15 мин.
|-
| Spark, Zookeeper, Kafka, Cassandra || 19.05.2025 || 20 мин.
|}

= Литература =
=== MPI & OpenMP ===
# Антонов А.С. Технологии параллельного программирования MPI и OpenMP: Учеб. пособие. Предисл.: В.А.Садовничий. - М.: Издательство Московского университета, 2012.

=== CUDA ===
# Дж. Сандерс, Э. Кэррот. Технология CUDA в примерах и задачах, 2013 (рус).
# [http://courses.cms.caltech.edu/cs179/ Курс "GPU programming" в Caltech].
# [https://www.cs.bgu.ac.il/~graph161/wiki.files/09f-GPU%20-%20Scans.pdf Лекция по Scan курсе по комп. графике, Ben-Gurion university]
# [http://developer.download.nvidia.com/compute/cuda/1.1-Beta/x86_website/projects/scan/doc/scan.pdf Parallel Prefix Sum (Scan) with CUDA, Mark Harris, NVidia]
# Книги от Nvidia: [https://developer.nvidia.com/gpugems/gpugems/contributors GPU gems], [https://developer.nvidia.com/gpugems/gpugems2/inside-front-cover GPU gems 2], [https://developer.nvidia.com/gpugems/gpugems3/foreword GPU gems 3]. Особенно интересна глава 39 из [https://developer.nvidia.com/gpugems/gpugems3/part-vi-gpu-computing/chapter-39-parallel-prefix-sum-scan-cuda GPU Gems] про Scan.

=== HDFS ===
# [https://www.oreilly.com/library/view/hadoop-the-definitive/9781491901687/ T. White. "Hadoop. The definitive guide"], гл. 3 "Hadoop distributed filesystem". (есть русский перевод). 4е издание
# [https://storageconference.us/2010/Papers/MSST/Shvachko.pdf Статья про архитектуру HDFS от Константина Швачко (Yahoo!)]
# [http://www.blogjava.net/DLevin/archive/2015/01/25/422428.html Статья про архитектуру HDFS в блоге HortonWorks (Китайская копия :))]
# [http://blog.madhukaraphatak.com/secondary-namenode---what-it-really-do/ Что в действительности делает SNN]
# [https://nancyyanyu.github.io/posts/49a14c15/ Выдержка из курсов Яндекс про HDFS]

Параллельные и распределенные вычисления весна 2025

2025-03-27T13:13:46Z

Killerrati: /* Общие сведения */

= Общие сведения =
* Семестр: 6 (третий курс)
* Форма контроля: диф. зачет
* '''[https://docs.google.com/forms/d/e/1FAIpQLSdiXebJ4ddB7RybaVIPvsGiDoHmFBMNth2vIrhuXSlztsfDvg/viewform Форма регистрации на курс].
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vRvjUbLbXkpA6LTEsUfwWZ7rAqAxcjDT0hriRaPPKqjQg8oGhePyEGZZ-4kV8-i9-s-QiXjNQYFE1gH/pubhtml?gid=397546993&single=true План лекций, семинаров,домашних работ, контрольных]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vRvjUbLbXkpA6LTEsUfwWZ7rAqAxcjDT0hriRaPPKqjQg8oGhePyEGZZ-4kV8-i9-s-QiXjNQYFE1gH/pubhtml?gid=2040051800&single=true Таблица с оценками]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vRvjUbLbXkpA6LTEsUfwWZ7rAqAxcjDT0hriRaPPKqjQg8oGhePyEGZZ-4kV8-i9-s-QiXjNQYFE1gH/pubhtml?gid=633420430&single=true Статус проверки домашних заданий]
* [https://docs.google.com/forms/d/e/1FAIpQLSe7a8YcHLSE7XYfXgKHVGggAcOBGEUBADd_9RWB90Qt2ry6JA/viewform Продление дедлайнов и дописывание КР]
* [https://t.me/+3s6XjCzFlaYxMzIy Телеграм-чат курса]

=== Материалы занятий ===
* [https://drive.google.com/drive/folders/132C2q7QfsV4nPJ_jjhKSqAo6ADO0gj-k?usp=sharing Записи лекций]
* [https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/materials?ref_type=heads Конспекты семинаров]

== Домашние задания ==
Планируется 6 домашних заданий. Проверка включает 2 этапа:
# прохождение автоматических тестов (начиная с ДЗ по CUDA).
# code review при условии выполненного п.1. Исправления по code review можно делать в течение '''1 месяца''' после 1-го комментария.

{| class="wikitable"
|-
! Название
! Дедлайн
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task1_mpi.md?ref_type=heads MPI] || 03.03.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task2_cuda.md?ref_type=heads CUDA] || 24.03.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task3_hdfs.md?ref_type=heads HDFS] || 07.04.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task4_mapreduce.md?ref_type=heads Map-Reduce] || 21.04.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task5_hive.md?ref_type=heads Hive] || 05.05.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task6_spark.md?ref_type=heads Spark] || 19.05.2025
|}

* Штраф за опоздание каждый день -5%, до достижения -75% (15 дней)

Сдавать и исправлять домашки можно до 28.05.2025

В случае болезни, справка продлевает дедлайн определённого дз ровно на число дней, которые в ней записаны и которые попадают на период определённого дз. Период дз - между двумя дедлайнами

==== Сервера ====
* MPI & OpenMP: <pre>ssh <user>@185.81.248.52 -p 2222</pre>
* CUDA: <pre>ssh <user>@lorien.atp-fivt.org</pre>
* Hadoop cluster: <pre>ssh <user>@mipt-client.atp-fivt.org</pre>

* В случае проблем с кластерами пишите на '''servers@atp-fivt.org'''

= Преподаватели =
* '''Руководитель курса'''
** Чернецкий Аркадий

* '''Лекторы'''
** Ивченко Олег
** Долуденко Алексей
** [[Участник:Ахтямов_Павел | Ахтямов Павел ]]
** Изабелла Затикян
** Леонид Меркин
** Вадим Опольский

* '''Семинаристы'''
** Чернецкий Аркадий
** Ахтямов Павел
** Дмитрий Павлов

* '''Учебные ассистенты'''
** Ховар Абдухоликзода
** Кочурова Ирина
** Дмитрий Николотов
** Лыгина Оксана
** Хабибулло Боймуродов

==== Контакт для организационных вопросов ====
Куратор курса [https://t.me/atpfpmi_curators @atpfpmi_curators]

= Критерии получения оценки =
Зачет выставляется на основании баллов, полученных в течение семестра.

== Мини-контрольные ==
Состоятся 3 теста. На контрольных нельзя пользоваться ничем и никем, кроме разрешённых смотрящими вещей. Код писать не потребуется.

{| class="wikitable"
|-
! Название
! Дата
! Длительность
|-
| HDFS & MapReduce || 14.04.2025 || 15 мин.
|-
| Hive & Spark || 28.04.2025 || 20 мин.
|-
| Zookeeper, Kafka, Cassandra || 19.05.2025 || 15 мин.
|}

= Литература =
=== MPI & OpenMP ===
# Антонов А.С. Технологии параллельного программирования MPI и OpenMP: Учеб. пособие. Предисл.: В.А.Садовничий. - М.: Издательство Московского университета, 2012.

=== CUDA ===
# Дж. Сандерс, Э. Кэррот. Технология CUDA в примерах и задачах, 2013 (рус).
# [http://courses.cms.caltech.edu/cs179/ Курс "GPU programming" в Caltech].
# [https://www.cs.bgu.ac.il/~graph161/wiki.files/09f-GPU%20-%20Scans.pdf Лекция по Scan курсе по комп. графике, Ben-Gurion university]
# [http://developer.download.nvidia.com/compute/cuda/1.1-Beta/x86_website/projects/scan/doc/scan.pdf Parallel Prefix Sum (Scan) with CUDA, Mark Harris, NVidia]
# Книги от Nvidia: [https://developer.nvidia.com/gpugems/gpugems/contributors GPU gems], [https://developer.nvidia.com/gpugems/gpugems2/inside-front-cover GPU gems 2], [https://developer.nvidia.com/gpugems/gpugems3/foreword GPU gems 3]. Особенно интересна глава 39 из [https://developer.nvidia.com/gpugems/gpugems3/part-vi-gpu-computing/chapter-39-parallel-prefix-sum-scan-cuda GPU Gems] про Scan.

=== HDFS ===
# [https://www.oreilly.com/library/view/hadoop-the-definitive/9781491901687/ T. White. "Hadoop. The definitive guide"], гл. 3 "Hadoop distributed filesystem". (есть русский перевод). 4е издание
# [https://storageconference.us/2010/Papers/MSST/Shvachko.pdf Статья про архитектуру HDFS от Константина Швачко (Yahoo!)]
# [http://www.blogjava.net/DLevin/archive/2015/01/25/422428.html Статья про архитектуру HDFS в блоге HortonWorks (Китайская копия :))]
# [http://blog.madhukaraphatak.com/secondary-namenode---what-it-really-do/ Что в действительности делает SNN]
# [https://nancyyanyu.github.io/posts/49a14c15/ Выдержка из курсов Яндекс про HDFS]

Параллельные и распределенные вычисления весна 2025

2025-03-27T13:12:07Z

Killerrati: /* Домашние задания */

= Общие сведения =
* Семестр: 6 (третий курс)
* Форма контроля: диф. зачет
* '''[https://docs.google.com/forms/d/e/1FAIpQLSdiXebJ4ddB7RybaVIPvsGiDoHmFBMNth2vIrhuXSlztsfDvg/viewform Форма регистрации на курс].
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vRvjUbLbXkpA6LTEsUfwWZ7rAqAxcjDT0hriRaPPKqjQg8oGhePyEGZZ-4kV8-i9-s-QiXjNQYFE1gH/pubhtml?gid=397546993&single=true План лекций, семинаров,домашних работ, контрольных]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vRvjUbLbXkpA6LTEsUfwWZ7rAqAxcjDT0hriRaPPKqjQg8oGhePyEGZZ-4kV8-i9-s-QiXjNQYFE1gH/pubhtml?gid=2040051800&single=true Таблица с оценками]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vRvjUbLbXkpA6LTEsUfwWZ7rAqAxcjDT0hriRaPPKqjQg8oGhePyEGZZ-4kV8-i9-s-QiXjNQYFE1gH/pubhtml?gid=633420430&single=true Статус проверки домашних заданий]
* [https://forms.gle/B73K4MYzpVf9izP1A Продление дедлайнов и дописывание КР]
* [https://t.me/+3s6XjCzFlaYxMzIy Телеграм-чат курса]

=== Материалы занятий ===
* [https://drive.google.com/drive/folders/132C2q7QfsV4nPJ_jjhKSqAo6ADO0gj-k?usp=sharing Записи лекций]
* [https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/materials?ref_type=heads Конспекты семинаров]

== Домашние задания ==
Планируется 6 домашних заданий. Проверка включает 2 этапа:
# прохождение автоматических тестов (начиная с ДЗ по CUDA).
# code review при условии выполненного п.1. Исправления по code review можно делать в течение '''1 месяца''' после 1-го комментария.

{| class="wikitable"
|-
! Название
! Дедлайн
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task1_mpi.md?ref_type=heads MPI] || 03.03.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task2_cuda.md?ref_type=heads CUDA] || 24.03.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task3_hdfs.md?ref_type=heads HDFS] || 07.04.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task4_mapreduce.md?ref_type=heads Map-Reduce] || 21.04.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task5_hive.md?ref_type=heads Hive] || 05.05.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task6_spark.md?ref_type=heads Spark] || 19.05.2025
|}

* Штраф за опоздание каждый день -5%, до достижения -75% (15 дней)

Сдавать и исправлять домашки можно до 28.05.2025

В случае болезни, справка продлевает дедлайн определённого дз ровно на число дней, которые в ней записаны и которые попадают на период определённого дз. Период дз - между двумя дедлайнами

==== Сервера ====
* MPI & OpenMP: <pre>ssh <user>@185.81.248.52 -p 2222</pre>
* CUDA: <pre>ssh <user>@lorien.atp-fivt.org</pre>
* Hadoop cluster: <pre>ssh <user>@mipt-client.atp-fivt.org</pre>

* В случае проблем с кластерами пишите на '''servers@atp-fivt.org'''

= Преподаватели =
* '''Руководитель курса'''
** Чернецкий Аркадий

* '''Лекторы'''
** Ивченко Олег
** Долуденко Алексей
** [[Участник:Ахтямов_Павел | Ахтямов Павел ]]
** Изабелла Затикян
** Леонид Меркин
** Вадим Опольский

* '''Семинаристы'''
** Чернецкий Аркадий
** Ахтямов Павел
** Дмитрий Павлов

* '''Учебные ассистенты'''
** Ховар Абдухоликзода
** Кочурова Ирина
** Дмитрий Николотов
** Лыгина Оксана
** Хабибулло Боймуродов

==== Контакт для организационных вопросов ====
Куратор курса [https://t.me/atpfpmi_curators @atpfpmi_curators]

= Критерии получения оценки =
Зачет выставляется на основании баллов, полученных в течение семестра.

== Мини-контрольные ==
Состоятся 3 теста. На контрольных нельзя пользоваться ничем и никем, кроме разрешённых смотрящими вещей. Код писать не потребуется.

{| class="wikitable"
|-
! Название
! Дата
! Длительность
|-
| HDFS & MapReduce || 14.04.2025 || 15 мин.
|-
| Hive & Spark || 28.04.2025 || 20 мин.
|-
| Zookeeper, Kafka, Cassandra || 19.05.2025 || 15 мин.
|}

= Литература =
=== MPI & OpenMP ===
# Антонов А.С. Технологии параллельного программирования MPI и OpenMP: Учеб. пособие. Предисл.: В.А.Садовничий. - М.: Издательство Московского университета, 2012.

=== CUDA ===
# Дж. Сандерс, Э. Кэррот. Технология CUDA в примерах и задачах, 2013 (рус).
# [http://courses.cms.caltech.edu/cs179/ Курс "GPU programming" в Caltech].
# [https://www.cs.bgu.ac.il/~graph161/wiki.files/09f-GPU%20-%20Scans.pdf Лекция по Scan курсе по комп. графике, Ben-Gurion university]
# [http://developer.download.nvidia.com/compute/cuda/1.1-Beta/x86_website/projects/scan/doc/scan.pdf Parallel Prefix Sum (Scan) with CUDA, Mark Harris, NVidia]
# Книги от Nvidia: [https://developer.nvidia.com/gpugems/gpugems/contributors GPU gems], [https://developer.nvidia.com/gpugems/gpugems2/inside-front-cover GPU gems 2], [https://developer.nvidia.com/gpugems/gpugems3/foreword GPU gems 3]. Особенно интересна глава 39 из [https://developer.nvidia.com/gpugems/gpugems3/part-vi-gpu-computing/chapter-39-parallel-prefix-sum-scan-cuda GPU Gems] про Scan.

=== HDFS ===
# [https://www.oreilly.com/library/view/hadoop-the-definitive/9781491901687/ T. White. "Hadoop. The definitive guide"], гл. 3 "Hadoop distributed filesystem". (есть русский перевод). 4е издание
# [https://storageconference.us/2010/Papers/MSST/Shvachko.pdf Статья про архитектуру HDFS от Константина Швачко (Yahoo!)]
# [http://www.blogjava.net/DLevin/archive/2015/01/25/422428.html Статья про архитектуру HDFS в блоге HortonWorks (Китайская копия :))]
# [http://blog.madhukaraphatak.com/secondary-namenode---what-it-really-do/ Что в действительности делает SNN]
# [https://nancyyanyu.github.io/posts/49a14c15/ Выдержка из курсов Яндекс про HDFS]

Параллельные и распределенные вычисления весна 2025

2025-03-24T08:23:11Z

Killerrati: /* Мини-контрольные */

= Общие сведения =
* Семестр: 6 (третий курс)
* Форма контроля: диф. зачет
* '''[https://docs.google.com/forms/d/e/1FAIpQLSdiXebJ4ddB7RybaVIPvsGiDoHmFBMNth2vIrhuXSlztsfDvg/viewform Форма регистрации на курс].
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vRvjUbLbXkpA6LTEsUfwWZ7rAqAxcjDT0hriRaPPKqjQg8oGhePyEGZZ-4kV8-i9-s-QiXjNQYFE1gH/pubhtml?gid=397546993&single=true План лекций, семинаров,домашних работ, контрольных]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vRvjUbLbXkpA6LTEsUfwWZ7rAqAxcjDT0hriRaPPKqjQg8oGhePyEGZZ-4kV8-i9-s-QiXjNQYFE1gH/pubhtml?gid=2040051800&single=true Таблица с оценками]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vRvjUbLbXkpA6LTEsUfwWZ7rAqAxcjDT0hriRaPPKqjQg8oGhePyEGZZ-4kV8-i9-s-QiXjNQYFE1gH/pubhtml?gid=633420430&single=true Статус проверки домашних заданий]
* [https://forms.gle/B73K4MYzpVf9izP1A Продление дедлайнов и дописывание КР]
* [https://t.me/+3s6XjCzFlaYxMzIy Телеграм-чат курса]

=== Материалы занятий ===
* [https://drive.google.com/drive/folders/132C2q7QfsV4nPJ_jjhKSqAo6ADO0gj-k?usp=sharing Записи лекций]
* [https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/materials?ref_type=heads Конспекты семинаров]

== Домашние задания ==
Планируется 6 домашних заданий. Проверка включает 2 этапа:
# прохождение автоматических тестов (начиная с ДЗ по CUDA).
# code review при условии выполненного п.1. Исправления по code review можно делать в течение '''1 месяца''' после 1-го комментария.

{| class="wikitable"
|-
! Название
! Дедлайн
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task1_mpi.md?ref_type=heads MPI] || 03.03.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task2_cuda.md?ref_type=heads CUDA] || 24.03.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task3_hdfs.md?ref_type=heads HDFS] || 07.04.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task4_mapreduce.md?ref_type=heads Map-Reduce] || 21.04.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task5_hive.md?ref_type=heads Hive] || 05.05.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task6_spark.md?ref_type=heads Spark] || 19.05.2025
|}

* Штраф за опоздание каждый день -5%, до достижения -75% (15 дней)

Сдавать и исправлять домашки можно до 28.05.2025

==== Сервера ====
* MPI & OpenMP: <pre>ssh <user>@185.81.248.52 -p 2222</pre>
* CUDA: <pre>ssh <user>@lorien.atp-fivt.org</pre>
* Hadoop cluster: <pre>ssh <user>@mipt-client.atp-fivt.org</pre>

* В случае проблем с кластерами пишите на '''servers@atp-fivt.org'''

= Преподаватели =
* '''Руководитель курса'''
** Чернецкий Аркадий

* '''Лекторы'''
** Ивченко Олег
** Долуденко Алексей
** [[Участник:Ахтямов_Павел | Ахтямов Павел ]]
** Изабелла Затикян
** Леонид Меркин
** Вадим Опольский

* '''Семинаристы'''
** Чернецкий Аркадий
** Ахтямов Павел
** Дмитрий Павлов

* '''Учебные ассистенты'''
** Ховар Абдухоликзода
** Кочурова Ирина
** Дмитрий Николотов
** Лыгина Оксана
** Хабибулло Боймуродов

==== Контакт для организационных вопросов ====
Куратор курса [https://t.me/atpfpmi_curators @atpfpmi_curators]

= Критерии получения оценки =
Зачет выставляется на основании баллов, полученных в течение семестра.

== Мини-контрольные ==
Состоятся 3 теста. На контрольных нельзя пользоваться ничем и никем, кроме разрешённых смотрящими вещей. Код писать не потребуется.

{| class="wikitable"
|-
! Название
! Дата
! Длительность
|-
| HDFS & MapReduce || 14.04.2025 || 15 мин.
|-
| Hive & Spark || 28.04.2025 || 20 мин.
|-
| Zookeeper, Kafka, Cassandra || 19.05.2025 || 15 мин.
|}

= Литература =
=== MPI & OpenMP ===
# Антонов А.С. Технологии параллельного программирования MPI и OpenMP: Учеб. пособие. Предисл.: В.А.Садовничий. - М.: Издательство Московского университета, 2012.

=== CUDA ===
# Дж. Сандерс, Э. Кэррот. Технология CUDA в примерах и задачах, 2013 (рус).
# [http://courses.cms.caltech.edu/cs179/ Курс "GPU programming" в Caltech].
# [https://www.cs.bgu.ac.il/~graph161/wiki.files/09f-GPU%20-%20Scans.pdf Лекция по Scan курсе по комп. графике, Ben-Gurion university]
# [http://developer.download.nvidia.com/compute/cuda/1.1-Beta/x86_website/projects/scan/doc/scan.pdf Parallel Prefix Sum (Scan) with CUDA, Mark Harris, NVidia]
# Книги от Nvidia: [https://developer.nvidia.com/gpugems/gpugems/contributors GPU gems], [https://developer.nvidia.com/gpugems/gpugems2/inside-front-cover GPU gems 2], [https://developer.nvidia.com/gpugems/gpugems3/foreword GPU gems 3]. Особенно интересна глава 39 из [https://developer.nvidia.com/gpugems/gpugems3/part-vi-gpu-computing/chapter-39-parallel-prefix-sum-scan-cuda GPU Gems] про Scan.

=== HDFS ===
# [https://www.oreilly.com/library/view/hadoop-the-definitive/9781491901687/ T. White. "Hadoop. The definitive guide"], гл. 3 "Hadoop distributed filesystem". (есть русский перевод). 4е издание
# [https://storageconference.us/2010/Papers/MSST/Shvachko.pdf Статья про архитектуру HDFS от Константина Швачко (Yahoo!)]
# [http://www.blogjava.net/DLevin/archive/2015/01/25/422428.html Статья про архитектуру HDFS в блоге HortonWorks (Китайская копия :))]
# [http://blog.madhukaraphatak.com/secondary-namenode---what-it-really-do/ Что в действительности делает SNN]
# [https://nancyyanyu.github.io/posts/49a14c15/ Выдержка из курсов Яндекс про HDFS]

Параллельные и распределенные вычисления весна 2025

2025-03-24T08:23:02Z

Killerrati: /* Мини-контрольные */

= Общие сведения =
* Семестр: 6 (третий курс)
* Форма контроля: диф. зачет
* '''[https://docs.google.com/forms/d/e/1FAIpQLSdiXebJ4ddB7RybaVIPvsGiDoHmFBMNth2vIrhuXSlztsfDvg/viewform Форма регистрации на курс].
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vRvjUbLbXkpA6LTEsUfwWZ7rAqAxcjDT0hriRaPPKqjQg8oGhePyEGZZ-4kV8-i9-s-QiXjNQYFE1gH/pubhtml?gid=397546993&single=true План лекций, семинаров,домашних работ, контрольных]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vRvjUbLbXkpA6LTEsUfwWZ7rAqAxcjDT0hriRaPPKqjQg8oGhePyEGZZ-4kV8-i9-s-QiXjNQYFE1gH/pubhtml?gid=2040051800&single=true Таблица с оценками]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vRvjUbLbXkpA6LTEsUfwWZ7rAqAxcjDT0hriRaPPKqjQg8oGhePyEGZZ-4kV8-i9-s-QiXjNQYFE1gH/pubhtml?gid=633420430&single=true Статус проверки домашних заданий]
* [https://forms.gle/B73K4MYzpVf9izP1A Продление дедлайнов и дописывание КР]
* [https://t.me/+3s6XjCzFlaYxMzIy Телеграм-чат курса]

=== Материалы занятий ===
* [https://drive.google.com/drive/folders/132C2q7QfsV4nPJ_jjhKSqAo6ADO0gj-k?usp=sharing Записи лекций]
* [https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/materials?ref_type=heads Конспекты семинаров]

== Домашние задания ==
Планируется 6 домашних заданий. Проверка включает 2 этапа:
# прохождение автоматических тестов (начиная с ДЗ по CUDA).
# code review при условии выполненного п.1. Исправления по code review можно делать в течение '''1 месяца''' после 1-го комментария.

{| class="wikitable"
|-
! Название
! Дедлайн
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task1_mpi.md?ref_type=heads MPI] || 03.03.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task2_cuda.md?ref_type=heads CUDA] || 24.03.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task3_hdfs.md?ref_type=heads HDFS] || 07.04.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task4_mapreduce.md?ref_type=heads Map-Reduce] || 21.04.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task5_hive.md?ref_type=heads Hive] || 05.05.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task6_spark.md?ref_type=heads Spark] || 19.05.2025
|}

* Штраф за опоздание каждый день -5%, до достижения -75% (15 дней)

Сдавать и исправлять домашки можно до 28.05.2025

==== Сервера ====
* MPI & OpenMP: <pre>ssh <user>@185.81.248.52 -p 2222</pre>
* CUDA: <pre>ssh <user>@lorien.atp-fivt.org</pre>
* Hadoop cluster: <pre>ssh <user>@mipt-client.atp-fivt.org</pre>

* В случае проблем с кластерами пишите на '''servers@atp-fivt.org'''

= Преподаватели =
* '''Руководитель курса'''
** Чернецкий Аркадий

* '''Лекторы'''
** Ивченко Олег
** Долуденко Алексей
** [[Участник:Ахтямов_Павел | Ахтямов Павел ]]
** Изабелла Затикян
** Леонид Меркин
** Вадим Опольский

* '''Семинаристы'''
** Чернецкий Аркадий
** Ахтямов Павел
** Дмитрий Павлов

* '''Учебные ассистенты'''
** Ховар Абдухоликзода
** Кочурова Ирина
** Дмитрий Николотов
** Лыгина Оксана
** Хабибулло Боймуродов

==== Контакт для организационных вопросов ====
Куратор курса [https://t.me/atpfpmi_curators @atpfpmi_curators]

= Критерии получения оценки =
Зачет выставляется на основании баллов, полученных в течение семестра.

== Мини-контрольные ==
Состоятся 3 теста. На контрольных нельзя пользоваться ничем и никем, кроме разрешённых смотрящими вещей. Код писать не потребуется.

{| class="wikitable"
|-
! Название
! Дата
! Длительность
|-
| HDFS & MapReduce || 14.04.2025 || 15 мин.
|-
| Hive & Spark || 28.04.2025 || 20 мин.
|-
| Zookeeper, Kafka, Cassandra || 19.05 || 15 мин.
|}

= Литература =
=== MPI & OpenMP ===
# Антонов А.С. Технологии параллельного программирования MPI и OpenMP: Учеб. пособие. Предисл.: В.А.Садовничий. - М.: Издательство Московского университета, 2012.

=== CUDA ===
# Дж. Сандерс, Э. Кэррот. Технология CUDA в примерах и задачах, 2013 (рус).
# [http://courses.cms.caltech.edu/cs179/ Курс "GPU programming" в Caltech].
# [https://www.cs.bgu.ac.il/~graph161/wiki.files/09f-GPU%20-%20Scans.pdf Лекция по Scan курсе по комп. графике, Ben-Gurion university]
# [http://developer.download.nvidia.com/compute/cuda/1.1-Beta/x86_website/projects/scan/doc/scan.pdf Parallel Prefix Sum (Scan) with CUDA, Mark Harris, NVidia]
# Книги от Nvidia: [https://developer.nvidia.com/gpugems/gpugems/contributors GPU gems], [https://developer.nvidia.com/gpugems/gpugems2/inside-front-cover GPU gems 2], [https://developer.nvidia.com/gpugems/gpugems3/foreword GPU gems 3]. Особенно интересна глава 39 из [https://developer.nvidia.com/gpugems/gpugems3/part-vi-gpu-computing/chapter-39-parallel-prefix-sum-scan-cuda GPU Gems] про Scan.

=== HDFS ===
# [https://www.oreilly.com/library/view/hadoop-the-definitive/9781491901687/ T. White. "Hadoop. The definitive guide"], гл. 3 "Hadoop distributed filesystem". (есть русский перевод). 4е издание
# [https://storageconference.us/2010/Papers/MSST/Shvachko.pdf Статья про архитектуру HDFS от Константина Швачко (Yahoo!)]
# [http://www.blogjava.net/DLevin/archive/2015/01/25/422428.html Статья про архитектуру HDFS в блоге HortonWorks (Китайская копия :))]
# [http://blog.madhukaraphatak.com/secondary-namenode---what-it-really-do/ Что в действительности делает SNN]
# [https://nancyyanyu.github.io/posts/49a14c15/ Выдержка из курсов Яндекс про HDFS]

Параллельные и распределенные вычисления весна 2025

2025-02-02T20:35:42Z

Killerrati:

= Общие сведения =
* Семестр: 6 (третий курс)
* Форма контроля: диф. зачет
* '''[https://docs.google.com/forms/d/e/1FAIpQLSdiXebJ4ddB7RybaVIPvsGiDoHmFBMNth2vIrhuXSlztsfDvg/viewform Форма регистрации на курс].
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vRvjUbLbXkpA6LTEsUfwWZ7rAqAxcjDT0hriRaPPKqjQg8oGhePyEGZZ-4kV8-i9-s-QiXjNQYFE1gH/pubhtml?gid=397546993&single=true План лекций, семинаров,домашних работ, контрольных]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vRvjUbLbXkpA6LTEsUfwWZ7rAqAxcjDT0hriRaPPKqjQg8oGhePyEGZZ-4kV8-i9-s-QiXjNQYFE1gH/pubhtml?gid=2040051800&single=true Таблица с оценками]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vRvjUbLbXkpA6LTEsUfwWZ7rAqAxcjDT0hriRaPPKqjQg8oGhePyEGZZ-4kV8-i9-s-QiXjNQYFE1gH/pubhtml?gid=633420430&single=true Статус проверки домашних заданий]
* [https://forms.gle/B73K4MYzpVf9izP1A Продление дедлайнов и дописывание КР]
* [https://t.me/+3s6XjCzFlaYxMzIy Телеграм-чат курса]

=== Материалы занятий ===
* [https://drive.google.com/drive/folders/132C2q7QfsV4nPJ_jjhKSqAo6ADO0gj-k?usp=sharing Записи лекций]
* [https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/materials?ref_type=heads Конспекты семинаров]

== Домашние задания ==
Планируется 6 домашних заданий. Проверка включает 2 этапа:
# прохождение автоматических тестов (начиная с ДЗ по CUDA).
# code review при условии выполненного п.1. Исправления по code review можно делать в течение '''1 месяца''' после 1-го комментария.

{| class="wikitable"
|-
! Название
! Дедлайн
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task1_mpi.md?ref_type=heads MPI] || 03.03.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task2_cuda.md?ref_type=heads CUDA] || 24.03.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task3_hdfs.md?ref_type=heads HDFS] || 07.04.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task4_mapreduce.md?ref_type=heads Map-Reduce] || 21.04.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task5_hive.md?ref_type=heads Hive] || 05.05.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task6_spark.md?ref_type=heads Spark] || 19.05.2025
|}

* Штраф за опоздание каждый день -5%, до достижения -75% (15 дней)

Сдавать и исправлять домашки можно до 28.05.2025

==== Сервера ====
* MPI & OpenMP: <pre>ssh <user>@185.81.248.52 -p 2222</pre>
* CUDA: <pre>ssh <user>@lorien.atp-fivt.org</pre>
* Hadoop cluster: <pre>ssh <user>@mipt-client.atp-fivt.org</pre>

* В случае проблем с кластерами пишите на '''servers@atp-fivt.org'''

= Преподаватели =
* '''Руководитель курса'''
** Чернецкий Аркадий

* '''Лекторы'''
** Ивченко Олег
** Долуденко Алексей
** Ахтямов Павел
** Изабелла Затикян
** Леонид Меркин
** Вадим Опольский

* '''Семинаристы'''
** Чернецкий Аркадий
** Ахтямов Павел
** Дмитрий Павлов

* '''Учебные ассистенты'''
** Ховар Абдухоликзода
** Кочурова Ирина
** Дмитрий Николотов
** Лыгина Оксана
** Хабибулло Боймуродов

==== Контакт для организационных вопросов ====
Куратор курса [https://t.me/atpfpmi_curators @atpfpmi_curators]

= Критерии получения оценки =
Зачет выставляется на основании баллов, полученных в течение семестра.

== Мини-контрольные ==
Состоятся 3 теста. На контрольных нельзя пользоваться ничем и никем, кроме разрешённых смотрящими вещей. Код писать не потребуется.

{| class="wikitable"
|-
! Название
! Дата
! Длительность
|-
| HDFS & MapReduce || 15 мин.
|-
| Hive & Spark || 20 мин.
|-
| Zookeeper, Kafka, Cassandra || 15 мин.
|}

= Литература =
=== MPI & OpenMP ===
# Антонов А.С. Технологии параллельного программирования MPI и OpenMP: Учеб. пособие. Предисл.: В.А.Садовничий. - М.: Издательство Московского университета, 2012.

=== CUDA ===
# Дж. Сандерс, Э. Кэррот. Технология CUDA в примерах и задачах, 2013 (рус).
# [http://courses.cms.caltech.edu/cs179/ Курс "GPU programming" в Caltech].
# [https://www.cs.bgu.ac.il/~graph161/wiki.files/09f-GPU%20-%20Scans.pdf Лекция по Scan курсе по комп. графике, Ben-Gurion university]
# [http://developer.download.nvidia.com/compute/cuda/1.1-Beta/x86_website/projects/scan/doc/scan.pdf Parallel Prefix Sum (Scan) with CUDA, Mark Harris, NVidia]
# Книги от Nvidia: [https://developer.nvidia.com/gpugems/gpugems/contributors GPU gems], [https://developer.nvidia.com/gpugems/gpugems2/inside-front-cover GPU gems 2], [https://developer.nvidia.com/gpugems/gpugems3/foreword GPU gems 3]. Особенно интересна глава 39 из [https://developer.nvidia.com/gpugems/gpugems3/part-vi-gpu-computing/chapter-39-parallel-prefix-sum-scan-cuda GPU Gems] про Scan.

=== HDFS ===
# [https://www.oreilly.com/library/view/hadoop-the-definitive/9781491901687/ T. White. "Hadoop. The definitive guide"], гл. 3 "Hadoop distributed filesystem". (есть русский перевод). 4е издание
# [https://storageconference.us/2010/Papers/MSST/Shvachko.pdf Статья про архитектуру HDFS от Константина Швачко (Yahoo!)]
# [http://www.blogjava.net/DLevin/archive/2015/01/25/422428.html Статья про архитектуру HDFS в блоге HortonWorks (Китайская копия :))]
# [http://blog.madhukaraphatak.com/secondary-namenode---what-it-really-do/ Что в действительности делает SNN]
# [https://nancyyanyu.github.io/posts/49a14c15/ Выдержка из курсов Яндекс про HDFS]

Параллельные и распределенные вычисления весна 2025

2025-02-02T13:16:40Z

Killerrati:

= Общие сведения =
* Семестр: 6 (третий курс)
* Форма контроля: диф. зачет
* '''[https://docs.google.com/forms/d/e/1FAIpQLSdiXebJ4ddB7RybaVIPvsGiDoHmFBMNth2vIrhuXSlztsfDvg/viewform Форма регистрации на курс].
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vRvjUbLbXkpA6LTEsUfwWZ7rAqAxcjDT0hriRaPPKqjQg8oGhePyEGZZ-4kV8-i9-s-QiXjNQYFE1gH/pubhtml?gid=397546993&single=true План лекций, семинаров,домашних работ, контрольных]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vRvjUbLbXkpA6LTEsUfwWZ7rAqAxcjDT0hriRaPPKqjQg8oGhePyEGZZ-4kV8-i9-s-QiXjNQYFE1gH/pubhtml?gid=2040051800&single=true Таблица с оценками]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vRvjUbLbXkpA6LTEsUfwWZ7rAqAxcjDT0hriRaPPKqjQg8oGhePyEGZZ-4kV8-i9-s-QiXjNQYFE1gH/pubhtml?gid=633420430&single=true Статус проверки домашних заданий]
* [https://forms.gle/B73K4MYzpVf9izP1A Продление дедлайнов и дописывание КР]
* [https://t.me/+3s6XjCzFlaYxMzIy Телеграм-чат курса]

=== Материалы занятий ===
* [https://drive.google.com/drive/folders/132C2q7QfsV4nPJ_jjhKSqAo6ADO0gj-k?usp=sharing Записи лекций]
* [https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/materials?ref_type=heads Конспекты семинаров]

== Домашние задания ==
Планируется 6 домашних заданий. Проверка включает 2 этапа:
# прохождение автоматических тестов (начиная с ДЗ по CUDA).
# code review при условии выполненного п.1. Исправления по code review можно делать в течение '''1 месяца''' после 1-го комментария.

{| class="wikitable"
|-
! Название
! Мягкий дедлайн
! Жёсткий дедлайн
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task1_mpi.md?ref_type=heads MPI] || 03.03.2025 || 10.03.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task2_cuda.md?ref_type=heads CUDA] || 24.03.2025 || 31.03.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task3_hdfs.md?ref_type=heads HDFS] || 07.04.2025 || 14.04.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task4_mapreduce.md?ref_type=heads Map-Reduce] || 21.04.2025 || 28.04.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task5_hive.md?ref_type=heads Hive] || 05.05.2025 || 12.05.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task6_spark.md?ref_type=heads Spark] || 19.05.2025 || 26.05.2025
|}

* Штраф за опоздание по soft deadline: -50%
* Штраф за опоздание по hard deadline: -75%

Сдавать и исправлять домашки можно до 28.05.2025

==== Сервера ====
* MPI & OpenMP: <pre>ssh <user>@185.81.248.52 -p 2222</pre>
* CUDA: <pre>ssh <user>@lorien.atp-fivt.org</pre>
* Hadoop cluster: <pre>ssh <user>@mipt-client.atp-fivt.org</pre>

* В случае проблем с кластерами пишите на '''servers@atp-fivt.org'''

= Преподаватели =
* '''Руководитель курса'''
** Чернецкий Аркадий

* '''Лекторы'''
** Ивченко Олег
** Долуденко Алексей
** Ахтямов Павел
** Изабелла Затикян
** Леонид Меркин
** Вадим Опольский

* '''Семинаристы'''
** Чернецкий Аркадий
** Ахтямов Павел
** Дмитрий Павлов

* '''Учебные ассистенты'''
** Ховар Абдухоликзода
** Кочурова Ирина
** Дмитрий Николотов
** Лыгина Оксана
** Хабибулло Боймуродов

==== Контакт для организационных вопросов ====
Куратор курса [https://t.me/atpfpmi_curators @atpfpmi_curators]

= Критерии получения оценки =
Зачет выставляется на основании баллов, полученных в течение семестра.

== Мини-контрольные ==
Состоятся 3 теста. На контрольных нельзя пользоваться ничем и никем, кроме разрешённых смотрящими вещей. Код писать не потребуется.

{| class="wikitable"
|-
! Название
! Дата
! Длительность
|-
| HDFS & MapReduce || 15 мин.
|-
| Hive & Spark || 20 мин.
|-
| Zookeeper, Kafka, Cassandra || 15 мин.
|}

= Литература =
=== MPI & OpenMP ===
# Антонов А.С. Технологии параллельного программирования MPI и OpenMP: Учеб. пособие. Предисл.: В.А.Садовничий. - М.: Издательство Московского университета, 2012.

=== CUDA ===
# Дж. Сандерс, Э. Кэррот. Технология CUDA в примерах и задачах, 2013 (рус).
# [http://courses.cms.caltech.edu/cs179/ Курс "GPU programming" в Caltech].
# [https://www.cs.bgu.ac.il/~graph161/wiki.files/09f-GPU%20-%20Scans.pdf Лекция по Scan курсе по комп. графике, Ben-Gurion university]
# [http://developer.download.nvidia.com/compute/cuda/1.1-Beta/x86_website/projects/scan/doc/scan.pdf Parallel Prefix Sum (Scan) with CUDA, Mark Harris, NVidia]
# Книги от Nvidia: [https://developer.nvidia.com/gpugems/gpugems/contributors GPU gems], [https://developer.nvidia.com/gpugems/gpugems2/inside-front-cover GPU gems 2], [https://developer.nvidia.com/gpugems/gpugems3/foreword GPU gems 3]. Особенно интересна глава 39 из [https://developer.nvidia.com/gpugems/gpugems3/part-vi-gpu-computing/chapter-39-parallel-prefix-sum-scan-cuda GPU Gems] про Scan.

=== HDFS ===
# [https://www.oreilly.com/library/view/hadoop-the-definitive/9781491901687/ T. White. "Hadoop. The definitive guide"], гл. 3 "Hadoop distributed filesystem". (есть русский перевод). 4е издание
# [https://storageconference.us/2010/Papers/MSST/Shvachko.pdf Статья про архитектуру HDFS от Константина Швачко (Yahoo!)]
# [http://www.blogjava.net/DLevin/archive/2015/01/25/422428.html Статья про архитектуру HDFS в блоге HortonWorks (Китайская копия :))]
# [http://blog.madhukaraphatak.com/secondary-namenode---what-it-really-do/ Что в действительности делает SNN]
# [https://nancyyanyu.github.io/posts/49a14c15/ Выдержка из курсов Яндекс про HDFS]

Параллельные и распределенные вычисления весна 2025

2025-02-02T12:58:10Z

Killerrati:

= Общие сведения =
* Семестр: 6 (третий курс)
* Форма контроля: диф. зачет
* '''[https://docs.google.com/forms/d/e/1FAIpQLSdiXebJ4ddB7RybaVIPvsGiDoHmFBMNth2vIrhuXSlztsfDvg/viewform Форма регистрации на курс].
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vRvjUbLbXkpA6LTEsUfwWZ7rAqAxcjDT0hriRaPPKqjQg8oGhePyEGZZ-4kV8-i9-s-QiXjNQYFE1gH/pubhtml?gid=397546993&single=true План лекций, семинаров,домашних работ, контрольных]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vRvjUbLbXkpA6LTEsUfwWZ7rAqAxcjDT0hriRaPPKqjQg8oGhePyEGZZ-4kV8-i9-s-QiXjNQYFE1gH/pubhtml?gid=2040051800&single=true Таблица с оценками]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vRvjUbLbXkpA6LTEsUfwWZ7rAqAxcjDT0hriRaPPKqjQg8oGhePyEGZZ-4kV8-i9-s-QiXjNQYFE1gH/pubhtml?gid=633420430&single=true Статус проверки домашних заданий]
* [https://forms.gle/B73K4MYzpVf9izP1A Продление дедлайнов и дописывание КР]
* [https://t.me/+3s6XjCzFlaYxMzIy Телеграм-чат курса]

=== Материалы занятий ===
* [https://drive.google.com/drive/folders/132C2q7QfsV4nPJ_jjhKSqAo6ADO0gj-k?usp=sharing Записи лекций]
* [https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/materials?ref_type=heads Конспекты семинаров]

== Домашние задания ==
Планируется 6 домашних заданий. Проверка включает 2 этапа:
# прохождение автоматических тестов (начиная с ДЗ по CUDA).
# code review при условии выполненного п.1. Исправления по code review можно делать в течение '''1 месяца''' после 1-го комментария.

{| class="wikitable"
|-
! Название
! Мягкий дедлайн
! Жёсткий дедлайн
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task1_mpi.md?ref_type=heads MPI] || 03.03.2025 || 10.03.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task2_cuda.md?ref_type=heads CUDA] || 24.03.2025 || 31.03.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task3_hdfs.md?ref_type=heads HDFS] || 07.04.2025 || 14.04.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task4_mapreduce.md?ref_type=heads Map-Reduce] || 21.04.2025 || 28.04.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task5_hive.md?ref_type=heads Hive] || 05.05.2025 || 12.05.2025
|-
| [https://gitlab.atp-fivt.org/courses-public/pd/global/-/blob/main/homeworks/task6_spark.md?ref_type=heads Spark] || 19.05.2025 || 26.05.2025
|}

[https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/homeworks?ref_type=heads Репозиторий с домашками]

* Штраф за опоздание по soft deadline: -50%
* Штраф за опоздание по hard deadline: -75%

Сдавать и исправлять домашки можно до .

==== Сервера ====
* MPI & OpenMP: <pre>ssh <user>@185.81.248.52 -p 2222</pre>
* CUDA: <pre>ssh <user>@lorien.atp-fivt.org</pre>
* Hadoop cluster: <pre>ssh <user>@mipt-client.atp-fivt.org</pre>

* В случае проблем с кластерами пишите на '''servers@atp-fivt.org'''

= Преподаватели =
* '''Руководитель курса'''
** Чернецкий Аркадий

* '''Лекторы'''
** Ивченко Олег
** Долуденко Алексей
** Ахтямов Павел
** Изабелла Затикян
** Леонид Меркин
** Вадим Опольский

* '''Семинаристы'''
** Чернецкий Аркадий
** Ахтямов Павел
** Дмитрий Павлов

* '''Учебные ассистенты'''
** Ховар Абдухоликзода
** Кочурова Ирина
** Дмитрий Николотов
** Лыгина Оксана
** Хабибулло Боймуродов

==== Контакт для организационных вопросов ====
Куратор курса [https://t.me/atpfpmi_curators @atpfpmi_curators]

= Критерии получения оценки =
Зачет выставляется на основании баллов, полученных в течение семестра.

== Мини-контрольные ==
Состоятся 3 теста. На контрольных нельзя пользоваться ничем и никем, кроме разрешённых смотрящими вещей. Код писать не потребуется.

{| class="wikitable"
|-
! Название
! Дата
! Длительность
|-
| PD-2024a. HDFS & MapReduce || 15 мин.
|-
| PD-2024a. Hive & Spark || 20 мин.
|-
| PD-2024a. Zookeeper, Kafka, Cassandra || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату, или не получается сдать домашнее задание вовремя по технической или другой уважительной причине, просьба заполнить [https://forms.gle/WxCKSuf8GmdFyR4K9 '''форму на дописывание'''].
* PD-2025a. Дописывание. HDFS & MAPREDUCE
* PD-2025a. Дописывание. Hive & Spark

= Литература =
=== MPI & OpenMP ===
# Антонов А.С. Технологии параллельного программирования MPI и OpenMP: Учеб. пособие. Предисл.: В.А.Садовничий. - М.: Издательство Московского университета, 2012.

=== CUDA ===
# Дж. Сандерс, Э. Кэррот. Технология CUDA в примерах и задачах, 2013 (рус).
# [http://courses.cms.caltech.edu/cs179/ Курс "GPU programming" в Caltech].
# [https://www.cs.bgu.ac.il/~graph161/wiki.files/09f-GPU%20-%20Scans.pdf Лекция по Scan курсе по комп. графике, Ben-Gurion university]
# [http://developer.download.nvidia.com/compute/cuda/1.1-Beta/x86_website/projects/scan/doc/scan.pdf Parallel Prefix Sum (Scan) with CUDA, Mark Harris, NVidia]
# Книги от Nvidia: [https://developer.nvidia.com/gpugems/gpugems/contributors GPU gems], [https://developer.nvidia.com/gpugems/gpugems2/inside-front-cover GPU gems 2], [https://developer.nvidia.com/gpugems/gpugems3/foreword GPU gems 3]. Особенно интересна глава 39 из [https://developer.nvidia.com/gpugems/gpugems3/part-vi-gpu-computing/chapter-39-parallel-prefix-sum-scan-cuda GPU Gems] про Scan.

=== HDFS ===
# [https://www.oreilly.com/library/view/hadoop-the-definitive/9781491901687/ T. White. "Hadoop. The definitive guide"], гл. 3 "Hadoop distributed filesystem". (есть русский перевод). 4е издание
# [https://storageconference.us/2010/Papers/MSST/Shvachko.pdf Статья про архитектуру HDFS от Константина Швачко (Yahoo!)]
# [http://www.blogjava.net/DLevin/archive/2015/01/25/422428.html Статья про архитектуру HDFS в блоге HortonWorks (Китайская копия :))]
# [http://blog.madhukaraphatak.com/secondary-namenode---what-it-really-do/ Что в действительности делает SNN]
# [https://nancyyanyu.github.io/posts/49a14c15/ Выдержка из курсов Яндекс про HDFS]

Параллельные и распределенные вычисления весна 2025

2025-02-02T12:29:45Z

Killerrati:

= Общие сведения =
* Семестр: 6 (третий курс)
* Форма контроля: диф. зачет
* '''[https://docs.google.com/forms/d/e/1FAIpQLSdiXebJ4ddB7RybaVIPvsGiDoHmFBMNth2vIrhuXSlztsfDvg/viewform Форма регистрации на курс].
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vRvjUbLbXkpA6LTEsUfwWZ7rAqAxcjDT0hriRaPPKqjQg8oGhePyEGZZ-4kV8-i9-s-QiXjNQYFE1gH/pubhtml?gid=397546993&single=true План лекций, семинаров,домашних работ, контрольных]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vRvjUbLbXkpA6LTEsUfwWZ7rAqAxcjDT0hriRaPPKqjQg8oGhePyEGZZ-4kV8-i9-s-QiXjNQYFE1gH/pubhtml?gid=2040051800&single=true Таблица с оценками]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vRvjUbLbXkpA6LTEsUfwWZ7rAqAxcjDT0hriRaPPKqjQg8oGhePyEGZZ-4kV8-i9-s-QiXjNQYFE1gH/pubhtml?gid=633420430&single=true Статус проверки домашних заданий]
* [https://forms.gle/B73K4MYzpVf9izP1A Продление дедлайнов и дописывание КР]
* [https://t.me/+3s6XjCzFlaYxMzIy Телеграм-чат курса]

=== Материалы занятий ===
* [https://drive.google.com/drive/folders/132C2q7QfsV4nPJ_jjhKSqAo6ADO0gj-k?usp=sharing Записи лекций]
* [https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/materials?ref_type=heads Конспекты семинаров]

===== Семинары =====
* [https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/materials?ref_type=heads Коды и презентации семинаров]

*[https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/homeworks?ref_type=heads '''Домашние задания''']
*[https://docs.google.com/spreadsheets/d/1rxr465J4VtRxXnRtID1aRy0RzhpBltpjJYKximAQMB8/edit#gid=0 Интересные ссылки]

==== Сервера ====
* MPI & OpenMP: <pre>ssh <user>@185.81.248.52 -p 2222</pre>
* CUDA: <pre>ssh <user>@lorien.atp-fivt.org</pre>
* Hadoop cluster: <pre>ssh <user>@mipt-client.atp-fivt.org</pre>

* В случае проблем с кластерами пишите на '''servers@atp-fivt.org'''

= Преподаватели =
* '''Руководитель курса'''
** Чернецкий Аркадий

* '''Лекторы'''
** Ивченко Олег
** Долуденко Алексей
** Ахтямов Павел
** Изабелла Затикян
** Леонид Меркин
** Вадим Опольский

* '''Семинаристы'''
** Чернецкий Аркадий
** Ахтямов Павел
** Дмитрий Павлов

* '''Учебные ассистенты'''
** Ховар Абдухоликзода
** Кочурова Ирина
** Дмитрий Николотов
** Лыгина Оксана
** Хабибулло Боймуродов

==== Контакт для организационных вопросов ====
Куратор курса [https://t.me/atpfpmi_curators @atpfpmi_curators]

= Критерии получения оценки =
Зачет выставляется на основании баллов, полученных в течение семестра.

== Домашние задания ==
Планируется 6 домашних заданий. Проверка включает 2 этапа:
# прохождение автоматических тестов (начиная с ДЗ по CUDA).
# code review при условии выполненного п.1. Исправления по code review можно делать в течение '''1 месяца''' после 1-го комментария.

{| class="wikitable"
|-
! Название
! Мягкий дедлайн
! Жёсткий дедлайн
|-
| PD-2024a. MPI || 30.09.2024 || 07.10.2024
|-
| PD-2024a. CUDA || 21.10.2024 || 28.10.2024
|-
| PD-2024a. HDFS || 11.11.2024 || 18.11.2024
|-
| PD-2024a. Map-Reduce || 02.12.2024 || 09.12.2024
|-
| PD-2024a. Hive || 16.12.2024 || 23.12.2024
|-
| PD-2024a. Spark || 30.12.2024 || 06.01.2024
|}

[https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/homeworks?ref_type=heads Репозиторий с домашками]

* Штраф за опоздание по soft deadline: -50%
* Штраф за опоздание по hard deadline: -75%

Сдавать и исправлять домашки можно до .

== Мини-контрольные ==
Состоятся 3 теста. На контрольных нельзя пользоваться ничем и никем, кроме разрешённых смотрящими вещей. Код писать не потребуется.

{| class="wikitable"
|-
! Название
! Дата
! Длительность
|-
| PD-2024a. HDFS & MapReduce || 15 мин.
|-
| PD-2024a. Hive & Spark || 20 мин.
|-
| PD-2024a. Zookeeper, Kafka, Cassandra || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату, или не получается сдать домашнее задание вовремя по технической или другой уважительной причине, просьба заполнить [https://forms.gle/WxCKSuf8GmdFyR4K9 '''форму на дописывание'''].
* PD-2025a. Дописывание. HDFS & MAPREDUCE
* PD-2025a. Дописывание. Hive & Spark

= Литература =
=== MPI & OpenMP ===
# Антонов А.С. Технологии параллельного программирования MPI и OpenMP: Учеб. пособие. Предисл.: В.А.Садовничий. - М.: Издательство Московского университета, 2012.

=== CUDA ===
# Дж. Сандерс, Э. Кэррот. Технология CUDA в примерах и задачах, 2013 (рус).
# [http://courses.cms.caltech.edu/cs179/ Курс "GPU programming" в Caltech].
# [https://www.cs.bgu.ac.il/~graph161/wiki.files/09f-GPU%20-%20Scans.pdf Лекция по Scan курсе по комп. графике, Ben-Gurion university]
# [http://developer.download.nvidia.com/compute/cuda/1.1-Beta/x86_website/projects/scan/doc/scan.pdf Parallel Prefix Sum (Scan) with CUDA, Mark Harris, NVidia]
# Книги от Nvidia: [https://developer.nvidia.com/gpugems/gpugems/contributors GPU gems], [https://developer.nvidia.com/gpugems/gpugems2/inside-front-cover GPU gems 2], [https://developer.nvidia.com/gpugems/gpugems3/foreword GPU gems 3]. Особенно интересна глава 39 из [https://developer.nvidia.com/gpugems/gpugems3/part-vi-gpu-computing/chapter-39-parallel-prefix-sum-scan-cuda GPU Gems] про Scan.

=== HDFS ===
# [https://www.oreilly.com/library/view/hadoop-the-definitive/9781491901687/ T. White. "Hadoop. The definitive guide"], гл. 3 "Hadoop distributed filesystem". (есть русский перевод). 4е издание
# [https://storageconference.us/2010/Papers/MSST/Shvachko.pdf Статья про архитектуру HDFS от Константина Швачко (Yahoo!)]
# [http://www.blogjava.net/DLevin/archive/2015/01/25/422428.html Статья про архитектуру HDFS в блоге HortonWorks (Китайская копия :))]
# [http://blog.madhukaraphatak.com/secondary-namenode---what-it-really-do/ Что в действительности делает SNN]
# [https://nancyyanyu.github.io/posts/49a14c15/ Выдержка из курсов Яндекс про HDFS]

Параллельные и распределенные вычисления весна 2025

2025-02-02T11:45:39Z

Killerrati:

= Общие сведения =
* Семестр: 6 (третий курс)
* Форма контроля: диф. зачет
* '''[https://docs.google.com/forms/d/e/1FAIpQLSdiXebJ4ddB7RybaVIPvsGiDoHmFBMNth2vIrhuXSlztsfDvg/viewform Форма регистрации на курс].
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vRvjUbLbXkpA6LTEsUfwWZ7rAqAxcjDT0hriRaPPKqjQg8oGhePyEGZZ-4kV8-i9-s-QiXjNQYFE1gH/pubhtml?gid=397546993&single=true План лекций, семинаров,домашних работ, контрольных]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vRvjUbLbXkpA6LTEsUfwWZ7rAqAxcjDT0hriRaPPKqjQg8oGhePyEGZZ-4kV8-i9-s-QiXjNQYFE1gH/pubhtml?gid=2040051800&single=true Таблица с оценками]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vRvjUbLbXkpA6LTEsUfwWZ7rAqAxcjDT0hriRaPPKqjQg8oGhePyEGZZ-4kV8-i9-s-QiXjNQYFE1gH/pubhtml?gid=633420430&single=true Статус проверки домашних заданий]
* [https://forms.gle/B73K4MYzpVf9izP1A Продление дедлайнов и дописывание КР]
* [https://t.me/+wnu4eAfEXrE0MTdi Телеграм-чат курса]

=== Материалы занятий ===
Доступ открыт для всех аккаунтов @phystech.edu.

===== Лекции =====
* 2024 г. осень
* [https://drive.google.com/drive/folders/1kgzEzb6MNp5AuCVhWSAYZDwCRnUbf2ao Видео лекций].
* [https://drive.google.com/drive/folders/1WukRMRs74gcn5lEo5yNu6mz-AWBkkrIg?usp=sharing Видео лекций].
* [https://drive.google.com/drive/folders/1EjlJPwShH2UkMsxaFLIfvkYoAcKH3pnW?usp=sharing Слайды презентаций]

* 2024 г. весна
* [https://www.youtube.com/playlist?list=PL4_hYwCyhAvaZsPvosV8WBajIgflGK44j Видео лекций YouTube].
* [https://drive.google.com/drive/folders/1WukRMRs74gcn5lEo5yNu6mz-AWBkkrIg?usp=sharing Видео лекций].
* [https://drive.google.com/drive/folders/1EjlJPwShH2UkMsxaFLIfvkYoAcKH3pnW?usp=sharing Слайды презентаций]

* 2023 г. весна
* [https://drive.google.com/drive/folders/1arIrxYGJ144cHpZ72uGI5mBsFWolczfF?usp=share_link Видео лекций].
** [https://youtube.com/playlist?list=PLfibPMPn-PgyfrdrfmxvEAXtcjw7yfZmL Скринкасты лекций по CUDA]
* [https://drive.google.com/drive/folders/1eH2pePnbu3KqiRYtcBpDFffZXMXGA6-H?usp=share_link Слайды презентаций]

* 2023 г. осень
* [https://www.youtube.com/playlist?list=PL4_hYwCyhAvaZsPvosV8WBajIgflGK44j Видео лекций].
* [https://drive.google.com/drive/folders/1diehaQajFhzbYTLAAqmT0R_NRqU25JJX?usp=sharing Слайды презентаций]

* 2022 г. весна
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdflFRaUJveTdvR2REdDVxTkp1cm1VRnRNWmdsSGcxWlI4Y1kyVTJmZWtBWE0?resourcekey=0-sk8F-iNm8_2O8g7SDG24IA&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfllmTmtMbk44V0ZkT2xtc0dXbWoweGlDQmRSTE5lT0o5dk1yd3FaOTFZOEE?resourcekey=0-P5pBLFMpgXuVvFn8dB4nXA&usp=sharing Семинары]

* 2021 г.
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfnNPS3JFdEdpTHM5aVFZR3dmdnlrdFNKcjlfa0dLY0lFb2l3cmtsM2VXT2s?resourcekey=0-rE3AAeTCn3pf0dgfGS86Qg&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfjBkRmhxc2o3d3NEdzN0RUhFeGtNSmJ6RFl3bzhOSEgzX0ViV2tXNFljbHc?resourcekey=0-t0UekU9AD2iQO6vKFmLUcg&usp=sharing Семинары]

* 2020 г.
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfk1jdUQ4YnZtRWNCbl9YVHlvSHZjRERrOVlNVlU5dDZYWU0tN2dCRjgxVzA?resourcekey=0-cn9bfvH8nBixE3aiWvTfgA&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfm54OF8zMmd6aVQ0U0Y0MjFsdWdudFkxODJRVWFUcUt6bmdHUkNsYmMxRHM?resourcekey=0-wyYPEDg_OIF6mj1-4o8bLw&usp=sharing Семинары]

===== Семинары =====
* [https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/materials?ref_type=heads Коды и презентации семинаров]

*[https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/homeworks?ref_type=heads '''Домашние задания''']
*[https://docs.google.com/spreadsheets/d/1rxr465J4VtRxXnRtID1aRy0RzhpBltpjJYKximAQMB8/edit#gid=0 Интересные ссылки]

== Технические ссылки ==
* В случае проблем с кластерами пишите на '''servers@atp-fivt.org'''

==== Сервера ====
* MPI & OpenMP: <pre>ssh <user>@185.81.248.52 -p 2222</pre>
* CUDA: <pre>ssh <user>@lorien.atp-fivt.org</pre>
* Hadoop ecosystem: <pre>ssh <user>@mipt-client.atp-fivt.org</pre>

= Преподаватели =
* '''Руководитель курса'''
** Чернецкий Аркадий

* '''Лекторы'''
** Ивченко Олег
** Долуденко Алексей
** Ахтямов Павел
** Изабелла Затикян
** Леонид Меркин
** Вадим Опольский

* '''Семинаристы'''
** Чернецкий Аркадий
** Ахтямов Павел
** Кочурова Ирина

* '''Учебные ассистенты'''

==== Контакт для организационных вопросов ====
Куратор курса [https://t.me/atpfpmi_curators @atpfpmi_curators]

= Критерии получения оценки =
Зачет выставляется на основании баллов, полученных в течение семестра.

== Домашние задания ==
Планируется 6 домашних заданий. Проверка включает 2 этапа:
# прохождение автоматических тестов (начиная с ДЗ по CUDA).
# code review при условии выполненного п.1. Исправления по code review можно делать в течение '''1 месяца''' после 1-го комментария.

{| class="wikitable"
|-
! Название
! Мягкий дедлайн
! Жёсткий дедлайн
|-
| PD-2024a. MPI || 30.09.2024 || 07.10.2024
|-
| PD-2024a. CUDA || 21.10.2024 || 28.10.2024
|-
| PD-2024a. HDFS || 11.11.2024 || 18.11.2024
|-
| PD-2024a. Map-Reduce || 02.12.2024 || 09.12.2024
|-
| PD-2024a. Hive || 16.12.2024 || 23.12.2024
|-
| PD-2024a. Spark || 30.12.2024 || 06.01.2024
|}

[https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/homeworks?ref_type=heads Репозиторий с домашками]

* Штраф за опоздание по soft deadline: -50%
* Штраф за опоздание по hard deadline: -75%

Сдавать и исправлять домашки можно до .

== Мини-контрольные ==
Состоятся 3 теста. На контрольных нельзя пользоваться ничем и никем, кроме разрешённых смотрящими вещей. Код писать не потребуется.

{| class="wikitable"
|-
! Название
! Дата
! Длительность
|-
| PD-2024a. HDFS & MapReduce || 15 мин.
|-
| PD-2024a. Hive & Spark || 20 мин.
|-
| PD-2024a. Zookeeper, Kafka, Cassandra || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату, или не получается сдать домашнее задание вовремя по технической или другой уважительной причине, просьба заполнить [https://forms.gle/WxCKSuf8GmdFyR4K9 '''форму на дописывание'''].
* PD-2025a. Дописывание. HDFS & MAPREDUCE
* PD-2025a. Дописывание. Hive & Spark

= Литература =
=== MPI & OpenMP ===
# Антонов А.С. Технологии параллельного программирования MPI и OpenMP: Учеб. пособие. Предисл.: В.А.Садовничий. - М.: Издательство Московского университета, 2012.

=== CUDA ===
# Дж. Сандерс, Э. Кэррот. Технология CUDA в примерах и задачах, 2013 (рус).
# [http://courses.cms.caltech.edu/cs179/ Курс "GPU programming" в Caltech].
# [https://www.cs.bgu.ac.il/~graph161/wiki.files/09f-GPU%20-%20Scans.pdf Лекция по Scan курсе по комп. графике, Ben-Gurion university]
# [http://developer.download.nvidia.com/compute/cuda/1.1-Beta/x86_website/projects/scan/doc/scan.pdf Parallel Prefix Sum (Scan) with CUDA, Mark Harris, NVidia]
# Книги от Nvidia: [https://developer.nvidia.com/gpugems/gpugems/contributors GPU gems], [https://developer.nvidia.com/gpugems/gpugems2/inside-front-cover GPU gems 2], [https://developer.nvidia.com/gpugems/gpugems3/foreword GPU gems 3]. Особенно интересна глава 39 из [https://developer.nvidia.com/gpugems/gpugems3/part-vi-gpu-computing/chapter-39-parallel-prefix-sum-scan-cuda GPU Gems] про Scan.

=== HDFS ===
# [https://www.oreilly.com/library/view/hadoop-the-definitive/9781491901687/ T. White. "Hadoop. The definitive guide"], гл. 3 "Hadoop distributed filesystem". (есть русский перевод). 4е издание
# [https://storageconference.us/2010/Papers/MSST/Shvachko.pdf Статья про архитектуру HDFS от Константина Швачко (Yahoo!)]
# [http://www.blogjava.net/DLevin/archive/2015/01/25/422428.html Статья про архитектуру HDFS в блоге HortonWorks (Китайская копия :))]
# [http://blog.madhukaraphatak.com/secondary-namenode---what-it-really-do/ Что в действительности делает SNN]
# [https://nancyyanyu.github.io/posts/49a14c15/ Выдержка из курсов Яндекс про HDFS]

Параллельные и распределенные вычисления весна 2025

2025-02-02T11:16:43Z

Killerrati:

= Общие сведения =
* Семестр: 6 (третий курс)
* Форма контроля: диф. зачет
* '''[https://docs.google.com/forms/d/e/1FAIpQLSdiXebJ4ddB7RybaVIPvsGiDoHmFBMNth2vIrhuXSlztsfDvg/viewform Форма регистрации на курс].
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vRvjUbLbXkpA6LTEsUfwWZ7rAqAxcjDT0hriRaPPKqjQg8oGhePyEGZZ-4kV8-i9-s-QiXjNQYFE1gH/pubhtml?gid=397546993&single=true План лекций, семинаров,домашних работ, контрольных]
* [https://docs.google.com/spreadsheets/d/1qKqtrO3-Cx68hL63GRm_iCL1pjCnK5DCgNxKyAjvETU/pubhtml?gid=2040051800&single=true Таблица с оценками]
* [https://docs.google.com/spreadsheets/d/1qKqtrO3-Cx68hL63GRm_iCL1pjCnK5DCgNxKyAjvETU/pubhtml?gid=633420430&single=true Статус проверки домашних заданий]
* [https://forms.gle/B73K4MYzpVf9izP1A Продление дедлайнов и дописывание КР]
* [https://t.me/+wnu4eAfEXrE0MTdi Телеграм-чат курса]

=== Материалы занятий ===
Доступ открыт для всех аккаунтов @phystech.edu.

===== Лекции =====
* 2024 г. осень
* [https://drive.google.com/drive/folders/1kgzEzb6MNp5AuCVhWSAYZDwCRnUbf2ao Видео лекций].
* [https://drive.google.com/drive/folders/1WukRMRs74gcn5lEo5yNu6mz-AWBkkrIg?usp=sharing Видео лекций].
* [https://drive.google.com/drive/folders/1EjlJPwShH2UkMsxaFLIfvkYoAcKH3pnW?usp=sharing Слайды презентаций]

* 2024 г. весна
* [https://www.youtube.com/playlist?list=PL4_hYwCyhAvaZsPvosV8WBajIgflGK44j Видео лекций YouTube].
* [https://drive.google.com/drive/folders/1WukRMRs74gcn5lEo5yNu6mz-AWBkkrIg?usp=sharing Видео лекций].
* [https://drive.google.com/drive/folders/1EjlJPwShH2UkMsxaFLIfvkYoAcKH3pnW?usp=sharing Слайды презентаций]

* 2023 г. весна
* [https://drive.google.com/drive/folders/1arIrxYGJ144cHpZ72uGI5mBsFWolczfF?usp=share_link Видео лекций].
** [https://youtube.com/playlist?list=PLfibPMPn-PgyfrdrfmxvEAXtcjw7yfZmL Скринкасты лекций по CUDA]
* [https://drive.google.com/drive/folders/1eH2pePnbu3KqiRYtcBpDFffZXMXGA6-H?usp=share_link Слайды презентаций]

* 2023 г. осень
* [https://www.youtube.com/playlist?list=PL4_hYwCyhAvaZsPvosV8WBajIgflGK44j Видео лекций].
* [https://drive.google.com/drive/folders/1diehaQajFhzbYTLAAqmT0R_NRqU25JJX?usp=sharing Слайды презентаций]

* 2022 г. весна
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdflFRaUJveTdvR2REdDVxTkp1cm1VRnRNWmdsSGcxWlI4Y1kyVTJmZWtBWE0?resourcekey=0-sk8F-iNm8_2O8g7SDG24IA&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfllmTmtMbk44V0ZkT2xtc0dXbWoweGlDQmRSTE5lT0o5dk1yd3FaOTFZOEE?resourcekey=0-P5pBLFMpgXuVvFn8dB4nXA&usp=sharing Семинары]

* 2021 г.
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfnNPS3JFdEdpTHM5aVFZR3dmdnlrdFNKcjlfa0dLY0lFb2l3cmtsM2VXT2s?resourcekey=0-rE3AAeTCn3pf0dgfGS86Qg&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfjBkRmhxc2o3d3NEdzN0RUhFeGtNSmJ6RFl3bzhOSEgzX0ViV2tXNFljbHc?resourcekey=0-t0UekU9AD2iQO6vKFmLUcg&usp=sharing Семинары]

* 2020 г.
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfk1jdUQ4YnZtRWNCbl9YVHlvSHZjRERrOVlNVlU5dDZYWU0tN2dCRjgxVzA?resourcekey=0-cn9bfvH8nBixE3aiWvTfgA&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfm54OF8zMmd6aVQ0U0Y0MjFsdWdudFkxODJRVWFUcUt6bmdHUkNsYmMxRHM?resourcekey=0-wyYPEDg_OIF6mj1-4o8bLw&usp=sharing Семинары]

===== Семинары =====
* [https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/materials?ref_type=heads Коды и презентации семинаров]

*[https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/homeworks?ref_type=heads '''Домашние задания''']
*[https://docs.google.com/spreadsheets/d/1rxr465J4VtRxXnRtID1aRy0RzhpBltpjJYKximAQMB8/edit#gid=0 Интересные ссылки]

== Технические ссылки ==
* В случае проблем с кластерами пишите на '''servers@atp-fivt.org'''

==== Сервера ====
* MPI & OpenMP: <pre>ssh <user>@185.81.248.52 -p 2222</pre>
* CUDA: <pre>ssh <user>@lorien.atp-fivt.org</pre>
* Hadoop ecosystem: <pre>ssh <user>@mipt-client.atp-fivt.org</pre>

= Преподаватели =
* '''Руководитель курса'''
** Чернецкий Аркадий

* '''Лекторы'''
** Ивченко Олег
** Долуденко Алексей
** Ахтямов Павел
** Изабелла Затикян
** Леонид Меркин
** Вадим Опольский

* '''Семинаристы'''
** Чернецкий Аркадий
** Ахтямов Павел
** Кочурова Ирина

* '''Учебные ассистенты'''

==== Контакт для организационных вопросов ====
Куратор курса [https://t.me/atpfpmi_curators @atpfpmi_curators]

= Критерии получения оценки =
Зачет выставляется на основании баллов, полученных в течение семестра.

== Домашние задания ==
Планируется 6 домашних заданий. Проверка включает 2 этапа:
# прохождение автоматических тестов (начиная с ДЗ по CUDA).
# code review при условии выполненного п.1. Исправления по code review можно делать в течение '''1 месяца''' после 1-го комментария.

{| class="wikitable"
|-
! Название
! Мягкий дедлайн
! Жёсткий дедлайн
|-
| PD-2024a. MPI || 30.09.2024 || 07.10.2024
|-
| PD-2024a. CUDA || 21.10.2024 || 28.10.2024
|-
| PD-2024a. HDFS || 11.11.2024 || 18.11.2024
|-
| PD-2024a. Map-Reduce || 02.12.2024 || 09.12.2024
|-
| PD-2024a. Hive || 16.12.2024 || 23.12.2024
|-
| PD-2024a. Spark || 30.12.2024 || 06.01.2024
|}

[https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/homeworks?ref_type=heads Репозиторий с домашками]

* Штраф за опоздание по soft deadline: -50%
* Штраф за опоздание по hard deadline: -75%

Сдавать и исправлять домашки можно до .

== Мини-контрольные ==
Состоятся 3 теста. На контрольных нельзя пользоваться ничем и никем, кроме разрешённых смотрящими вещей. Код писать не потребуется.

{| class="wikitable"
|-
! Название
! Дата
! Длительность
|-
| PD-2024a. HDFS & MapReduce || 15 мин.
|-
| PD-2024a. Hive & Spark || 20 мин.
|-
| PD-2024a. Zookeeper, Kafka, Cassandra || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату, или не получается сдать домашнее задание вовремя по технической или другой уважительной причине, просьба заполнить [https://forms.gle/WxCKSuf8GmdFyR4K9 '''форму на дописывание'''].
* PD-2025a. Дописывание. HDFS & MAPREDUCE
* PD-2025a. Дописывание. Hive & Spark

= Литература =
=== MPI & OpenMP ===
# Антонов А.С. Технологии параллельного программирования MPI и OpenMP: Учеб. пособие. Предисл.: В.А.Садовничий. - М.: Издательство Московского университета, 2012.

=== CUDA ===
# Дж. Сандерс, Э. Кэррот. Технология CUDA в примерах и задачах, 2013 (рус).
# [http://courses.cms.caltech.edu/cs179/ Курс "GPU programming" в Caltech].
# [https://www.cs.bgu.ac.il/~graph161/wiki.files/09f-GPU%20-%20Scans.pdf Лекция по Scan курсе по комп. графике, Ben-Gurion university]
# [http://developer.download.nvidia.com/compute/cuda/1.1-Beta/x86_website/projects/scan/doc/scan.pdf Parallel Prefix Sum (Scan) with CUDA, Mark Harris, NVidia]
# Книги от Nvidia: [https://developer.nvidia.com/gpugems/gpugems/contributors GPU gems], [https://developer.nvidia.com/gpugems/gpugems2/inside-front-cover GPU gems 2], [https://developer.nvidia.com/gpugems/gpugems3/foreword GPU gems 3]. Особенно интересна глава 39 из [https://developer.nvidia.com/gpugems/gpugems3/part-vi-gpu-computing/chapter-39-parallel-prefix-sum-scan-cuda GPU Gems] про Scan.

=== HDFS ===
# [https://www.oreilly.com/library/view/hadoop-the-definitive/9781491901687/ T. White. "Hadoop. The definitive guide"], гл. 3 "Hadoop distributed filesystem". (есть русский перевод). 4е издание
# [https://storageconference.us/2010/Papers/MSST/Shvachko.pdf Статья про архитектуру HDFS от Константина Швачко (Yahoo!)]
# [http://www.blogjava.net/DLevin/archive/2015/01/25/422428.html Статья про архитектуру HDFS в блоге HortonWorks (Китайская копия :))]
# [http://blog.madhukaraphatak.com/secondary-namenode---what-it-really-do/ Что в действительности делает SNN]
# [https://nancyyanyu.github.io/posts/49a14c15/ Выдержка из курсов Яндекс про HDFS]

Параллельные и распределенные вычисления 2024

2024-11-29T08:14:51Z

Killerrati:

= Общие сведения =
* Семестр: 5 (третий курс)
* Форма контроля: диф. зачет
* '''[https://forms.gle/nMWSMJZJVTugmKCE6 Форма регистрации на курс].
* [https://docs.google.com/spreadsheets/d/1qKqtrO3-Cx68hL63GRm_iCL1pjCnK5DCgNxKyAjvETU/pubhtml?gid=397546993&single=true План лекций, семинаров,домашних работ, контрольных]
* [https://docs.google.com/spreadsheets/d/1qKqtrO3-Cx68hL63GRm_iCL1pjCnK5DCgNxKyAjvETU/pubhtml?gid=2040051800&single=true Таблица с оценками]
* [https://docs.google.com/spreadsheets/d/1qKqtrO3-Cx68hL63GRm_iCL1pjCnK5DCgNxKyAjvETU/pubhtml?gid=633420430&single=true Статус проверки домашних заданий]
* [https://forms.gle/B73K4MYzpVf9izP1A Продление дедлайнов и дописывание КР]
* [https://t.me/+wnu4eAfEXrE0MTdi Телеграм-чат курса]

=== Материалы занятий ===
Доступ открыт для всех аккаунтов @phystech.edu.

===== Лекции =====
* [ Видео лекций YouTube].
* [ Видео лекций].
* [ Слайды презентаций]
* 2020 г.
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfk1jdUQ4YnZtRWNCbl9YVHlvSHZjRERrOVlNVlU5dDZYWU0tN2dCRjgxVzA?resourcekey=0-cn9bfvH8nBixE3aiWvTfgA&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfm54OF8zMmd6aVQ0U0Y0MjFsdWdudFkxODJRVWFUcUt6bmdHUkNsYmMxRHM?resourcekey=0-wyYPEDg_OIF6mj1-4o8bLw&usp=sharing Семинары]
* 2021 г.
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfnNPS3JFdEdpTHM5aVFZR3dmdnlrdFNKcjlfa0dLY0lFb2l3cmtsM2VXT2s?resourcekey=0-rE3AAeTCn3pf0dgfGS86Qg&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfjBkRmhxc2o3d3NEdzN0RUhFeGtNSmJ6RFl3bzhOSEgzX0ViV2tXNFljbHc?resourcekey=0-t0UekU9AD2iQO6vKFmLUcg&usp=sharing Семинары]
* 2022 г. весна
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdflFRaUJveTdvR2REdDVxTkp1cm1VRnRNWmdsSGcxWlI4Y1kyVTJmZWtBWE0?resourcekey=0-sk8F-iNm8_2O8g7SDG24IA&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfllmTmtMbk44V0ZkT2xtc0dXbWoweGlDQmRSTE5lT0o5dk1yd3FaOTFZOEE?resourcekey=0-P5pBLFMpgXuVvFn8dB4nXA&usp=sharing Семинары]
* 2023 г. весна
* [https://drive.google.com/drive/folders/1arIrxYGJ144cHpZ72uGI5mBsFWolczfF?usp=share_link Видео лекций].
** [https://youtube.com/playlist?list=PLfibPMPn-PgyfrdrfmxvEAXtcjw7yfZmL Скринкасты лекций по CUDA]
* [https://drive.google.com/drive/folders/1eH2pePnbu3KqiRYtcBpDFffZXMXGA6-H?usp=share_link Слайды презентаций]
* 2023 г. осень
* [https://www.youtube.com/playlist?list=PL4_hYwCyhAvaZsPvosV8WBajIgflGK44j Видео лекций].
* [https://drive.google.com/drive/folders/1diehaQajFhzbYTLAAqmT0R_NRqU25JJX?usp=sharing Слайды презентаций]
* 2024 г. весна
* [https://www.youtube.com/playlist?list=PL4_hYwCyhAvaZsPvosV8WBajIgflGK44j Видео лекций YouTube].
* [https://drive.google.com/drive/folders/1WukRMRs74gcn5lEo5yNu6mz-AWBkkrIg?usp=sharing Видео лекций].
* [https://drive.google.com/drive/folders/1EjlJPwShH2UkMsxaFLIfvkYoAcKH3pnW?usp=sharing Слайды презентаций]

===== Семинары =====
* [https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/materials?ref_type=heads Коды и презентации семинаров]

*[https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/homeworks?ref_type=heads '''Домашние задания''']
*[https://docs.google.com/spreadsheets/d/1rxr465J4VtRxXnRtID1aRy0RzhpBltpjJYKximAQMB8/edit#gid=0 Интересные ссылки]

== Технические ссылки ==
* В случае проблем с кластерами пишите на '''servers@atp-fivt.org'''

==== Сервера ====
* MPI & OpenMP: <pre>ssh <user>@185.81.248.52 -p 2222</pre>
* CUDA: <pre>ssh <user>@lorien.atp-fivt.org</pre>
* Hadoop ecosystem: <pre>ssh <user>@mipt-client.atp-fivt.org</pre>

= Преподаватели =
* '''Руководитель курса'''
** Чернецкий Аркадий

* '''Лекторы'''
** Ивченко Олег
** Долуденко Алексей
** Ахтямов Павел
** Изабелла Затикян
** Леонид Меркин
** Вадим Опольский

* '''Семинаристы'''
** Чернецкий Аркадий
** Ахтямов Павел
** Кочурова Ирина

* '''Учебные ассистенты'''

==== Контакт для организационных вопросов ====
Куратор курса [https://t.me/atpfpmi_curators @atpfpmi_curators]

= Критерии получения оценки =
Зачет выставляется на основании баллов, полученных в течение семестра.

== Домашние задания ==
Планируется 6 домашних заданий. Проверка включает 2 этапа:
# прохождение автоматических тестов (начиная с ДЗ по CUDA).
# code review при условии выполненного п.1. Исправления по code review можно делать в течение '''1 месяца''' после 1-го комментария.

{| class="wikitable"
|-
! Название
! Мягкий дедлайн
! Жёсткий дедлайн
|-
| PD-2024a. MPI || 30.09.2024 || 07.10.2024
|-
| PD-2024a. CUDA || 21.10.2024 || 28.10.2024
|-
| PD-2024a. HDFS || 11.11.2024 || 18.11.2024
|-
| PD-2024a. Map-Reduce || 02.12.2024 || 09.12.2024
|-
| PD-2024a. Hive || 16.12.2024 || 23.12.2024
|-
| PD-2024a. Spark || 30.12.2024 || 06.01.2024
|}

[https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/homeworks?ref_type=heads Репозиторий с домашками]

* Штраф за опоздание по soft deadline: -50%
* Штраф за опоздание по hard deadline: -75%

Сдавать и исправлять домашки можно до .

== Мини-контрольные ==
Состоятся 3 теста. На контрольных нельзя пользоваться ничем и никем, кроме разрешённых смотрящими вещей. Код писать не потребуется.

{| class="wikitable"
|-
! Название
! Дата
! Длительность
|-
| PD-2024a. HDFS & MapReduce || 18.11.24 || 15 мин.
|-
| PD-2024a. Hive & Spark || 09.12.24 || 20 мин.
|-
| PD-2024a. Zookeeper, Kafka, Cassandra || 23.12.24 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату, или не получается сдать домашнее задание вовремя по технической или другой уважительной причине, просьба заполнить [https://forms.gle/WxCKSuf8GmdFyR4K9 '''форму на дописывание'''].
* PD-2024a. Дописывание. HDFS & MAPREDUCE
* PD-2024a. Дописывание. Hive & Spark

= Литература =
=== MPI & OpenMP ===
# Антонов А.С. Технологии параллельного программирования MPI и OpenMP: Учеб. пособие. Предисл.: В.А.Садовничий. - М.: Издательство Московского университета, 2012.

=== CUDA ===
# Дж. Сандерс, Э. Кэррот. Технология CUDA в примерах и задачах, 2013 (рус).
# [http://courses.cms.caltech.edu/cs179/ Курс "GPU programming" в Caltech].
# [https://www.cs.bgu.ac.il/~graph161/wiki.files/09f-GPU%20-%20Scans.pdf Лекция по Scan курсе по комп. графике, Ben-Gurion university]
# [http://developer.download.nvidia.com/compute/cuda/1.1-Beta/x86_website/projects/scan/doc/scan.pdf Parallel Prefix Sum (Scan) with CUDA, Mark Harris, NVidia]
# Книги от Nvidia: [https://developer.nvidia.com/gpugems/gpugems/contributors GPU gems], [https://developer.nvidia.com/gpugems/gpugems2/inside-front-cover GPU gems 2], [https://developer.nvidia.com/gpugems/gpugems3/foreword GPU gems 3]. Особенно интересна глава 39 из [https://developer.nvidia.com/gpugems/gpugems3/part-vi-gpu-computing/chapter-39-parallel-prefix-sum-scan-cuda GPU Gems] про Scan.

=== HDFS ===
# [https://www.oreilly.com/library/view/hadoop-the-definitive/9781491901687/ T. White. "Hadoop. The definitive guide"], гл. 3 "Hadoop distributed filesystem". (есть русский перевод). 4е издание
# [https://storageconference.us/2010/Papers/MSST/Shvachko.pdf Статья про архитектуру HDFS от Константина Швачко (Yahoo!)]
# [http://www.blogjava.net/DLevin/archive/2015/01/25/422428.html Статья про архитектуру HDFS в блоге HortonWorks (Китайская копия :))]
# [http://blog.madhukaraphatak.com/secondary-namenode---what-it-really-do/ Что в действительности делает SNN]
# [https://nancyyanyu.github.io/posts/49a14c15/ Выдержка из курсов Яндекс про HDFS]

Параллельные и распределенные вычисления 2024

2024-11-29T07:57:47Z

Killerrati:

= Общие сведения =
* Семестр: 5 (третий курс)
* Форма контроля: диф. зачет
* '''[https://forms.gle/nMWSMJZJVTugmKCE6 Форма регистрации на курс].
* [https://docs.google.com/spreadsheets/d/1qKqtrO3-Cx68hL63GRm_iCL1pjCnK5DCgNxKyAjvETU/pubhtml?gid=397546993&single=true План лекций, семинаров,домашних работ, контрольных]
* [https://docs.google.com/spreadsheets/d/1qKqtrO3-Cx68hL63GRm_iCL1pjCnK5DCgNxKyAjvETU/pubhtml?gid=2040051800&single=true Таблица с оценками]
* [https://docs.google.com/spreadsheets/d/1qKqtrO3-Cx68hL63GRm_iCL1pjCnK5DCgNxKyAjvETU/pubhtml?gid=633420430&single=true Статус проверки домашних заданий]
* [https://forms.gle/B73K4MYzpVf9izP1A Продление дедлайнов и дописывание КР]
* [https://t.me/+wnu4eAfEXrE0MTdi Телеграм-чат курса]

=== Материалы занятий ===
Доступ открыт для всех аккаунтов @phystech.edu.

===== Лекции =====
* [ Видео лекций YouTube].
* [ Видео лекций].
* [ Слайды презентаций]
* 2020 г.
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfk1jdUQ4YnZtRWNCbl9YVHlvSHZjRERrOVlNVlU5dDZYWU0tN2dCRjgxVzA?resourcekey=0-cn9bfvH8nBixE3aiWvTfgA&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfm54OF8zMmd6aVQ0U0Y0MjFsdWdudFkxODJRVWFUcUt6bmdHUkNsYmMxRHM?resourcekey=0-wyYPEDg_OIF6mj1-4o8bLw&usp=sharing Семинары]
* 2021 г.
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfnNPS3JFdEdpTHM5aVFZR3dmdnlrdFNKcjlfa0dLY0lFb2l3cmtsM2VXT2s?resourcekey=0-rE3AAeTCn3pf0dgfGS86Qg&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfjBkRmhxc2o3d3NEdzN0RUhFeGtNSmJ6RFl3bzhOSEgzX0ViV2tXNFljbHc?resourcekey=0-t0UekU9AD2iQO6vKFmLUcg&usp=sharing Семинары]
* 2022 г. весна
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdflFRaUJveTdvR2REdDVxTkp1cm1VRnRNWmdsSGcxWlI4Y1kyVTJmZWtBWE0?resourcekey=0-sk8F-iNm8_2O8g7SDG24IA&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfllmTmtMbk44V0ZkT2xtc0dXbWoweGlDQmRSTE5lT0o5dk1yd3FaOTFZOEE?resourcekey=0-P5pBLFMpgXuVvFn8dB4nXA&usp=sharing Семинары]
* 2023 г. весна
* [https://drive.google.com/drive/folders/1arIrxYGJ144cHpZ72uGI5mBsFWolczfF?usp=share_link Видео лекций].
** [https://youtube.com/playlist?list=PLfibPMPn-PgyfrdrfmxvEAXtcjw7yfZmL Скринкасты лекций по CUDA]
* [https://drive.google.com/drive/folders/1eH2pePnbu3KqiRYtcBpDFffZXMXGA6-H?usp=share_link Слайды презентаций]
* 2023 г. осень
* [https://www.youtube.com/playlist?list=PL4_hYwCyhAvaZsPvosV8WBajIgflGK44j Видео лекций].
* [https://drive.google.com/drive/folders/1diehaQajFhzbYTLAAqmT0R_NRqU25JJX?usp=sharing Слайды презентаций]
* 2024 г. весна
* [https://www.youtube.com/playlist?list=PL4_hYwCyhAvaZsPvosV8WBajIgflGK44j Видео лекций YouTube].
* [https://drive.google.com/drive/folders/1WukRMRs74gcn5lEo5yNu6mz-AWBkkrIg?usp=sharing Видео лекций].
* [https://drive.google.com/drive/folders/1EjlJPwShH2UkMsxaFLIfvkYoAcKH3pnW?usp=sharing Слайды презентаций]

===== Семинары =====
* [https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/materials?ref_type=heads Коды и презентации семинаров]

*[https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/homeworks?ref_type=heads '''Домашние задания''']
*[https://docs.google.com/spreadsheets/d/1rxr465J4VtRxXnRtID1aRy0RzhpBltpjJYKximAQMB8/edit#gid=0 Интересные ссылки]

== Технические ссылки ==
* В случае проблем с кластерами пишите на '''servers@atp-fivt.org'''

==== Сервера ====
* MPI & OpenMP: <pre>ssh <user>@185.81.248.52 -p 2222</pre>
* CUDA: <pre>ssh <user>@lorien.atp-fivt.org</pre>
* Hadoop ecosystem: <pre>ssh <user>@mipt-client.atp-fivt.org</pre>

= Преподаватели =
* '''Руководитель курса'''
** Чернецкий Аркадий

* '''Лекторы'''
** Ивченко Олег
** Долуденко Алексей
** Ахтямов Павел
** Изабелла Затикян
** Леонид Меркин
** Вадим Опольский

* '''Семинаристы'''
** Чернецкий Аркадий
** Ахтямов Павел
** Кочурова Ирина

* '''Учебные ассистенты'''

==== Контакт для организационных вопросов ====
Куратор курса [https://t.me/atpfpmi_curators @atpfpmi_curators]

= Критерии получения оценки =
Зачет выставляется на основании баллов, полученных в течение семестра.

== Домашние задания ==
Планируется 6 домашних заданий. Проверка включает 2 этапа:
# прохождение автоматических тестов (начиная с ДЗ по CUDA).
# code review при условии выполненного п.1. Исправления по code review можно делать в течение '''1 месяца''' после 1-го комментария.

{| class="wikitable"
|-
! Название
! Мягкий дедлайн
! Жёсткий дедлайн
|-
| PD-2024a. MPI || 30.09.2024 || 07.10.2024
|-
| PD-2024a. CUDA || 21.10.2024 || 28.10.2024
|-
| PD-2024a. HDFS || 11.11.2024 || 18.11.2024
|-
| PD-2024a. Map-Reduce || 02.12.2024 || 09.12.2024
|-
| PD-2024a. Hive || 16.12.2024 || 23.12.2024
|-
| PD-2024a. Spark || 30.12.2024 || 06.01.2024
|}

[https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/homeworks?ref_type=heads Репозиторий с домашками]

* Штраф за опоздание по soft deadline: -50%
* Штраф за опоздание по hard deadline: -75%

Сдавать и исправлять домашки можно до .

== Мини-контрольные ==
Состоятся 3 теста. На контрольных нельзя пользоваться ничем и никем, кроме разрешённых смотрящими вещей. Код писать не потребуется.

{| class="wikitable"
|-
! Название
! Дата
! Длительность
|-
| PD-2024a. HDFS & MapReduce || 18.11.24 || 15 мин.
|-
| PD-2024a. Hive & Spark || 02.12.24 || 20 мин.
|-
| PD-2024a. Zookeeper, Kafka, Cassandra || 23.12.24 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату, или не получается сдать домашнее задание вовремя по технической или другой уважительной причине, просьба заполнить [https://forms.gle/WxCKSuf8GmdFyR4K9 '''форму на дописывание'''].
* PD-2024a. Дописывание. HDFS & MAPREDUCE
* PD-2024a. Дописывание. Hive & Spark

= Литература =
=== MPI & OpenMP ===
# Антонов А.С. Технологии параллельного программирования MPI и OpenMP: Учеб. пособие. Предисл.: В.А.Садовничий. - М.: Издательство Московского университета, 2012.

=== CUDA ===
# Дж. Сандерс, Э. Кэррот. Технология CUDA в примерах и задачах, 2013 (рус).
# [http://courses.cms.caltech.edu/cs179/ Курс "GPU programming" в Caltech].
# [https://www.cs.bgu.ac.il/~graph161/wiki.files/09f-GPU%20-%20Scans.pdf Лекция по Scan курсе по комп. графике, Ben-Gurion university]
# [http://developer.download.nvidia.com/compute/cuda/1.1-Beta/x86_website/projects/scan/doc/scan.pdf Parallel Prefix Sum (Scan) with CUDA, Mark Harris, NVidia]
# Книги от Nvidia: [https://developer.nvidia.com/gpugems/gpugems/contributors GPU gems], [https://developer.nvidia.com/gpugems/gpugems2/inside-front-cover GPU gems 2], [https://developer.nvidia.com/gpugems/gpugems3/foreword GPU gems 3]. Особенно интересна глава 39 из [https://developer.nvidia.com/gpugems/gpugems3/part-vi-gpu-computing/chapter-39-parallel-prefix-sum-scan-cuda GPU Gems] про Scan.

=== HDFS ===
# [https://www.oreilly.com/library/view/hadoop-the-definitive/9781491901687/ T. White. "Hadoop. The definitive guide"], гл. 3 "Hadoop distributed filesystem". (есть русский перевод). 4е издание
# [https://storageconference.us/2010/Papers/MSST/Shvachko.pdf Статья про архитектуру HDFS от Константина Швачко (Yahoo!)]
# [http://www.blogjava.net/DLevin/archive/2015/01/25/422428.html Статья про архитектуру HDFS в блоге HortonWorks (Китайская копия :))]
# [http://blog.madhukaraphatak.com/secondary-namenode---what-it-really-do/ Что в действительности делает SNN]
# [https://nancyyanyu.github.io/posts/49a14c15/ Выдержка из курсов Яндекс про HDFS]

Параллельные и распределенные вычисления 2024

2024-11-29T07:57:17Z

Killerrati:

= Общие сведения =
* Семестр: 5 (третий курс)
* Форма контроля: диф. зачет
* '''[https://forms.gle/nMWSMJZJVTugmKCE6 Форма регистрации на курс].
* [https://docs.google.com/spreadsheets/d/1qKqtrO3-Cx68hL63GRm_iCL1pjCnK5DCgNxKyAjvETU/pubhtml?gid=397546993&single=true План лекций, семинаров,домашних работ, контрольных]
* [https://docs.google.com/spreadsheets/d/1qKqtrO3-Cx68hL63GRm_iCL1pjCnK5DCgNxKyAjvETU/pubhtml?gid=2040051800&single=true Таблица с оценками]
* [https://docs.google.com/spreadsheets/d/1qKqtrO3-Cx68hL63GRm_iCL1pjCnK5DCgNxKyAjvETU/pubhtml?gid=633420430&single=true Статус проверки домашних заданий]
* [https://forms.gle/B73K4MYzpVf9izP1A Продление дедлайнов и дописывание КР]
* [https://t.me/+wnu4eAfEXrE0MTdi Телеграм-чат курса]

=== Материалы занятий ===
Доступ открыт для всех аккаунтов @phystech.edu.

===== Лекции =====
* [ Видео лекций YouTube].
* [ Видео лекций].
* [ Слайды презентаций]
* 2020 г.
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfk1jdUQ4YnZtRWNCbl9YVHlvSHZjRERrOVlNVlU5dDZYWU0tN2dCRjgxVzA?resourcekey=0-cn9bfvH8nBixE3aiWvTfgA&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfm54OF8zMmd6aVQ0U0Y0MjFsdWdudFkxODJRVWFUcUt6bmdHUkNsYmMxRHM?resourcekey=0-wyYPEDg_OIF6mj1-4o8bLw&usp=sharing Семинары]
* 2021 г.
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfnNPS3JFdEdpTHM5aVFZR3dmdnlrdFNKcjlfa0dLY0lFb2l3cmtsM2VXT2s?resourcekey=0-rE3AAeTCn3pf0dgfGS86Qg&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfjBkRmhxc2o3d3NEdzN0RUhFeGtNSmJ6RFl3bzhOSEgzX0ViV2tXNFljbHc?resourcekey=0-t0UekU9AD2iQO6vKFmLUcg&usp=sharing Семинары]
* 2022 г. весна
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdflFRaUJveTdvR2REdDVxTkp1cm1VRnRNWmdsSGcxWlI4Y1kyVTJmZWtBWE0?resourcekey=0-sk8F-iNm8_2O8g7SDG24IA&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfllmTmtMbk44V0ZkT2xtc0dXbWoweGlDQmRSTE5lT0o5dk1yd3FaOTFZOEE?resourcekey=0-P5pBLFMpgXuVvFn8dB4nXA&usp=sharing Семинары]
* 2023 г. весна
* [https://drive.google.com/drive/folders/1arIrxYGJ144cHpZ72uGI5mBsFWolczfF?usp=share_link Видео лекций].
** [https://youtube.com/playlist?list=PLfibPMPn-PgyfrdrfmxvEAXtcjw7yfZmL Скринкасты лекций по CUDA]
* [https://drive.google.com/drive/folders/1eH2pePnbu3KqiRYtcBpDFffZXMXGA6-H?usp=share_link Слайды презентаций]
* 2023 г. осень
* [https://www.youtube.com/playlist?list=PL4_hYwCyhAvaZsPvosV8WBajIgflGK44j Видео лекций].
* [https://drive.google.com/drive/folders/1diehaQajFhzbYTLAAqmT0R_NRqU25JJX?usp=sharing Слайды презентаций]
* 2024 г. весна
* [https://www.youtube.com/playlist?list=PL4_hYwCyhAvaZsPvosV8WBajIgflGK44j Видео лекций YouTube].
* [https://drive.google.com/drive/folders/1WukRMRs74gcn5lEo5yNu6mz-AWBkkrIg?usp=sharing Видео лекций].
* [https://drive.google.com/drive/folders/1EjlJPwShH2UkMsxaFLIfvkYoAcKH3pnW?usp=sharing Слайды презентаций]

===== Семинары =====
* [https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/materials?ref_type=heads Коды и презентации семинаров]

*[https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/homeworks?ref_type=heads '''Домашние задания''']
*[https://docs.google.com/spreadsheets/d/1rxr465J4VtRxXnRtID1aRy0RzhpBltpjJYKximAQMB8/edit#gid=0 Интересные ссылки]

== Технические ссылки ==
* В случае проблем с кластерами пишите на '''servers@atp-fivt.org'''

==== Сервера ====
* MPI & OpenMP: <pre>ssh <user>@185.81.248.52 -p 2222</pre>
* CUDA: <pre>ssh <user>@lorien.atp-fivt.org</pre>
* Hadoop ecosystem: <pre>ssh <user>@mipt-client.atp-fivt.org</pre>

= Преподаватели =
* '''Руководитель курса'''
** Чернецкий Аркадий

* '''Лекторы'''
** Ивченко Олег
** Долуденко Алексей
** Ахтямов Павел
** Изабелла Затикян
** Леонид Меркин
** Вадим Опольский

* '''Семинаристы'''
** Чернецкий Аркадий
** Ахтямов Павел
** Кочурова Ирина

* '''Учебные ассистенты'''

==== Контакт для организационных вопросов ====
Куратор курса [https://t.me/atpfpmi_curators @atpfpmi_curators]

= Критерии получения оценки =
Зачет выставляется на основании баллов, полученных в течение семестра.

== Домашние задания ==
Планируется 6 домашних заданий. Проверка включает 2 этапа:
# прохождение автоматических тестов (начиная с ДЗ по CUDA).
# code review при условии выполненного п.1. Исправления по code review можно делать в течение '''1 месяца''' после 1-го комментария.

{| class="wikitable"
|-
! Название
! Мягкий дедлайн
! Жёсткий дедлайн
|-
| PD-2024a. MPI || 30.09.2024 || 07.10.2024
|-
| PD-2024a. CUDA || 21.10.2024 || 28.10.2024
|-
| PD-2024a. HDFS || 11.11.2024 || 18.11.2024
|-
| PD-2024a. Map-Reduce || 02.12.2024 || 09.12.2024
|-
| PD-2024a. Hive || 16.12.2024 || 23.12.2024
|-
| PD-2024a. Spark || 30.12.2024 || 06.01.2024
|}

[https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/homeworks?ref_type=heads Репозиторий с домашками]

* Штраф за опоздание по soft deadline: -50%
* Штраф за опоздание по hard deadline: -75%

Сдавать и исправлять домашки можно до .

== Мини-контрольные ==
Состоятся 3 теста. На контрольных нельзя пользоваться ничем и никем, кроме разрешённых смотрящими вещей. Код писать не потребуется.

{| class="wikitable"
|-
! Название
! Дата
! Длительность
|-
| PD-2024a. HDFS & MapReduce || 18.11.24 || 15 мин.
|-
| PD-2024a. Hive & Spark || 02.12.24 || 20 мин.
|-
| PD-2024a. Zookeeper, Kafka, Cassandra || 30.12.24 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату, или не получается сдать домашнее задание вовремя по технической или другой уважительной причине, просьба заполнить [https://forms.gle/WxCKSuf8GmdFyR4K9 '''форму на дописывание'''].
* PD-2024a. Дописывание. HDFS & MAPREDUCE
* PD-2024a. Дописывание. Hive & Spark

= Литература =
=== MPI & OpenMP ===
# Антонов А.С. Технологии параллельного программирования MPI и OpenMP: Учеб. пособие. Предисл.: В.А.Садовничий. - М.: Издательство Московского университета, 2012.

=== CUDA ===
# Дж. Сандерс, Э. Кэррот. Технология CUDA в примерах и задачах, 2013 (рус).
# [http://courses.cms.caltech.edu/cs179/ Курс "GPU programming" в Caltech].
# [https://www.cs.bgu.ac.il/~graph161/wiki.files/09f-GPU%20-%20Scans.pdf Лекция по Scan курсе по комп. графике, Ben-Gurion university]
# [http://developer.download.nvidia.com/compute/cuda/1.1-Beta/x86_website/projects/scan/doc/scan.pdf Parallel Prefix Sum (Scan) with CUDA, Mark Harris, NVidia]
# Книги от Nvidia: [https://developer.nvidia.com/gpugems/gpugems/contributors GPU gems], [https://developer.nvidia.com/gpugems/gpugems2/inside-front-cover GPU gems 2], [https://developer.nvidia.com/gpugems/gpugems3/foreword GPU gems 3]. Особенно интересна глава 39 из [https://developer.nvidia.com/gpugems/gpugems3/part-vi-gpu-computing/chapter-39-parallel-prefix-sum-scan-cuda GPU Gems] про Scan.

=== HDFS ===
# [https://www.oreilly.com/library/view/hadoop-the-definitive/9781491901687/ T. White. "Hadoop. The definitive guide"], гл. 3 "Hadoop distributed filesystem". (есть русский перевод). 4е издание
# [https://storageconference.us/2010/Papers/MSST/Shvachko.pdf Статья про архитектуру HDFS от Константина Швачко (Yahoo!)]
# [http://www.blogjava.net/DLevin/archive/2015/01/25/422428.html Статья про архитектуру HDFS в блоге HortonWorks (Китайская копия :))]
# [http://blog.madhukaraphatak.com/secondary-namenode---what-it-really-do/ Что в действительности делает SNN]
# [https://nancyyanyu.github.io/posts/49a14c15/ Выдержка из курсов Яндекс про HDFS]

Параллельные и распределенные вычисления 2024

2024-11-11T12:10:46Z

Killerrati: /* Преподаватели */

= Общие сведения =
* Семестр: 5 (третий курс)
* Форма контроля: диф. зачет
* '''[https://forms.gle/nMWSMJZJVTugmKCE6 Форма регистрации на курс].
* [https://docs.google.com/spreadsheets/d/1qKqtrO3-Cx68hL63GRm_iCL1pjCnK5DCgNxKyAjvETU/pubhtml?gid=397546993&single=true План лекций, семинаров,домашних работ, контрольных]
* [https://docs.google.com/spreadsheets/d/1qKqtrO3-Cx68hL63GRm_iCL1pjCnK5DCgNxKyAjvETU/pubhtml?gid=2040051800&single=true Таблица с оценками]
* [https://docs.google.com/spreadsheets/d/1qKqtrO3-Cx68hL63GRm_iCL1pjCnK5DCgNxKyAjvETU/pubhtml?gid=633420430&single=true Статус проверки домашних заданий]
* [https://forms.gle/B73K4MYzpVf9izP1A Продление дедлайнов и дописывание КР]
* [https://t.me/+wnu4eAfEXrE0MTdi Телеграм-чат курса]

=== Материалы занятий ===
Доступ открыт для всех аккаунтов @phystech.edu.

===== Лекции =====
* [ Видео лекций YouTube].
* [ Видео лекций].
* [ Слайды презентаций]
* 2020 г.
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfk1jdUQ4YnZtRWNCbl9YVHlvSHZjRERrOVlNVlU5dDZYWU0tN2dCRjgxVzA?resourcekey=0-cn9bfvH8nBixE3aiWvTfgA&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfm54OF8zMmd6aVQ0U0Y0MjFsdWdudFkxODJRVWFUcUt6bmdHUkNsYmMxRHM?resourcekey=0-wyYPEDg_OIF6mj1-4o8bLw&usp=sharing Семинары]
* 2021 г.
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfnNPS3JFdEdpTHM5aVFZR3dmdnlrdFNKcjlfa0dLY0lFb2l3cmtsM2VXT2s?resourcekey=0-rE3AAeTCn3pf0dgfGS86Qg&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfjBkRmhxc2o3d3NEdzN0RUhFeGtNSmJ6RFl3bzhOSEgzX0ViV2tXNFljbHc?resourcekey=0-t0UekU9AD2iQO6vKFmLUcg&usp=sharing Семинары]
* 2022 г. весна
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdflFRaUJveTdvR2REdDVxTkp1cm1VRnRNWmdsSGcxWlI4Y1kyVTJmZWtBWE0?resourcekey=0-sk8F-iNm8_2O8g7SDG24IA&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfllmTmtMbk44V0ZkT2xtc0dXbWoweGlDQmRSTE5lT0o5dk1yd3FaOTFZOEE?resourcekey=0-P5pBLFMpgXuVvFn8dB4nXA&usp=sharing Семинары]
* 2023 г. весна
* [https://drive.google.com/drive/folders/1arIrxYGJ144cHpZ72uGI5mBsFWolczfF?usp=share_link Видео лекций].
** [https://youtube.com/playlist?list=PLfibPMPn-PgyfrdrfmxvEAXtcjw7yfZmL Скринкасты лекций по CUDA]
* [https://drive.google.com/drive/folders/1eH2pePnbu3KqiRYtcBpDFffZXMXGA6-H?usp=share_link Слайды презентаций]
* 2023 г. осень
* [https://www.youtube.com/playlist?list=PL4_hYwCyhAvaZsPvosV8WBajIgflGK44j Видео лекций].
* [https://drive.google.com/drive/folders/1diehaQajFhzbYTLAAqmT0R_NRqU25JJX?usp=sharing Слайды презентаций]
* 2024 г. весна
* [https://www.youtube.com/playlist?list=PL4_hYwCyhAvaZsPvosV8WBajIgflGK44j Видео лекций YouTube].
* [https://drive.google.com/drive/folders/1WukRMRs74gcn5lEo5yNu6mz-AWBkkrIg?usp=sharing Видео лекций].
* [https://drive.google.com/drive/folders/1EjlJPwShH2UkMsxaFLIfvkYoAcKH3pnW?usp=sharing Слайды презентаций]

===== Семинары =====
* [https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/materials?ref_type=heads Коды и презентации семинаров]

*[https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/homeworks?ref_type=heads '''Домашние задания''']
*[https://docs.google.com/spreadsheets/d/1rxr465J4VtRxXnRtID1aRy0RzhpBltpjJYKximAQMB8/edit#gid=0 Интересные ссылки]

== Технические ссылки ==
* В случае проблем с кластерами пишите на '''servers@atp-fivt.org'''

==== Сервера ====
* MPI & OpenMP: <pre>ssh <user>@185.81.248.52 -p 2222</pre>
* CUDA: <pre>ssh <user>@lorien.atp-fivt.org</pre>
* Hadoop ecosystem: <pre>ssh <user>@mipt-client.atp-fivt.org</pre>

= Преподаватели =
* '''Руководитель курса'''
** Чернецкий Аркадий

* '''Лекторы'''
** Ивченко Олег
** Долуденко Алексей
** Ахтямов Павел
** Изабелла Затикян
** Леонид Меркин
** Вадим Опольский

* '''Семинаристы'''
** Чернецкий Аркадий
** Ахтямов Павел
** Кочурова Ирина

* '''Учебные ассистенты'''

==== Контакт для организационных вопросов ====
Куратор курса [https://t.me/atpfpmi_curators @atpfpmi_curators]

= Критерии получения оценки =
Зачет выставляется на основании баллов, полученных в течение семестра.

== Домашние задания ==
Планируется 6 домашних заданий. Проверка включает 2 этапа:
# прохождение автоматических тестов (начиная с ДЗ по CUDA).
# code review при условии выполненного п.1. Исправления по code review можно делать в течение '''1 месяца''' после 1-го комментария.

{| class="wikitable"
|-
! Название
! Мягкий дедлайн
! Жёсткий дедлайн
|-
| PD-2024a. MPI || 30.09.2024 || 07.10.2024
|-
| PD-2024a. CUDA || 21.10.2024 || 28.10.2024
|-
| PD-2024a. HDFS || 11.11.2024 || 18.11.2024
|-
| PD-2024a. Map-Reduce || 02.12.2024 || 09.12.2024
|-
| PD-2024a. Hive || 16.12.2024 || 23.12.2024
|-
| PD-2024a. Spark || 30.12.2024 || 06.01.2024
|}

[https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/homeworks?ref_type=heads Репозиторий с домашками]

* Штраф за опоздание по soft deadline: -50%
* Штраф за опоздание по hard deadline: -75%

Сдавать и исправлять домашки можно до .

== Мини-контрольные ==
Состоятся 3 теста. На контрольных нельзя пользоваться ничем и никем, кроме разрешённых смотрящими вещей. Код писать не потребуется.

{| class="wikitable"
|-
! Название
! Дата
! Длительность
|-
| PD-2024a. HDFS & MapReduce || 18.11.24 || 15 мин.
|-
| PD-2024a. Hive & Spark || 23.12.24 || 20 мин.
|-
| PD-2024a. Zookeeper, Kafka, Cassandra || 30.12.24 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату, или не получается сдать домашнее задание вовремя по технической или другой уважительной причине, просьба заполнить [https://forms.gle/WxCKSuf8GmdFyR4K9 '''форму на дописывание'''].
* PD-2024a. Дописывание. HDFS & MAPREDUCE
* PD-2024a. Дописывание. Hive & Spark

= Литература =
=== MPI & OpenMP ===
# Антонов А.С. Технологии параллельного программирования MPI и OpenMP: Учеб. пособие. Предисл.: В.А.Садовничий. - М.: Издательство Московского университета, 2012.

=== CUDA ===
# Дж. Сандерс, Э. Кэррот. Технология CUDA в примерах и задачах, 2013 (рус).
# [http://courses.cms.caltech.edu/cs179/ Курс "GPU programming" в Caltech].
# [https://www.cs.bgu.ac.il/~graph161/wiki.files/09f-GPU%20-%20Scans.pdf Лекция по Scan курсе по комп. графике, Ben-Gurion university]
# [http://developer.download.nvidia.com/compute/cuda/1.1-Beta/x86_website/projects/scan/doc/scan.pdf Parallel Prefix Sum (Scan) with CUDA, Mark Harris, NVidia]
# Книги от Nvidia: [https://developer.nvidia.com/gpugems/gpugems/contributors GPU gems], [https://developer.nvidia.com/gpugems/gpugems2/inside-front-cover GPU gems 2], [https://developer.nvidia.com/gpugems/gpugems3/foreword GPU gems 3]. Особенно интересна глава 39 из [https://developer.nvidia.com/gpugems/gpugems3/part-vi-gpu-computing/chapter-39-parallel-prefix-sum-scan-cuda GPU Gems] про Scan.

=== HDFS ===
# [https://www.oreilly.com/library/view/hadoop-the-definitive/9781491901687/ T. White. "Hadoop. The definitive guide"], гл. 3 "Hadoop distributed filesystem". (есть русский перевод). 4е издание
# [https://storageconference.us/2010/Papers/MSST/Shvachko.pdf Статья про архитектуру HDFS от Константина Швачко (Yahoo!)]
# [http://www.blogjava.net/DLevin/archive/2015/01/25/422428.html Статья про архитектуру HDFS в блоге HortonWorks (Китайская копия :))]
# [http://blog.madhukaraphatak.com/secondary-namenode---what-it-really-do/ Что в действительности делает SNN]
# [https://nancyyanyu.github.io/posts/49a14c15/ Выдержка из курсов Яндекс про HDFS]

Параллельные и распределенные вычисления 2024

2024-11-11T12:02:03Z

Killerrati: /* Домашние задания */

= Общие сведения =
* Семестр: 5 (третий курс)
* Форма контроля: диф. зачет
* '''[https://forms.gle/nMWSMJZJVTugmKCE6 Форма регистрации на курс].
* [https://docs.google.com/spreadsheets/d/1qKqtrO3-Cx68hL63GRm_iCL1pjCnK5DCgNxKyAjvETU/pubhtml?gid=397546993&single=true План лекций, семинаров,домашних работ, контрольных]
* [https://docs.google.com/spreadsheets/d/1qKqtrO3-Cx68hL63GRm_iCL1pjCnK5DCgNxKyAjvETU/pubhtml?gid=2040051800&single=true Таблица с оценками]
* [https://docs.google.com/spreadsheets/d/1qKqtrO3-Cx68hL63GRm_iCL1pjCnK5DCgNxKyAjvETU/pubhtml?gid=633420430&single=true Статус проверки домашних заданий]
* [https://forms.gle/B73K4MYzpVf9izP1A Продление дедлайнов и дописывание КР]
* [https://t.me/+wnu4eAfEXrE0MTdi Телеграм-чат курса]

=== Материалы занятий ===
Доступ открыт для всех аккаунтов @phystech.edu.

===== Лекции =====
* [ Видео лекций YouTube].
* [ Видео лекций].
* [ Слайды презентаций]
* 2020 г.
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfk1jdUQ4YnZtRWNCbl9YVHlvSHZjRERrOVlNVlU5dDZYWU0tN2dCRjgxVzA?resourcekey=0-cn9bfvH8nBixE3aiWvTfgA&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfm54OF8zMmd6aVQ0U0Y0MjFsdWdudFkxODJRVWFUcUt6bmdHUkNsYmMxRHM?resourcekey=0-wyYPEDg_OIF6mj1-4o8bLw&usp=sharing Семинары]
* 2021 г.
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfnNPS3JFdEdpTHM5aVFZR3dmdnlrdFNKcjlfa0dLY0lFb2l3cmtsM2VXT2s?resourcekey=0-rE3AAeTCn3pf0dgfGS86Qg&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfjBkRmhxc2o3d3NEdzN0RUhFeGtNSmJ6RFl3bzhOSEgzX0ViV2tXNFljbHc?resourcekey=0-t0UekU9AD2iQO6vKFmLUcg&usp=sharing Семинары]
* 2022 г. весна
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdflFRaUJveTdvR2REdDVxTkp1cm1VRnRNWmdsSGcxWlI4Y1kyVTJmZWtBWE0?resourcekey=0-sk8F-iNm8_2O8g7SDG24IA&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfllmTmtMbk44V0ZkT2xtc0dXbWoweGlDQmRSTE5lT0o5dk1yd3FaOTFZOEE?resourcekey=0-P5pBLFMpgXuVvFn8dB4nXA&usp=sharing Семинары]
* 2023 г. весна
* [https://drive.google.com/drive/folders/1arIrxYGJ144cHpZ72uGI5mBsFWolczfF?usp=share_link Видео лекций].
** [https://youtube.com/playlist?list=PLfibPMPn-PgyfrdrfmxvEAXtcjw7yfZmL Скринкасты лекций по CUDA]
* [https://drive.google.com/drive/folders/1eH2pePnbu3KqiRYtcBpDFffZXMXGA6-H?usp=share_link Слайды презентаций]
* 2023 г. осень
* [https://www.youtube.com/playlist?list=PL4_hYwCyhAvaZsPvosV8WBajIgflGK44j Видео лекций].
* [https://drive.google.com/drive/folders/1diehaQajFhzbYTLAAqmT0R_NRqU25JJX?usp=sharing Слайды презентаций]
* 2024 г. весна
* [https://www.youtube.com/playlist?list=PL4_hYwCyhAvaZsPvosV8WBajIgflGK44j Видео лекций YouTube].
* [https://drive.google.com/drive/folders/1WukRMRs74gcn5lEo5yNu6mz-AWBkkrIg?usp=sharing Видео лекций].
* [https://drive.google.com/drive/folders/1EjlJPwShH2UkMsxaFLIfvkYoAcKH3pnW?usp=sharing Слайды презентаций]

===== Семинары =====
* [https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/materials?ref_type=heads Коды и презентации семинаров]

*[https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/homeworks?ref_type=heads '''Домашние задания''']
*[https://docs.google.com/spreadsheets/d/1rxr465J4VtRxXnRtID1aRy0RzhpBltpjJYKximAQMB8/edit#gid=0 Интересные ссылки]

== Технические ссылки ==
* В случае проблем с кластерами пишите на '''servers@atp-fivt.org'''

==== Сервера ====
* MPI & OpenMP: <pre>ssh <user>@185.81.248.52 -p 2222</pre>
* CUDA: <pre>ssh <user>@lorien.atp-fivt.org</pre>
* Hadoop ecosystem: <pre>ssh <user>@mipt-client.atp-fivt.org</pre>

= Преподаватели =
* '''Руководитель курса'''
** Чернецкий Аркадий

* '''Лекторы'''
** Ивченко Олег
** Долуденко Алексей
** Ахтямов Павел

* '''Семинаристы'''
** Чернецкий Аркадий
** Ахтямов Павел
** Кочурова Ирина

* '''Учебные ассистенты'''

==== Контакт для организационных вопросов ====
Куратор курса [https://t.me/atpfpmi_curators @atpfpmi_curators]

= Критерии получения оценки =
Зачет выставляется на основании баллов, полученных в течение семестра.

== Домашние задания ==
Планируется 6 домашних заданий. Проверка включает 2 этапа:
# прохождение автоматических тестов (начиная с ДЗ по CUDA).
# code review при условии выполненного п.1. Исправления по code review можно делать в течение '''1 месяца''' после 1-го комментария.

{| class="wikitable"
|-
! Название
! Мягкий дедлайн
! Жёсткий дедлайн
|-
| PD-2024a. MPI || 30.09.2024 || 07.10.2024
|-
| PD-2024a. CUDA || 21.10.2024 || 28.10.2024
|-
| PD-2024a. HDFS || 11.11.2024 || 18.11.2024
|-
| PD-2024a. Map-Reduce || 02.12.2024 || 09.12.2024
|-
| PD-2024a. Hive || 16.12.2024 || 23.12.2024
|-
| PD-2024a. Spark || 30.12.2024 || 06.01.2024
|}

[https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/homeworks?ref_type=heads Репозиторий с домашками]

* Штраф за опоздание по soft deadline: -50%
* Штраф за опоздание по hard deadline: -75%

Сдавать и исправлять домашки можно до .

== Мини-контрольные ==
Состоятся 3 теста. На контрольных нельзя пользоваться ничем и никем, кроме разрешённых смотрящими вещей. Код писать не потребуется.

{| class="wikitable"
|-
! Название
! Дата
! Длительность
|-
| PD-2024a. HDFS & MapReduce || 18.11.24 || 15 мин.
|-
| PD-2024a. Hive & Spark || 23.12.24 || 20 мин.
|-
| PD-2024a. Zookeeper, Kafka, Cassandra || 30.12.24 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату, или не получается сдать домашнее задание вовремя по технической или другой уважительной причине, просьба заполнить [https://forms.gle/WxCKSuf8GmdFyR4K9 '''форму на дописывание'''].
* PD-2024a. Дописывание. HDFS & MAPREDUCE
* PD-2024a. Дописывание. Hive & Spark

= Литература =
=== MPI & OpenMP ===
# Антонов А.С. Технологии параллельного программирования MPI и OpenMP: Учеб. пособие. Предисл.: В.А.Садовничий. - М.: Издательство Московского университета, 2012.

=== CUDA ===
# Дж. Сандерс, Э. Кэррот. Технология CUDA в примерах и задачах, 2013 (рус).
# [http://courses.cms.caltech.edu/cs179/ Курс "GPU programming" в Caltech].
# [https://www.cs.bgu.ac.il/~graph161/wiki.files/09f-GPU%20-%20Scans.pdf Лекция по Scan курсе по комп. графике, Ben-Gurion university]
# [http://developer.download.nvidia.com/compute/cuda/1.1-Beta/x86_website/projects/scan/doc/scan.pdf Parallel Prefix Sum (Scan) with CUDA, Mark Harris, NVidia]
# Книги от Nvidia: [https://developer.nvidia.com/gpugems/gpugems/contributors GPU gems], [https://developer.nvidia.com/gpugems/gpugems2/inside-front-cover GPU gems 2], [https://developer.nvidia.com/gpugems/gpugems3/foreword GPU gems 3]. Особенно интересна глава 39 из [https://developer.nvidia.com/gpugems/gpugems3/part-vi-gpu-computing/chapter-39-parallel-prefix-sum-scan-cuda GPU Gems] про Scan.

=== HDFS ===
# [https://www.oreilly.com/library/view/hadoop-the-definitive/9781491901687/ T. White. "Hadoop. The definitive guide"], гл. 3 "Hadoop distributed filesystem". (есть русский перевод). 4е издание
# [https://storageconference.us/2010/Papers/MSST/Shvachko.pdf Статья про архитектуру HDFS от Константина Швачко (Yahoo!)]
# [http://www.blogjava.net/DLevin/archive/2015/01/25/422428.html Статья про архитектуру HDFS в блоге HortonWorks (Китайская копия :))]
# [http://blog.madhukaraphatak.com/secondary-namenode---what-it-really-do/ Что в действительности делает SNN]
# [https://nancyyanyu.github.io/posts/49a14c15/ Выдержка из курсов Яндекс про HDFS]

Параллельные и распределенные вычисления 2024

2024-10-20T22:21:49Z

Killerrati: /* Мини-контрольные */

= Общие сведения =
* Семестр: 5 (третий курс)
* Форма контроля: диф. зачет
* '''[https://forms.gle/nMWSMJZJVTugmKCE6 Форма регистрации на курс].
* [https://docs.google.com/spreadsheets/d/1qKqtrO3-Cx68hL63GRm_iCL1pjCnK5DCgNxKyAjvETU/pubhtml?gid=397546993&single=true План лекций, семинаров,домашних работ, контрольных]
* [https://docs.google.com/spreadsheets/d/1qKqtrO3-Cx68hL63GRm_iCL1pjCnK5DCgNxKyAjvETU/pubhtml?gid=2040051800&single=true Таблица с оценками]
* [https://docs.google.com/spreadsheets/d/1qKqtrO3-Cx68hL63GRm_iCL1pjCnK5DCgNxKyAjvETU/pubhtml?gid=633420430&single=true Статус проверки домашних заданий]
* [https://forms.gle/B73K4MYzpVf9izP1A Продление дедлайнов и дописывание КР]
* [https://t.me/+wnu4eAfEXrE0MTdi Телеграм-чат курса]

=== Материалы занятий ===
Доступ открыт для всех аккаунтов @phystech.edu.

===== Лекции =====
* [ Видео лекций YouTube].
* [ Видео лекций].
* [ Слайды презентаций]
* 2020 г.
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfk1jdUQ4YnZtRWNCbl9YVHlvSHZjRERrOVlNVlU5dDZYWU0tN2dCRjgxVzA?resourcekey=0-cn9bfvH8nBixE3aiWvTfgA&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfm54OF8zMmd6aVQ0U0Y0MjFsdWdudFkxODJRVWFUcUt6bmdHUkNsYmMxRHM?resourcekey=0-wyYPEDg_OIF6mj1-4o8bLw&usp=sharing Семинары]
* 2021 г.
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfnNPS3JFdEdpTHM5aVFZR3dmdnlrdFNKcjlfa0dLY0lFb2l3cmtsM2VXT2s?resourcekey=0-rE3AAeTCn3pf0dgfGS86Qg&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfjBkRmhxc2o3d3NEdzN0RUhFeGtNSmJ6RFl3bzhOSEgzX0ViV2tXNFljbHc?resourcekey=0-t0UekU9AD2iQO6vKFmLUcg&usp=sharing Семинары]
* 2022 г. весна
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdflFRaUJveTdvR2REdDVxTkp1cm1VRnRNWmdsSGcxWlI4Y1kyVTJmZWtBWE0?resourcekey=0-sk8F-iNm8_2O8g7SDG24IA&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfllmTmtMbk44V0ZkT2xtc0dXbWoweGlDQmRSTE5lT0o5dk1yd3FaOTFZOEE?resourcekey=0-P5pBLFMpgXuVvFn8dB4nXA&usp=sharing Семинары]
* 2023 г. весна
* [https://drive.google.com/drive/folders/1arIrxYGJ144cHpZ72uGI5mBsFWolczfF?usp=share_link Видео лекций].
** [https://youtube.com/playlist?list=PLfibPMPn-PgyfrdrfmxvEAXtcjw7yfZmL Скринкасты лекций по CUDA]
* [https://drive.google.com/drive/folders/1eH2pePnbu3KqiRYtcBpDFffZXMXGA6-H?usp=share_link Слайды презентаций]
* 2023 г. осень
* [https://www.youtube.com/playlist?list=PL4_hYwCyhAvaZsPvosV8WBajIgflGK44j Видео лекций].
* [https://drive.google.com/drive/folders/1diehaQajFhzbYTLAAqmT0R_NRqU25JJX?usp=sharing Слайды презентаций]
* 2024 г. весна
* [https://www.youtube.com/playlist?list=PL4_hYwCyhAvaZsPvosV8WBajIgflGK44j Видео лекций YouTube].
* [https://drive.google.com/drive/folders/1WukRMRs74gcn5lEo5yNu6mz-AWBkkrIg?usp=sharing Видео лекций].
* [https://drive.google.com/drive/folders/1EjlJPwShH2UkMsxaFLIfvkYoAcKH3pnW?usp=sharing Слайды презентаций]

===== Семинары =====
* [https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/materials?ref_type=heads Коды и презентации семинаров]

*[https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/homeworks?ref_type=heads '''Домашние задания''']
*[https://docs.google.com/spreadsheets/d/1rxr465J4VtRxXnRtID1aRy0RzhpBltpjJYKximAQMB8/edit#gid=0 Интересные ссылки]

== Технические ссылки ==
* В случае проблем с кластерами пишите на '''servers@atp-fivt.org'''

==== Сервера ====
* MPI & OpenMP: <pre>ssh <user>@185.81.248.52 -p 2222</pre>
* CUDA: <pre>ssh <user>@lorien.atp-fivt.org</pre>
* Hadoop ecosystem: <pre>ssh <user>@mipt-client.atp-fivt.org</pre>

= Преподаватели =
* '''Руководитель курса'''
** Чернецкий Аркадий

* '''Лекторы'''
** Ивченко Олег
** Долуденко Алексей
** Ахтямов Павел

* '''Семинаристы'''
** Чернецкий Аркадий
** Ахтямов Павел
** Кочурова Ирина

* '''Учебные ассистенты'''

==== Контакт для организационных вопросов ====
Куратор курса [https://t.me/atpfpmi_curators @atpfpmi_curators]

= Критерии получения оценки =
Зачет выставляется на основании баллов, полученных в течение семестра.

== Домашние задания ==
Планируется 6 домашних заданий. Проверка включает 2 этапа:
# прохождение автоматических тестов (начиная с ДЗ по CUDA).
# code review при условии выполненного п.1. Исправления по code review можно делать в течение '''1 месяца''' после 1-го комментария.

{| class="wikitable"
|-
! Название
! Мягкий дедлайн
! Жёсткий дедлайн
|-
| PD-2024a. MPI || 30.09.2024 || 07.10.2024
|-
| PD-2024a. CUDA || 21.10.2024 || 28.10.2024
|-
| PD-2024a. HDFS || 11.11.2024 || 18.11.2024
|-
| PD-2024a. Map-Reduce || 02.12.2024 || 09.12.2024
|-
| PD-2024a. Hive || 09.12.2024 || 16.12.2024
|-
| PD-2024a. Spark || 30.12.2024 || 06.01.2024
|}

[https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/homeworks?ref_type=heads Репозиторий с домашками]

* Штраф за опоздание по soft deadline: -50%
* Штраф за опоздание по hard deadline: -75%

Сдавать и исправлять домашки можно до .

== Мини-контрольные ==
Состоятся 3 теста. На контрольных нельзя пользоваться ничем и никем, кроме разрешённых смотрящими вещей. Код писать не потребуется.

{| class="wikitable"
|-
! Название
! Дата
! Длительность
|-
| PD-2024a. HDFS & MapReduce || 18.11.24 || 15 мин.
|-
| PD-2024a. Hive & Spark || 23.12.24 || 20 мин.
|-
| PD-2024a. Zookeeper, Kafka, Cassandra || 30.12.24 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату, или не получается сдать домашнее задание вовремя по технической или другой уважительной причине, просьба заполнить [https://forms.gle/WxCKSuf8GmdFyR4K9 '''форму на дописывание'''].
* PD-2024a. Дописывание. HDFS & MAPREDUCE
* PD-2024a. Дописывание. Hive & Spark

= Литература =
=== MPI & OpenMP ===
# Антонов А.С. Технологии параллельного программирования MPI и OpenMP: Учеб. пособие. Предисл.: В.А.Садовничий. - М.: Издательство Московского университета, 2012.

=== CUDA ===
# Дж. Сандерс, Э. Кэррот. Технология CUDA в примерах и задачах, 2013 (рус).
# [http://courses.cms.caltech.edu/cs179/ Курс "GPU programming" в Caltech].
# [https://www.cs.bgu.ac.il/~graph161/wiki.files/09f-GPU%20-%20Scans.pdf Лекция по Scan курсе по комп. графике, Ben-Gurion university]
# [http://developer.download.nvidia.com/compute/cuda/1.1-Beta/x86_website/projects/scan/doc/scan.pdf Parallel Prefix Sum (Scan) with CUDA, Mark Harris, NVidia]
# Книги от Nvidia: [https://developer.nvidia.com/gpugems/gpugems/contributors GPU gems], [https://developer.nvidia.com/gpugems/gpugems2/inside-front-cover GPU gems 2], [https://developer.nvidia.com/gpugems/gpugems3/foreword GPU gems 3]. Особенно интересна глава 39 из [https://developer.nvidia.com/gpugems/gpugems3/part-vi-gpu-computing/chapter-39-parallel-prefix-sum-scan-cuda GPU Gems] про Scan.

=== HDFS ===
# [https://www.oreilly.com/library/view/hadoop-the-definitive/9781491901687/ T. White. "Hadoop. The definitive guide"], гл. 3 "Hadoop distributed filesystem". (есть русский перевод). 4е издание
# [https://storageconference.us/2010/Papers/MSST/Shvachko.pdf Статья про архитектуру HDFS от Константина Швачко (Yahoo!)]
# [http://www.blogjava.net/DLevin/archive/2015/01/25/422428.html Статья про архитектуру HDFS в блоге HortonWorks (Китайская копия :))]
# [http://blog.madhukaraphatak.com/secondary-namenode---what-it-really-do/ Что в действительности делает SNN]
# [https://nancyyanyu.github.io/posts/49a14c15/ Выдержка из курсов Яндекс про HDFS]

Параллельные и распределенные вычисления 2024

2024-10-20T22:19:02Z

Killerrati: /* Сервера */

= Общие сведения =
* Семестр: 5 (третий курс)
* Форма контроля: диф. зачет
* '''[https://forms.gle/nMWSMJZJVTugmKCE6 Форма регистрации на курс].
* [https://docs.google.com/spreadsheets/d/1qKqtrO3-Cx68hL63GRm_iCL1pjCnK5DCgNxKyAjvETU/pubhtml?gid=397546993&single=true План лекций, семинаров,домашних работ, контрольных]
* [https://docs.google.com/spreadsheets/d/1qKqtrO3-Cx68hL63GRm_iCL1pjCnK5DCgNxKyAjvETU/pubhtml?gid=2040051800&single=true Таблица с оценками]
* [https://docs.google.com/spreadsheets/d/1qKqtrO3-Cx68hL63GRm_iCL1pjCnK5DCgNxKyAjvETU/pubhtml?gid=633420430&single=true Статус проверки домашних заданий]
* [https://forms.gle/B73K4MYzpVf9izP1A Продление дедлайнов и дописывание КР]
* [https://t.me/+wnu4eAfEXrE0MTdi Телеграм-чат курса]

=== Материалы занятий ===
Доступ открыт для всех аккаунтов @phystech.edu.

===== Лекции =====
* [ Видео лекций YouTube].
* [ Видео лекций].
* [ Слайды презентаций]
* 2020 г.
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfk1jdUQ4YnZtRWNCbl9YVHlvSHZjRERrOVlNVlU5dDZYWU0tN2dCRjgxVzA?resourcekey=0-cn9bfvH8nBixE3aiWvTfgA&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfm54OF8zMmd6aVQ0U0Y0MjFsdWdudFkxODJRVWFUcUt6bmdHUkNsYmMxRHM?resourcekey=0-wyYPEDg_OIF6mj1-4o8bLw&usp=sharing Семинары]
* 2021 г.
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfnNPS3JFdEdpTHM5aVFZR3dmdnlrdFNKcjlfa0dLY0lFb2l3cmtsM2VXT2s?resourcekey=0-rE3AAeTCn3pf0dgfGS86Qg&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfjBkRmhxc2o3d3NEdzN0RUhFeGtNSmJ6RFl3bzhOSEgzX0ViV2tXNFljbHc?resourcekey=0-t0UekU9AD2iQO6vKFmLUcg&usp=sharing Семинары]
* 2022 г. весна
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdflFRaUJveTdvR2REdDVxTkp1cm1VRnRNWmdsSGcxWlI4Y1kyVTJmZWtBWE0?resourcekey=0-sk8F-iNm8_2O8g7SDG24IA&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfllmTmtMbk44V0ZkT2xtc0dXbWoweGlDQmRSTE5lT0o5dk1yd3FaOTFZOEE?resourcekey=0-P5pBLFMpgXuVvFn8dB4nXA&usp=sharing Семинары]
* 2023 г. весна
* [https://drive.google.com/drive/folders/1arIrxYGJ144cHpZ72uGI5mBsFWolczfF?usp=share_link Видео лекций].
** [https://youtube.com/playlist?list=PLfibPMPn-PgyfrdrfmxvEAXtcjw7yfZmL Скринкасты лекций по CUDA]
* [https://drive.google.com/drive/folders/1eH2pePnbu3KqiRYtcBpDFffZXMXGA6-H?usp=share_link Слайды презентаций]
* 2023 г. осень
* [https://www.youtube.com/playlist?list=PL4_hYwCyhAvaZsPvosV8WBajIgflGK44j Видео лекций].
* [https://drive.google.com/drive/folders/1diehaQajFhzbYTLAAqmT0R_NRqU25JJX?usp=sharing Слайды презентаций]
* 2024 г. весна
* [https://www.youtube.com/playlist?list=PL4_hYwCyhAvaZsPvosV8WBajIgflGK44j Видео лекций YouTube].
* [https://drive.google.com/drive/folders/1WukRMRs74gcn5lEo5yNu6mz-AWBkkrIg?usp=sharing Видео лекций].
* [https://drive.google.com/drive/folders/1EjlJPwShH2UkMsxaFLIfvkYoAcKH3pnW?usp=sharing Слайды презентаций]

===== Семинары =====
* [https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/materials?ref_type=heads Коды и презентации семинаров]

*[https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/homeworks?ref_type=heads '''Домашние задания''']
*[https://docs.google.com/spreadsheets/d/1rxr465J4VtRxXnRtID1aRy0RzhpBltpjJYKximAQMB8/edit#gid=0 Интересные ссылки]

== Технические ссылки ==
* В случае проблем с кластерами пишите на '''servers@atp-fivt.org'''

==== Сервера ====
* MPI & OpenMP: <pre>ssh <user>@185.81.248.52 -p 2222</pre>
* CUDA: <pre>ssh <user>@lorien.atp-fivt.org</pre>
* Hadoop ecosystem: <pre>ssh <user>@mipt-client.atp-fivt.org</pre>

= Преподаватели =
* '''Руководитель курса'''
** Чернецкий Аркадий

* '''Лекторы'''
** Ивченко Олег
** Долуденко Алексей
** Ахтямов Павел

* '''Семинаристы'''
** Чернецкий Аркадий
** Ахтямов Павел
** Кочурова Ирина

* '''Учебные ассистенты'''

==== Контакт для организационных вопросов ====
Куратор курса [https://t.me/atpfpmi_curators @atpfpmi_curators]

= Критерии получения оценки =
Зачет выставляется на основании баллов, полученных в течение семестра.

== Домашние задания ==
Планируется 6 домашних заданий. Проверка включает 2 этапа:
# прохождение автоматических тестов (начиная с ДЗ по CUDA).
# code review при условии выполненного п.1. Исправления по code review можно делать в течение '''1 месяца''' после 1-го комментария.

{| class="wikitable"
|-
! Название
! Мягкий дедлайн
! Жёсткий дедлайн
|-
| PD-2024a. MPI || 30.09.2024 || 07.10.2024
|-
| PD-2024a. CUDA || 21.10.2024 || 28.10.2024
|-
| PD-2024a. HDFS || 11.11.2024 || 18.11.2024
|-
| PD-2024a. Map-Reduce || 02.12.2024 || 09.12.2024
|-
| PD-2024a. Hive || 09.12.2024 || 16.12.2024
|-
| PD-2024a. Spark || 30.12.2024 || 06.01.2024
|}

[https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/homeworks?ref_type=heads Репозиторий с домашками]

* Штраф за опоздание по soft deadline: -50%
* Штраф за опоздание по hard deadline: -75%

Сдавать и исправлять домашки можно до .

== Мини-контрольные ==
Состоятся 3 теста. На контрольных нельзя пользоваться ничем и никем, кроме разрешённых смотрящими вещей. Код писать не потребуется.

{| class="wikitable"
|-
! Название
! Дата
! Длительность
|-
| PD-2024a. HDFS & MapReduce || 18.11.24 || 15 мин.
|-
| PD-2024a. Hive & Spark || 23.12.24 || 20 мин.
|-
| PD-2024a. Zookeeper, Kafka, Cassandra || 30.12.24 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://forms.gle/WxCKSuf8GmdFyR4K9 '''форму на дописывание'''].
* PD-2024s. Дописывание. HDFS & MAPREDUCE
* PD-2024s. Дописывание. Hive & Spark

= Литература =
=== MPI & OpenMP ===
# Антонов А.С. Технологии параллельного программирования MPI и OpenMP: Учеб. пособие. Предисл.: В.А.Садовничий. - М.: Издательство Московского университета, 2012.

=== CUDA ===
# Дж. Сандерс, Э. Кэррот. Технология CUDA в примерах и задачах, 2013 (рус).
# [http://courses.cms.caltech.edu/cs179/ Курс "GPU programming" в Caltech].
# [https://www.cs.bgu.ac.il/~graph161/wiki.files/09f-GPU%20-%20Scans.pdf Лекция по Scan курсе по комп. графике, Ben-Gurion university]
# [http://developer.download.nvidia.com/compute/cuda/1.1-Beta/x86_website/projects/scan/doc/scan.pdf Parallel Prefix Sum (Scan) with CUDA, Mark Harris, NVidia]
# Книги от Nvidia: [https://developer.nvidia.com/gpugems/gpugems/contributors GPU gems], [https://developer.nvidia.com/gpugems/gpugems2/inside-front-cover GPU gems 2], [https://developer.nvidia.com/gpugems/gpugems3/foreword GPU gems 3]. Особенно интересна глава 39 из [https://developer.nvidia.com/gpugems/gpugems3/part-vi-gpu-computing/chapter-39-parallel-prefix-sum-scan-cuda GPU Gems] про Scan.

=== HDFS ===
# [https://www.oreilly.com/library/view/hadoop-the-definitive/9781491901687/ T. White. "Hadoop. The definitive guide"], гл. 3 "Hadoop distributed filesystem". (есть русский перевод). 4е издание
# [https://storageconference.us/2010/Papers/MSST/Shvachko.pdf Статья про архитектуру HDFS от Константина Швачко (Yahoo!)]
# [http://www.blogjava.net/DLevin/archive/2015/01/25/422428.html Статья про архитектуру HDFS в блоге HortonWorks (Китайская копия :))]
# [http://blog.madhukaraphatak.com/secondary-namenode---what-it-really-do/ Что в действительности делает SNN]
# [https://nancyyanyu.github.io/posts/49a14c15/ Выдержка из курсов Яндекс про HDFS]

Параллельные и распределенные вычисления 2024

2024-10-20T22:17:49Z

Killerrati: /* Технические ссылки */

= Общие сведения =
* Семестр: 5 (третий курс)
* Форма контроля: диф. зачет
* '''[https://forms.gle/nMWSMJZJVTugmKCE6 Форма регистрации на курс].
* [https://docs.google.com/spreadsheets/d/1qKqtrO3-Cx68hL63GRm_iCL1pjCnK5DCgNxKyAjvETU/pubhtml?gid=397546993&single=true План лекций, семинаров,домашних работ, контрольных]
* [https://docs.google.com/spreadsheets/d/1qKqtrO3-Cx68hL63GRm_iCL1pjCnK5DCgNxKyAjvETU/pubhtml?gid=2040051800&single=true Таблица с оценками]
* [https://docs.google.com/spreadsheets/d/1qKqtrO3-Cx68hL63GRm_iCL1pjCnK5DCgNxKyAjvETU/pubhtml?gid=633420430&single=true Статус проверки домашних заданий]
* [https://forms.gle/B73K4MYzpVf9izP1A Продление дедлайнов и дописывание КР]
* [https://t.me/+wnu4eAfEXrE0MTdi Телеграм-чат курса]

=== Материалы занятий ===
Доступ открыт для всех аккаунтов @phystech.edu.

===== Лекции =====
* [ Видео лекций YouTube].
* [ Видео лекций].
* [ Слайды презентаций]
* 2020 г.
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfk1jdUQ4YnZtRWNCbl9YVHlvSHZjRERrOVlNVlU5dDZYWU0tN2dCRjgxVzA?resourcekey=0-cn9bfvH8nBixE3aiWvTfgA&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfm54OF8zMmd6aVQ0U0Y0MjFsdWdudFkxODJRVWFUcUt6bmdHUkNsYmMxRHM?resourcekey=0-wyYPEDg_OIF6mj1-4o8bLw&usp=sharing Семинары]
* 2021 г.
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfnNPS3JFdEdpTHM5aVFZR3dmdnlrdFNKcjlfa0dLY0lFb2l3cmtsM2VXT2s?resourcekey=0-rE3AAeTCn3pf0dgfGS86Qg&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfjBkRmhxc2o3d3NEdzN0RUhFeGtNSmJ6RFl3bzhOSEgzX0ViV2tXNFljbHc?resourcekey=0-t0UekU9AD2iQO6vKFmLUcg&usp=sharing Семинары]
* 2022 г. весна
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdflFRaUJveTdvR2REdDVxTkp1cm1VRnRNWmdsSGcxWlI4Y1kyVTJmZWtBWE0?resourcekey=0-sk8F-iNm8_2O8g7SDG24IA&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfllmTmtMbk44V0ZkT2xtc0dXbWoweGlDQmRSTE5lT0o5dk1yd3FaOTFZOEE?resourcekey=0-P5pBLFMpgXuVvFn8dB4nXA&usp=sharing Семинары]
* 2023 г. весна
* [https://drive.google.com/drive/folders/1arIrxYGJ144cHpZ72uGI5mBsFWolczfF?usp=share_link Видео лекций].
** [https://youtube.com/playlist?list=PLfibPMPn-PgyfrdrfmxvEAXtcjw7yfZmL Скринкасты лекций по CUDA]
* [https://drive.google.com/drive/folders/1eH2pePnbu3KqiRYtcBpDFffZXMXGA6-H?usp=share_link Слайды презентаций]
* 2023 г. осень
* [https://www.youtube.com/playlist?list=PL4_hYwCyhAvaZsPvosV8WBajIgflGK44j Видео лекций].
* [https://drive.google.com/drive/folders/1diehaQajFhzbYTLAAqmT0R_NRqU25JJX?usp=sharing Слайды презентаций]
* 2024 г. весна
* [https://www.youtube.com/playlist?list=PL4_hYwCyhAvaZsPvosV8WBajIgflGK44j Видео лекций YouTube].
* [https://drive.google.com/drive/folders/1WukRMRs74gcn5lEo5yNu6mz-AWBkkrIg?usp=sharing Видео лекций].
* [https://drive.google.com/drive/folders/1EjlJPwShH2UkMsxaFLIfvkYoAcKH3pnW?usp=sharing Слайды презентаций]

===== Семинары =====
* [https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/materials?ref_type=heads Коды и презентации семинаров]

*[https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/homeworks?ref_type=heads '''Домашние задания''']
*[https://docs.google.com/spreadsheets/d/1rxr465J4VtRxXnRtID1aRy0RzhpBltpjJYKximAQMB8/edit#gid=0 Интересные ссылки]

== Технические ссылки ==
* В случае проблем с кластерами пишите на '''servers@atp-fivt.org'''

==== Сервера ====
* MPI & OpenMP: <pre>ssh <user>@calc.cod.phystech.edu</pre>
* CUDA: <pre>ssh <user>@lorien.atp-fivt.org</pre>
* Hadoop ecosystem: <pre>ssh <user>@mipt-client.atp-fivt.org</pre>

= Преподаватели =
* '''Руководитель курса'''
** Чернецкий Аркадий

* '''Лекторы'''
** Ивченко Олег
** Долуденко Алексей
** Ахтямов Павел

* '''Семинаристы'''
** Чернецкий Аркадий
** Ахтямов Павел
** Кочурова Ирина

* '''Учебные ассистенты'''

==== Контакт для организационных вопросов ====
Куратор курса [https://t.me/atpfpmi_curators @atpfpmi_curators]

= Критерии получения оценки =
Зачет выставляется на основании баллов, полученных в течение семестра.

== Домашние задания ==
Планируется 6 домашних заданий. Проверка включает 2 этапа:
# прохождение автоматических тестов (начиная с ДЗ по CUDA).
# code review при условии выполненного п.1. Исправления по code review можно делать в течение '''1 месяца''' после 1-го комментария.

{| class="wikitable"
|-
! Название
! Мягкий дедлайн
! Жёсткий дедлайн
|-
| PD-2024a. MPI || 30.09.2024 || 07.10.2024
|-
| PD-2024a. CUDA || 21.10.2024 || 28.10.2024
|-
| PD-2024a. HDFS || 11.11.2024 || 18.11.2024
|-
| PD-2024a. Map-Reduce || 02.12.2024 || 09.12.2024
|-
| PD-2024a. Hive || 09.12.2024 || 16.12.2024
|-
| PD-2024a. Spark || 30.12.2024 || 06.01.2024
|}

[https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/homeworks?ref_type=heads Репозиторий с домашками]

* Штраф за опоздание по soft deadline: -50%
* Штраф за опоздание по hard deadline: -75%

Сдавать и исправлять домашки можно до .

== Мини-контрольные ==
Состоятся 3 теста. На контрольных нельзя пользоваться ничем и никем, кроме разрешённых смотрящими вещей. Код писать не потребуется.

{| class="wikitable"
|-
! Название
! Дата
! Длительность
|-
| PD-2024a. HDFS & MapReduce || 18.11.24 || 15 мин.
|-
| PD-2024a. Hive & Spark || 23.12.24 || 20 мин.
|-
| PD-2024a. Zookeeper, Kafka, Cassandra || 30.12.24 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://forms.gle/WxCKSuf8GmdFyR4K9 '''форму на дописывание'''].
* PD-2024s. Дописывание. HDFS & MAPREDUCE
* PD-2024s. Дописывание. Hive & Spark

= Литература =
=== MPI & OpenMP ===
# Антонов А.С. Технологии параллельного программирования MPI и OpenMP: Учеб. пособие. Предисл.: В.А.Садовничий. - М.: Издательство Московского университета, 2012.

=== CUDA ===
# Дж. Сандерс, Э. Кэррот. Технология CUDA в примерах и задачах, 2013 (рус).
# [http://courses.cms.caltech.edu/cs179/ Курс "GPU programming" в Caltech].
# [https://www.cs.bgu.ac.il/~graph161/wiki.files/09f-GPU%20-%20Scans.pdf Лекция по Scan курсе по комп. графике, Ben-Gurion university]
# [http://developer.download.nvidia.com/compute/cuda/1.1-Beta/x86_website/projects/scan/doc/scan.pdf Parallel Prefix Sum (Scan) with CUDA, Mark Harris, NVidia]
# Книги от Nvidia: [https://developer.nvidia.com/gpugems/gpugems/contributors GPU gems], [https://developer.nvidia.com/gpugems/gpugems2/inside-front-cover GPU gems 2], [https://developer.nvidia.com/gpugems/gpugems3/foreword GPU gems 3]. Особенно интересна глава 39 из [https://developer.nvidia.com/gpugems/gpugems3/part-vi-gpu-computing/chapter-39-parallel-prefix-sum-scan-cuda GPU Gems] про Scan.

=== HDFS ===
# [https://www.oreilly.com/library/view/hadoop-the-definitive/9781491901687/ T. White. "Hadoop. The definitive guide"], гл. 3 "Hadoop distributed filesystem". (есть русский перевод). 4е издание
# [https://storageconference.us/2010/Papers/MSST/Shvachko.pdf Статья про архитектуру HDFS от Константина Швачко (Yahoo!)]
# [http://www.blogjava.net/DLevin/archive/2015/01/25/422428.html Статья про архитектуру HDFS в блоге HortonWorks (Китайская копия :))]
# [http://blog.madhukaraphatak.com/secondary-namenode---what-it-really-do/ Что в действительности делает SNN]
# [https://nancyyanyu.github.io/posts/49a14c15/ Выдержка из курсов Яндекс про HDFS]

Технологии программирования и операционные системы. 2024

2024-10-16T08:21:40Z

Killerrati: Поправлена ссылка на таблицу с оценками

= Общие сведения =
* Семестр: 9 (пятый курс)
* Форма контроля: экзамен

= Команда курса =
'''Преподаватели'''
* Никита Честнов - продвинутый поток
* Аркадий Чернецкий - базовый поток
* Вячеслав Егоров - модуль kubernetes

'''Учебные aссистенты'''
* Птуха Алексей
* Павлов Дмитрий
* Бондарь Роман

= План курса =

* '''[https://docs.google.com/spreadsheets/d/1eiABvxQWvyFexnzxgjiBi2t4bdHnBHk8dT2Y7fHiL9Y/pubhtml?gid=507729092&single=true План курсa]'''

= Важные ссылки =
* [https://t.me/+yRJtgNNcXbhkYWYy Чат курса]
* [https://forms.gle/VwG4qwsho4UP2jRp7 Регистрация на курс]
* '''[https://docs.google.com/spreadsheets/d/e/2PACX-1vQryHr1V8DAI-qwzJC2nj4zb7MxLF83uLoijBll-69YU7fstEtlajKHmBpOJ186VFgukgTPgFWCbXyq/pubhtml?gid=1419980475&single=true Таблица с оценками]'''
* [https://docs.google.com/spreadsheets/d/1eiABvxQWvyFexnzxgjiBi2t4bdHnBHk8dT2Y7fHiL9Y/pubhtml?gid=1013740528&single=true Статус проверки домашних заданий]
* [https://forms.gle/ieYPaZ2krRXuSVe47 Продление дедлайнов и дописывание КР]

== Материалы ==
* [https://drive.google.com/drive/folders/18vmV9L3CBCOyy7ax_EfvHWB9T0XNLtS6?usp=sharing Презентации]
* [https://drive.google.com/drive/folders/1KjhBYZ6Nw7q4OyT6L27HY_U1bNYsNqyD?usp=sharing Конспекты]
* [https://plvideo.ru/playlist?list=wFS1nj79QrvH Видео занятий. Продвинутый поток]
* [https://plvideo.ru/playlist?list=pgsftU-Ol2pg Видео занятий. Базовый поток]
* [https://plvideo.ru/watch?v=ZJc6mOAM1gHO Вводное занятия]

= Критерии получения оценки =
Оценка по курсу состоит из нескольких частей:
# Домашние задания: 11 баллов
# Мини-контрольные: 3 баллов
# Бонус: 1 балл
# Экзамен: 2 балла

== Домашние задания ==
Домашние задания предполагают программирование. Сдача происходит с помощью merge request в GitLab кафедры АТП.

* Сдача до мягкого deadline - 100%.
* Сдача после мягкого, но до жесткого 75% оценки.
* После жесткого 25% оценки.

Если сданная домашка рабочая и соответствует условию, то после проверки преподавателем или ассистентом можно учесть замечания и повысить оценку.
Исправления принимаются '''в течение месяца''' после проверки.

{| class="wikitable"
|-
! Домашнее задание
! Дедлайн баз. (мягк. / жестк.)
! Дедлайн прод. (мягк. / жестк.)
|-
| [https://docs.google.com/document/u/1/d/e/2PACX-1vQdET2vsG5XmcuQ0rS44jDPnnVNHV_2mPCtGMAsiKpBquz_X47wl2SFNJJl-Q7R7SpksTW98I3NG3Jl/pub Linux & Tmux] || 27.10 / 03.11 || 27.10 / 03.11
|-
| Docker || --.-- / --.-- || --.-- / --.--
|-
| Ansible || --.-- / --.-- || --.-- / --.--
|-
| GitLab CI/CD || --.-- / --.-- || --.-- / --.--
|-
| Kubernetes || --.-- / --.-- || --.-- / --.--
|}

== Мини-контрольные ==
Каждая контрольная:
* максимальная оценка: 1 балл
* длительность ~10-15 мин.
* проводится с помощью системы прокторинга http://exams.mipt.ru/. По ссылке доступна [https://drive.google.com/file/d/1n0iR-IaPnT4EeEEUCksODQnjl34L8Xlc/view?usp=sharing инструкция пользователя].

{| class="wikitable"
|-
! Название Кр на [http://exams.mipt.ru/ exams.mipt.ru]
! Дата
! Темы
|-
|[https://exams.mipt.ru/#h_olymp45760 ТПОС. LINUX, GIT, PYTHON PACKAGING] || 17.10, 19:50, 10 мин. || Linux, Git, Python packaging
|-
|ТПОС. CI, Ansible & virtualization || 21.11, 17:05, 15 мин. || CI, Docker, Vagrant
|-
|ТПОС. Kubernetes || 19.12, 17:05, 10 мин. || Kubernetes. 10 минут
|}

[https://forms.gle/TxXMB9pTZcmYJ7ZQ9 Форма для регистрации на дописывание Quiz'а].

{| class="wikitable"
|-
! Название события для дописывания
! Дата
|-
|ТПОС. Дописывание. LINUX, GIT, PYTHON PACKAGING || 26.12, 17:05, 15 мин.
|-
|ТПОС. Дописывание. CI, Ansible & virtualization || 26.12, 17:20, 15 мин.
|}

== Бонус ==
За активность в чате курса и на занятиях можно получить дополнительно +1 балл. Количество студентов, получивших бонус, неограничено.

= Экзамен =
На экзамене будет предложена письменная работа из 2 вопросов. Длительность работы 30 минут.
Если вы не собираетесь приходить на экзамен, подтвердите согласие с текущей оценкой с помощью формы.

= Перезачёт =
Если вы проходили курсы, программа которых на 75% и выше совпадает с программой ТПОС, есть возможность перезачесть курс. Для этого, заполните [https://forms.gle/aRBrwuXtm73CRVcMA форму] '''до 15.10.2023'''. Курс может быть перезачтен не полностью, а на какой-то процент. В этом случае для поднятия оценки, вам нужно будет добрать баллы домашними заданиями и контрольными. Информация по перезачетам будет анонсирована до '''до 29.10.2023'''

Параллельные и распределенные вычисления 2024s

2024-06-20T08:19:18Z

Killerrati:

= Общие сведения =
* Семестр: 6 (третий курс)
* Форма контроля: диф. зачет
* '''[https://forms.gle/Lr13vnZAJGgGnyuy7 Форма регистрации на курс].
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vTqe7Q05mo8L3n3scSkgHHK3kV5caPrJ_rSORf-zsTzH2gNLjwrbKJo_8VexJb_2Tad7nMZoynE3D6J/pubhtml?gid=2052604457&single=true План лекций, семинаров,домашних работ, контрольных]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vTqe7Q05mo8L3n3scSkgHHK3kV5caPrJ_rSORf-zsTzH2gNLjwrbKJo_8VexJb_2Tad7nMZoynE3D6J/pubhtml?gid=803165062&single=true Таблица с оценками]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vTqe7Q05mo8L3n3scSkgHHK3kV5caPrJ_rSORf-zsTzH2gNLjwrbKJo_8VexJb_2Tad7nMZoynE3D6J/pubhtml?gid=2017840457&single=true Статус проверки домашних заданий]
* [https://forms.gle/RF6DB7hXZ5uqo4gF9 Продление дедлайнов и дописывание КР]
* [https://t.me/+aGl2qhrfDDU5Y2My Телеграм-чат курса]

=== Материалы занятий ===
Доступ открыт для всех аккаунтов @phystech.edu.

===== Лекции =====
* [https://www.youtube.com/playlist?list=PL4_hYwCyhAvaZsPvosV8WBajIgflGK44j Видео лекций YouTube].
* [https://drive.google.com/drive/folders/1WukRMRs74gcn5lEo5yNu6mz-AWBkkrIg?usp=sharing Видео лекций].
* [https://drive.google.com/drive/folders/1EjlJPwShH2UkMsxaFLIfvkYoAcKH3pnW?usp=sharing Слайды презентаций]
* 2020 г.
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfk1jdUQ4YnZtRWNCbl9YVHlvSHZjRERrOVlNVlU5dDZYWU0tN2dCRjgxVzA?resourcekey=0-cn9bfvH8nBixE3aiWvTfgA&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfm54OF8zMmd6aVQ0U0Y0MjFsdWdudFkxODJRVWFUcUt6bmdHUkNsYmMxRHM?resourcekey=0-wyYPEDg_OIF6mj1-4o8bLw&usp=sharing Семинары]
* 2021 г.
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfnNPS3JFdEdpTHM5aVFZR3dmdnlrdFNKcjlfa0dLY0lFb2l3cmtsM2VXT2s?resourcekey=0-rE3AAeTCn3pf0dgfGS86Qg&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfjBkRmhxc2o3d3NEdzN0RUhFeGtNSmJ6RFl3bzhOSEgzX0ViV2tXNFljbHc?resourcekey=0-t0UekU9AD2iQO6vKFmLUcg&usp=sharing Семинары]
* 2022 г. весна
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdflFRaUJveTdvR2REdDVxTkp1cm1VRnRNWmdsSGcxWlI4Y1kyVTJmZWtBWE0?resourcekey=0-sk8F-iNm8_2O8g7SDG24IA&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfllmTmtMbk44V0ZkT2xtc0dXbWoweGlDQmRSTE5lT0o5dk1yd3FaOTFZOEE?resourcekey=0-P5pBLFMpgXuVvFn8dB4nXA&usp=sharing Семинары]
* 2023 г. весна
* [https://drive.google.com/drive/folders/1arIrxYGJ144cHpZ72uGI5mBsFWolczfF?usp=share_link Видео лекций].
** [https://youtube.com/playlist?list=PLfibPMPn-PgyfrdrfmxvEAXtcjw7yfZmL Скринкасты лекций по CUDA]
* [https://drive.google.com/drive/folders/1eH2pePnbu3KqiRYtcBpDFffZXMXGA6-H?usp=share_link Слайды презентаций]
* 2023 г. осень
* [https://www.youtube.com/playlist?list=PL4_hYwCyhAvaZsPvosV8WBajIgflGK44j Видео лекций].
* [https://drive.google.com/drive/folders/1diehaQajFhzbYTLAAqmT0R_NRqU25JJX?usp=sharing Слайды презентаций]

===== Семинары =====
* [https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/materials?ref_type=heads Коды и презентации семинаров]

*[https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/homeworks?ref_type=heads '''Домашние задания''']
*[https://docs.google.com/spreadsheets/d/1rxr465J4VtRxXnRtID1aRy0RzhpBltpjJYKximAQMB8/edit#gid=0 Интересные ссылки]

== Технические ссылки ==
* [https://docs.google.com/forms/d/e/1FAIpQLSd_JxfMFOcWdaXKLC8sydJlDtwRG-B6Puiia_h3GqORXEDUKA/viewform?usp=sf_link Форма для проблем с инфраструктурой АТП]
* В случае проблем с кластером MPI, пишите на '''parallel-cluster-atp@googlegroups.com'''.

==== Сервера ====
* MPI & OpenMP: <pre>ssh <user>@calc.cod.phystech.edu</pre>
* CUDA: <pre>ssh <user>@lorien.atp-fivt.org</pre>
* Hadoop ecosystem: <pre>ssh <user>@mipt-client.atp-fivt.org</pre>

= Преподаватели =
* '''Лекторы'''
** Ивченко Олег
** Долуденко Алексей
** Ахтямов Павел
** Липовский Роман

* '''Семинаристы'''
** Ахтямов Павел
** Чернецкий Аркадий
** Изабелла Затикян

* '''Учебные ассистенты'''

= Критерии получения оценки =
Зачет выставляется на основании баллов, полученных в течение семестра.

== Домашние задания ==
Планируется 6 домашних заданий. Проверка включает 2 этапа:
# прохождение автоматических тестов (начиная с ДЗ по CUDA).
# code review при условии выполненного п.1. Исправления по code review можно делать в течение '''1 месяца''' после 1-го комментария.

{| class="wikitable"
|-
! Название
! Мягкий дедлайн
! Жёсткий дедлайн
|-
| PD-2022. MPI || 04.03.2024 || 11.03.2024
|-
| PD-2022. CUDA || 25.03.2024 || 01.04.2024
|-
| PD-2022. HDFS || 15.04.2024 || 22.04.2024
|-
| PD-2022. Map-Reduce || 30.04.2024 || 07.05.2024
|-
| PD-2022. Hive || 14.05.2024 || 21.05.2024
|-
| PD-2022. Spark || 28.05.2024 || 03.06.2024
|}

[https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/homeworks?ref_type=heads Репозиторий с домашками]

* Штраф за опоздание по soft deadline: -50%
* Штраф за опоздание по hard deadline: -75%

Сдавать и исправлять домашки можно до 15.06.2024.

== Мини-контрольные ==
Состоятся 3 теста. На контрольных нельзя пользоваться ничем и никем, кроме разрешённых смотрящими вещей. Код писать не потребуется.

{| class="wikitable"
|-
! Название
! Дата
! Длительность
|-
| PD-2024s. HDFS & MapReduce || 15.04.24 || 15 мин.
|-
| PD-2024s. Hive & Spark || 27.05.24 || 20 мин.
|-
| PD-2024s. Zookeeper, Kafka, Cassandra || 03.06.24 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://forms.gle/RF6DB7hXZ5uqo4gF9 '''форму на дописывание'''].
* PD-2024s. Дописывание. HDFS & MAPREDUCE
* PD-2024s. Дописывание. Hive & Spark

= Литература =
=== MPI & OpenMP ===
# Антонов А.С. Технологии параллельного программирования MPI и OpenMP: Учеб. пособие. Предисл.: В.А.Садовничий. - М.: Издательство Московского университета, 2012.

=== CUDA ===
# Дж. Сандерс, Э. Кэррот. Технология CUDA в примерах и задачах, 2013 (рус).
# [http://courses.cms.caltech.edu/cs179/ Курс "GPU programming" в Caltech].
# [https://www.cs.bgu.ac.il/~graph161/wiki.files/09f-GPU%20-%20Scans.pdf Лекция по Scan курсе по комп. графике, Ben-Gurion university]
# [http://developer.download.nvidia.com/compute/cuda/1.1-Beta/x86_website/projects/scan/doc/scan.pdf Parallel Prefix Sum (Scan) with CUDA, Mark Harris, NVidia]
# Книги от Nvidia: [https://developer.nvidia.com/gpugems/gpugems/contributors GPU gems], [https://developer.nvidia.com/gpugems/gpugems2/inside-front-cover GPU gems 2], [https://developer.nvidia.com/gpugems/gpugems3/foreword GPU gems 3]. Особенно интересна глава 39 из [https://developer.nvidia.com/gpugems/gpugems3/part-vi-gpu-computing/chapter-39-parallel-prefix-sum-scan-cuda GPU Gems] про Scan.

=== HDFS ===
# [https://www.oreilly.com/library/view/hadoop-the-definitive/9781491901687/ T. White. "Hadoop. The definitive guide"], гл. 3 "Hadoop distributed filesystem". (есть русский перевод). 4е издание
# [https://storageconference.us/2010/Papers/MSST/Shvachko.pdf Статья про архитектуру HDFS от Константина Швачко (Yahoo!)]
# [http://www.blogjava.net/DLevin/archive/2015/01/25/422428.html Статья про архитектуру HDFS в блоге HortonWorks (Китайская копия :))]
# [http://blog.madhukaraphatak.com/secondary-namenode---what-it-really-do/ Что в действительности делает SNN]
# [https://nancyyanyu.github.io/posts/49a14c15/ Выдержка из курсов Яндекс про HDFS]

Параллельные и распределенные вычисления 2024s

2024-05-03T12:01:06Z

Killerrati:

= Общие сведения =
* Семестр: 6 (третий курс)
* Форма контроля: диф. зачет
* '''[https://forms.gle/Lr13vnZAJGgGnyuy7 Форма регистрации на курс].
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vTqe7Q05mo8L3n3scSkgHHK3kV5caPrJ_rSORf-zsTzH2gNLjwrbKJo_8VexJb_2Tad7nMZoynE3D6J/pubhtml?gid=2052604457&single=true План лекций, семинаров,домашних работ, контрольных]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vTqe7Q05mo8L3n3scSkgHHK3kV5caPrJ_rSORf-zsTzH2gNLjwrbKJo_8VexJb_2Tad7nMZoynE3D6J/pubhtml?gid=803165062&single=true Таблица с оценками]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vTqe7Q05mo8L3n3scSkgHHK3kV5caPrJ_rSORf-zsTzH2gNLjwrbKJo_8VexJb_2Tad7nMZoynE3D6J/pubhtml?gid=2017840457&single=true Статус проверки домашних заданий]
* [https://forms.gle/RF6DB7hXZ5uqo4gF9 Продление дедлайнов и дописывание КР]
* [https://t.me/+aGl2qhrfDDU5Y2My Телеграм-чат курса]

=== Материалы занятий ===
Доступ открыт для всех аккаунтов @phystech.edu.

===== Лекции =====
* [https://www.youtube.com/playlist?list=PL4_hYwCyhAvaZsPvosV8WBajIgflGK44j Видео лекций YouTube].
* [https://drive.google.com/drive/folders/1WukRMRs74gcn5lEo5yNu6mz-AWBkkrIg?usp=sharing Видео лекций].
* [https://drive.google.com/drive/folders/1EjlJPwShH2UkMsxaFLIfvkYoAcKH3pnW?usp=sharing Слайды презентаций]
* 2020 г.
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfk1jdUQ4YnZtRWNCbl9YVHlvSHZjRERrOVlNVlU5dDZYWU0tN2dCRjgxVzA?resourcekey=0-cn9bfvH8nBixE3aiWvTfgA&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfm54OF8zMmd6aVQ0U0Y0MjFsdWdudFkxODJRVWFUcUt6bmdHUkNsYmMxRHM?resourcekey=0-wyYPEDg_OIF6mj1-4o8bLw&usp=sharing Семинары]
* 2021 г.
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfnNPS3JFdEdpTHM5aVFZR3dmdnlrdFNKcjlfa0dLY0lFb2l3cmtsM2VXT2s?resourcekey=0-rE3AAeTCn3pf0dgfGS86Qg&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfjBkRmhxc2o3d3NEdzN0RUhFeGtNSmJ6RFl3bzhOSEgzX0ViV2tXNFljbHc?resourcekey=0-t0UekU9AD2iQO6vKFmLUcg&usp=sharing Семинары]
* 2022 г. весна
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdflFRaUJveTdvR2REdDVxTkp1cm1VRnRNWmdsSGcxWlI4Y1kyVTJmZWtBWE0?resourcekey=0-sk8F-iNm8_2O8g7SDG24IA&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfllmTmtMbk44V0ZkT2xtc0dXbWoweGlDQmRSTE5lT0o5dk1yd3FaOTFZOEE?resourcekey=0-P5pBLFMpgXuVvFn8dB4nXA&usp=sharing Семинары]
* 2023 г. весна
* [https://drive.google.com/drive/folders/1arIrxYGJ144cHpZ72uGI5mBsFWolczfF?usp=share_link Видео лекций].
** [https://youtube.com/playlist?list=PLfibPMPn-PgyfrdrfmxvEAXtcjw7yfZmL Скринкасты лекций по CUDA]
* [https://drive.google.com/drive/folders/1eH2pePnbu3KqiRYtcBpDFffZXMXGA6-H?usp=share_link Слайды презентаций]
* 2023 г. осень
* [https://www.youtube.com/playlist?list=PL4_hYwCyhAvaZsPvosV8WBajIgflGK44j Видео лекций].
* [https://drive.google.com/drive/folders/1diehaQajFhzbYTLAAqmT0R_NRqU25JJX?usp=sharing Слайды презентаций]

===== Семинары =====
* [https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/materials?ref_type=heads Коды и презентации семинаров]

*[https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/homeworks?ref_type=heads '''Домашние задания''']
*[https://docs.google.com/spreadsheets/d/1rxr465J4VtRxXnRtID1aRy0RzhpBltpjJYKximAQMB8/edit#gid=0 Интересные ссылки]

== Технические ссылки ==
* [https://docs.google.com/forms/d/e/1FAIpQLSd_JxfMFOcWdaXKLC8sydJlDtwRG-B6Puiia_h3GqORXEDUKA/viewform?usp=sf_link Форма для проблем с инфраструктурой АТП]
* В случае проблем с кластером MPI, пишите на '''parallel-cluster-atp@googlegroups.com'''.

==== Сервера ====
* MPI & OpenMP: <pre>ssh <user>@calc.cod.phystech.edu</pre>
* CUDA: <pre>ssh <user>@lorien.atp-fivt.org</pre>
* Hadoop ecosystem: <pre>ssh <user>@mipt-client.atp-fivt.org</pre>

= Преподаватели =
* '''Лекторы'''
** Ивченко Олег
** Долуденко Алексей
** Ахтямов Павел
** Липовский Роман

* '''Семинаристы'''
** Ахтямов Павел
** Чернецкий Аркадий
** Изабелла Затикян

* '''Учебные ассистенты'''

= Критерии получения оценки =
Зачет выставляется на основании баллов, полученных в течение семестра.

== Домашние задания ==
Планируется 6 домашних заданий. Проверка включает 2 этапа:
# прохождение автоматических тестов (начиная с ДЗ по CUDA).
# code review при условии выполненного п.1. Исправления по code review можно делать в течение '''1 месяца''' после 1-го комментария.

{| class="wikitable"
|-
! Название
! Мягкий дедлайн
! Жёсткий дедлайн
|-
| PD-2022. MPI || 04.03.2024 || 11.03.2024
|-
| PD-2022. CUDA || 25.03.2024 || 01.04.2024
|-
| PD-2022. HDFS || 15.04.2024 || 22.04.2024
|-
| PD-2022. Map-Reduce || 30.04.2024 || 07.05.2024
|-
| PD-2022. Hive || 14.05.2024 || 21.05.2024
|-
| PD-2022. Spark || 28.05.2024 || 03.06.2024
|}

[https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/homeworks?ref_type=heads Репозиторий с домашками]

* Штраф за опоздание по soft deadline: -50%
* Штраф за опоздание по hard deadline: -75%

Сдавать и исправлять домашки можно до .

== Мини-контрольные ==
Состоятся 3 теста. На контрольных нельзя пользоваться ничем и никем, кроме разрешённых смотрящими вещей. Код писать не потребуется.

{| class="wikitable"
|-
! Название
! Дата
! Длительность
|-
| PD-2024s. HDFS & MapReduce || 15.04.24 || 15 мин.
|-
| PD-2024s. Hive & Spark || 27.05.24 || 20 мин.
|-
| PD-2024s. Zookeeper, Kafka, Cassandra || 03.06.24 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://forms.gle/RF6DB7hXZ5uqo4gF9 '''форму на дописывание'''].
* PD-2024s. Дописывание. HDFS & MAPREDUCE
* PD-2024s. Дописывание. Hive & Spark

= Литература =
=== MPI & OpenMP ===
# Антонов А.С. Технологии параллельного программирования MPI и OpenMP: Учеб. пособие. Предисл.: В.А.Садовничий. - М.: Издательство Московского университета, 2012.

=== CUDA ===
# Дж. Сандерс, Э. Кэррот. Технология CUDA в примерах и задачах, 2013 (рус).
# [http://courses.cms.caltech.edu/cs179/ Курс "GPU programming" в Caltech].
# [https://www.cs.bgu.ac.il/~graph161/wiki.files/09f-GPU%20-%20Scans.pdf Лекция по Scan курсе по комп. графике, Ben-Gurion university]
# [http://developer.download.nvidia.com/compute/cuda/1.1-Beta/x86_website/projects/scan/doc/scan.pdf Parallel Prefix Sum (Scan) with CUDA, Mark Harris, NVidia]
# Книги от Nvidia: [https://developer.nvidia.com/gpugems/gpugems/contributors GPU gems], [https://developer.nvidia.com/gpugems/gpugems2/inside-front-cover GPU gems 2], [https://developer.nvidia.com/gpugems/gpugems3/foreword GPU gems 3]. Особенно интересна глава 39 из [https://developer.nvidia.com/gpugems/gpugems3/part-vi-gpu-computing/chapter-39-parallel-prefix-sum-scan-cuda GPU Gems] про Scan.

=== HDFS ===
# [https://www.oreilly.com/library/view/hadoop-the-definitive/9781491901687/ T. White. "Hadoop. The definitive guide"], гл. 3 "Hadoop distributed filesystem". (есть русский перевод). 4е издание
# [https://storageconference.us/2010/Papers/MSST/Shvachko.pdf Статья про архитектуру HDFS от Константина Швачко (Yahoo!)]
# [http://www.blogjava.net/DLevin/archive/2015/01/25/422428.html Статья про архитектуру HDFS в блоге HortonWorks (Китайская копия :))]
# [http://blog.madhukaraphatak.com/secondary-namenode---what-it-really-do/ Что в действительности делает SNN]
# [https://nancyyanyu.github.io/posts/49a14c15/ Выдержка из курсов Яндекс про HDFS]

Параллельные и распределенные вычисления 2024s

2024-04-22T08:36:08Z

Killerrati:

= Общие сведения =
* Семестр: 6 (третий курс)
* Форма контроля: диф. зачет
* '''[https://forms.gle/Lr13vnZAJGgGnyuy7 Форма регистрации на курс].
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vTqe7Q05mo8L3n3scSkgHHK3kV5caPrJ_rSORf-zsTzH2gNLjwrbKJo_8VexJb_2Tad7nMZoynE3D6J/pubhtml?gid=2052604457&single=true План лекций, семинаров,домашних работ, контрольных]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vTqe7Q05mo8L3n3scSkgHHK3kV5caPrJ_rSORf-zsTzH2gNLjwrbKJo_8VexJb_2Tad7nMZoynE3D6J/pubhtml?gid=803165062&single=true Таблица с оценками]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vTqe7Q05mo8L3n3scSkgHHK3kV5caPrJ_rSORf-zsTzH2gNLjwrbKJo_8VexJb_2Tad7nMZoynE3D6J/pubhtml?gid=2017840457&single=true Статус проверки домашних заданий]
* [https://forms.gle/RF6DB7hXZ5uqo4gF9 Продление дедлайнов и дописывание КР]
* [https://t.me/+aGl2qhrfDDU5Y2My Телеграм-чат курса]

=== Материалы занятий ===
Доступ открыт для всех аккаунтов @phystech.edu.

===== Лекции =====
* [https://www.youtube.com/playlist?list=PL4_hYwCyhAvaZsPvosV8WBajIgflGK44j Видео лекций YouTube].
* [https://drive.google.com/drive/folders/1WukRMRs74gcn5lEo5yNu6mz-AWBkkrIg?usp=sharing Видео лекций].
* [https://drive.google.com/drive/folders/1EjlJPwShH2UkMsxaFLIfvkYoAcKH3pnW?usp=sharing Слайды презентаций]
* 2020 г.
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfk1jdUQ4YnZtRWNCbl9YVHlvSHZjRERrOVlNVlU5dDZYWU0tN2dCRjgxVzA?resourcekey=0-cn9bfvH8nBixE3aiWvTfgA&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfm54OF8zMmd6aVQ0U0Y0MjFsdWdudFkxODJRVWFUcUt6bmdHUkNsYmMxRHM?resourcekey=0-wyYPEDg_OIF6mj1-4o8bLw&usp=sharing Семинары]
* 2021 г.
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfnNPS3JFdEdpTHM5aVFZR3dmdnlrdFNKcjlfa0dLY0lFb2l3cmtsM2VXT2s?resourcekey=0-rE3AAeTCn3pf0dgfGS86Qg&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfjBkRmhxc2o3d3NEdzN0RUhFeGtNSmJ6RFl3bzhOSEgzX0ViV2tXNFljbHc?resourcekey=0-t0UekU9AD2iQO6vKFmLUcg&usp=sharing Семинары]
* 2022 г. весна
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdflFRaUJveTdvR2REdDVxTkp1cm1VRnRNWmdsSGcxWlI4Y1kyVTJmZWtBWE0?resourcekey=0-sk8F-iNm8_2O8g7SDG24IA&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfllmTmtMbk44V0ZkT2xtc0dXbWoweGlDQmRSTE5lT0o5dk1yd3FaOTFZOEE?resourcekey=0-P5pBLFMpgXuVvFn8dB4nXA&usp=sharing Семинары]
* 2023 г. весна
* [https://drive.google.com/drive/folders/1arIrxYGJ144cHpZ72uGI5mBsFWolczfF?usp=share_link Видео лекций].
** [https://youtube.com/playlist?list=PLfibPMPn-PgyfrdrfmxvEAXtcjw7yfZmL Скринкасты лекций по CUDA]
* [https://drive.google.com/drive/folders/1eH2pePnbu3KqiRYtcBpDFffZXMXGA6-H?usp=share_link Слайды презентаций]
* 2023 г. осень
* [https://www.youtube.com/playlist?list=PL4_hYwCyhAvaZsPvosV8WBajIgflGK44j Видео лекций].
* [https://drive.google.com/drive/folders/1diehaQajFhzbYTLAAqmT0R_NRqU25JJX?usp=sharing Слайды презентаций]

===== Семинары =====
* [https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/materials?ref_type=heads Коды и презентации семинаров]

*[https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/homeworks?ref_type=heads '''Домашние задания''']
*[https://docs.google.com/spreadsheets/d/1rxr465J4VtRxXnRtID1aRy0RzhpBltpjJYKximAQMB8/edit#gid=0 Интересные ссылки]

== Технические ссылки ==
* [https://docs.google.com/forms/d/e/1FAIpQLSd_JxfMFOcWdaXKLC8sydJlDtwRG-B6Puiia_h3GqORXEDUKA/viewform?usp=sf_link Форма для проблем с инфраструктурой АТП]
* В случае проблем с кластером MPI, пишите на '''parallel-cluster-atp@googlegroups.com'''.

==== Сервера ====
* MPI & OpenMP: <pre>ssh <user>@calc.cod.phystech.edu</pre>
* CUDA: <pre>ssh <user>@lorien.atp-fivt.org</pre>
* Hadoop ecosystem: <pre>ssh <user>@mipt-client.atp-fivt.org</pre>

= Преподаватели =
* '''Лекторы'''
** Ивченко Олег
** Долуденко Алексей
** Ахтямов Павел
** Липовский Роман

* '''Семинаристы'''
** Ахтямов Павел
** Чернецкий Аркадий
** Изабелла Затикян

* '''Учебные ассистенты'''

= Критерии получения оценки =
Зачет выставляется на основании баллов, полученных в течение семестра.

== Домашние задания ==
Планируется 6 домашних заданий. Проверка включает 2 этапа:
# прохождение автоматических тестов (начиная с ДЗ по CUDA).
# code review при условии выполненного п.1. Исправления по code review можно делать в течение '''1 месяца''' после 1-го комментария.

{| class="wikitable"
|-
! Название
! Мягкий дедлайн
! Жёсткий дедлайн
|-
| PD-2022. MPI || 04.03.2024 || 11.03.2024
|-
| PD-2022. CUDA || 25.03.2024 || 01.04.2024
|-
| PD-2022. HDFS || 15.04.2024 || 22.04.2024
|-
| PD-2022. Map-Reduce || 30.04.2024 || 07.05.2024
|-
| PD-2022. Hive || 07.05.2024 || 14.05.2024
|-
| PD-2022. Spark || 28.05.2024 || 03.06.2024
|}

[https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/homeworks?ref_type=heads Репозиторий с домашками]

* Штраф за опоздание по soft deadline: -50%
* Штраф за опоздание по hard deadline: -75%

Сдавать и исправлять домашки можно до .

== Мини-контрольные ==
Состоятся 3 теста. На контрольных нельзя пользоваться ничем и никем, кроме разрешённых смотрящими вещей. Код писать не потребуется.

{| class="wikitable"
|-
! Название
! Дата
! Длительность
|-
| PD-2024s. HDFS & MapReduce || 15.04.24 || 15 мин.
|-
| PD-2024s. Hive & Spark || 27.05.24 || 20 мин.
|-
| PD-2024s. Zookeeper, Kafka, Cassandra || 03.06.24 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://forms.gle/RF6DB7hXZ5uqo4gF9 '''форму на дописывание'''].
* PD-2024s. Дописывание. HDFS & MAPREDUCE
* PD-2024s. Дописывание. Hive & Spark

= Литература =
=== MPI & OpenMP ===
# Антонов А.С. Технологии параллельного программирования MPI и OpenMP: Учеб. пособие. Предисл.: В.А.Садовничий. - М.: Издательство Московского университета, 2012.

=== CUDA ===
# Дж. Сандерс, Э. Кэррот. Технология CUDA в примерах и задачах, 2013 (рус).
# [http://courses.cms.caltech.edu/cs179/ Курс "GPU programming" в Caltech].
# [https://www.cs.bgu.ac.il/~graph161/wiki.files/09f-GPU%20-%20Scans.pdf Лекция по Scan курсе по комп. графике, Ben-Gurion university]
# [http://developer.download.nvidia.com/compute/cuda/1.1-Beta/x86_website/projects/scan/doc/scan.pdf Parallel Prefix Sum (Scan) with CUDA, Mark Harris, NVidia]
# Книги от Nvidia: [https://developer.nvidia.com/gpugems/gpugems/contributors GPU gems], [https://developer.nvidia.com/gpugems/gpugems2/inside-front-cover GPU gems 2], [https://developer.nvidia.com/gpugems/gpugems3/foreword GPU gems 3]. Особенно интересна глава 39 из [https://developer.nvidia.com/gpugems/gpugems3/part-vi-gpu-computing/chapter-39-parallel-prefix-sum-scan-cuda GPU Gems] про Scan.

=== HDFS ===
# [https://www.oreilly.com/library/view/hadoop-the-definitive/9781491901687/ T. White. "Hadoop. The definitive guide"], гл. 3 "Hadoop distributed filesystem". (есть русский перевод). 4е издание
# [https://storageconference.us/2010/Papers/MSST/Shvachko.pdf Статья про архитектуру HDFS от Константина Швачко (Yahoo!)]
# [http://www.blogjava.net/DLevin/archive/2015/01/25/422428.html Статья про архитектуру HDFS в блоге HortonWorks (Китайская копия :))]
# [http://blog.madhukaraphatak.com/secondary-namenode---what-it-really-do/ Что в действительности делает SNN]
# [https://nancyyanyu.github.io/posts/49a14c15/ Выдержка из курсов Яндекс про HDFS]

Параллельные и распределенные вычисления 2024s

2024-04-15T10:33:47Z

Killerrati:

= Общие сведения =
* Семестр: 6 (третий курс)
* Форма контроля: диф. зачет
* '''[https://forms.gle/Lr13vnZAJGgGnyuy7 Форма регистрации на курс].
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vTqe7Q05mo8L3n3scSkgHHK3kV5caPrJ_rSORf-zsTzH2gNLjwrbKJo_8VexJb_2Tad7nMZoynE3D6J/pubhtml?gid=2052604457&single=true План лекций, семинаров,домашних работ, контрольных]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vTqe7Q05mo8L3n3scSkgHHK3kV5caPrJ_rSORf-zsTzH2gNLjwrbKJo_8VexJb_2Tad7nMZoynE3D6J/pubhtml?gid=803165062&single=true Таблица с оценками]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vTqe7Q05mo8L3n3scSkgHHK3kV5caPrJ_rSORf-zsTzH2gNLjwrbKJo_8VexJb_2Tad7nMZoynE3D6J/pubhtml?gid=2017840457&single=true Статус проверки домашних заданий]
* [https://forms.gle/RF6DB7hXZ5uqo4gF9 Продление дедлайнов и дописывание КР]
* [https://t.me/+aGl2qhrfDDU5Y2My Телеграм-чат курса]

=== Материалы занятий ===
Доступ открыт для всех аккаунтов @phystech.edu.

===== Лекции =====
* [https://www.youtube.com/playlist?list=PL4_hYwCyhAvaZsPvosV8WBajIgflGK44j Видео лекций YouTube].
* [https://drive.google.com/drive/folders/1WukRMRs74gcn5lEo5yNu6mz-AWBkkrIg?usp=sharing Видео лекций].
* [https://drive.google.com/drive/folders/1EjlJPwShH2UkMsxaFLIfvkYoAcKH3pnW?usp=sharing Слайды презентаций]
* 2020 г.
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfk1jdUQ4YnZtRWNCbl9YVHlvSHZjRERrOVlNVlU5dDZYWU0tN2dCRjgxVzA?resourcekey=0-cn9bfvH8nBixE3aiWvTfgA&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfm54OF8zMmd6aVQ0U0Y0MjFsdWdudFkxODJRVWFUcUt6bmdHUkNsYmMxRHM?resourcekey=0-wyYPEDg_OIF6mj1-4o8bLw&usp=sharing Семинары]
* 2021 г.
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfnNPS3JFdEdpTHM5aVFZR3dmdnlrdFNKcjlfa0dLY0lFb2l3cmtsM2VXT2s?resourcekey=0-rE3AAeTCn3pf0dgfGS86Qg&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfjBkRmhxc2o3d3NEdzN0RUhFeGtNSmJ6RFl3bzhOSEgzX0ViV2tXNFljbHc?resourcekey=0-t0UekU9AD2iQO6vKFmLUcg&usp=sharing Семинары]
* 2022 г. весна
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdflFRaUJveTdvR2REdDVxTkp1cm1VRnRNWmdsSGcxWlI4Y1kyVTJmZWtBWE0?resourcekey=0-sk8F-iNm8_2O8g7SDG24IA&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfllmTmtMbk44V0ZkT2xtc0dXbWoweGlDQmRSTE5lT0o5dk1yd3FaOTFZOEE?resourcekey=0-P5pBLFMpgXuVvFn8dB4nXA&usp=sharing Семинары]
* 2023 г. весна
* [https://drive.google.com/drive/folders/1arIrxYGJ144cHpZ72uGI5mBsFWolczfF?usp=share_link Видео лекций].
** [https://youtube.com/playlist?list=PLfibPMPn-PgyfrdrfmxvEAXtcjw7yfZmL Скринкасты лекций по CUDA]
* [https://drive.google.com/drive/folders/1eH2pePnbu3KqiRYtcBpDFffZXMXGA6-H?usp=share_link Слайды презентаций]
* 2023 г. осень
* [https://www.youtube.com/playlist?list=PL4_hYwCyhAvaZsPvosV8WBajIgflGK44j Видео лекций].
* [https://drive.google.com/drive/folders/1diehaQajFhzbYTLAAqmT0R_NRqU25JJX?usp=sharing Слайды презентаций]

===== Семинары =====
* [https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/materials?ref_type=heads Коды и презентации семинаров]

*[https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/homeworks?ref_type=heads '''Домашние задания''']
*[https://docs.google.com/spreadsheets/d/1rxr465J4VtRxXnRtID1aRy0RzhpBltpjJYKximAQMB8/edit#gid=0 Интересные ссылки]

== Технические ссылки ==
* [https://docs.google.com/forms/d/e/1FAIpQLSd_JxfMFOcWdaXKLC8sydJlDtwRG-B6Puiia_h3GqORXEDUKA/viewform?usp=sf_link Форма для проблем с инфраструктурой АТП]
* В случае проблем с кластером MPI, пишите на '''parallel-cluster-atp@googlegroups.com'''.

==== Сервера ====
* MPI & OpenMP: <pre>ssh <user>@calc.cod.phystech.edu</pre>
* CUDA: <pre>ssh <user>@lorien.atp-fivt.org</pre>
* Hadoop ecosystem: <pre>ssh <user>@mipt-client.atp-fivt.org</pre>

= Преподаватели =
* '''Лекторы'''
** Ивченко Олег
** Долуденко Алексей
** Ахтямов Павел
** Липовский Роман

* '''Семинаристы'''
** Ахтямов Павел
** Чернецкий Аркадий
** Изабелла Затикян

* '''Учебные ассистенты'''

= Критерии получения оценки =
Зачет выставляется на основании баллов, полученных в течение семестра.

== Домашние задания ==
Планируется 6 домашних заданий. Проверка включает 2 этапа:
# прохождение автоматических тестов (начиная с ДЗ по CUDA).
# code review при условии выполненного п.1. Исправления по code review можно делать в течение '''1 месяца''' после 1-го комментария.

{| class="wikitable"
|-
! Название
! Мягкий дедлайн
! Жёсткий дедлайн
|-
| PD-2022. MPI || 04.03.2024 || 11.03.2024
|-
| PD-2022. CUDA || 25.03.2024 || 01.04.2024
|-
| PD-2022. HDFS || 15.04.2024 || 22.04.2024
|-
| PD-2022. Map-Reduce || 29.04.2024 || 06.05.2024
|-
| PD-2022. Hive || 06.05.2024 || 13.05.2024
|-
| PD-2022. Spark || 27.05.2024 || 03.06.2024
|}

[https://gitlab.atp-fivt.org/courses-public/pd/global/-/tree/main/homeworks?ref_type=heads Репозиторий с домашками]

* Штраф за опоздание по soft deadline: -50%
* Штраф за опоздание по hard deadline: -75%

Сдавать и исправлять домашки можно до .

== Мини-контрольные ==
Состоятся 3 теста. На контрольных нельзя пользоваться ничем и никем, кроме разрешённых смотрящими вещей. Код писать не потребуется.

{| class="wikitable"
|-
! Название
! Дата
! Длительность
|-
| PD-2024s. HDFS & MapReduce || 15.04.24 || 15 мин.
|-
| PD-2024s. Hive & Spark || 27.05.24 || 20 мин.
|-
| PD-2024s. Zookeeper, Kafka, Cassandra || 03.06.24 || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://forms.gle/RF6DB7hXZ5uqo4gF9 '''форму на дописывание'''].
* PD-2024s. Дописывание. HDFS & MAPREDUCE
* PD-2024s. Дописывание. Hive & Spark

= Литература =
=== MPI & OpenMP ===
# Антонов А.С. Технологии параллельного программирования MPI и OpenMP: Учеб. пособие. Предисл.: В.А.Садовничий. - М.: Издательство Московского университета, 2012.

=== CUDA ===
# Дж. Сандерс, Э. Кэррот. Технология CUDA в примерах и задачах, 2013 (рус).
# [http://courses.cms.caltech.edu/cs179/ Курс "GPU programming" в Caltech].
# [https://www.cs.bgu.ac.il/~graph161/wiki.files/09f-GPU%20-%20Scans.pdf Лекция по Scan курсе по комп. графике, Ben-Gurion university]
# [http://developer.download.nvidia.com/compute/cuda/1.1-Beta/x86_website/projects/scan/doc/scan.pdf Parallel Prefix Sum (Scan) with CUDA, Mark Harris, NVidia]
# Книги от Nvidia: [https://developer.nvidia.com/gpugems/gpugems/contributors GPU gems], [https://developer.nvidia.com/gpugems/gpugems2/inside-front-cover GPU gems 2], [https://developer.nvidia.com/gpugems/gpugems3/foreword GPU gems 3]. Особенно интересна глава 39 из [https://developer.nvidia.com/gpugems/gpugems3/part-vi-gpu-computing/chapter-39-parallel-prefix-sum-scan-cuda GPU Gems] про Scan.

=== HDFS ===
# [https://www.oreilly.com/library/view/hadoop-the-definitive/9781491901687/ T. White. "Hadoop. The definitive guide"], гл. 3 "Hadoop distributed filesystem". (есть русский перевод). 4е издание
# [https://storageconference.us/2010/Papers/MSST/Shvachko.pdf Статья про архитектуру HDFS от Константина Швачко (Yahoo!)]
# [http://www.blogjava.net/DLevin/archive/2015/01/25/422428.html Статья про архитектуру HDFS в блоге HortonWorks (Китайская копия :))]
# [http://blog.madhukaraphatak.com/secondary-namenode---what-it-really-do/ Что в действительности делает SNN]
# [https://nancyyanyu.github.io/posts/49a14c15/ Выдержка из курсов Яндекс про HDFS]

HOBOD 2023

2023-03-07T13:55:43Z

Killerrati:

= Общие сведения =
* Семестр: 10 (5й курс)
* Форма контроля: экзамен

== Важные ссылки ==
* [https://docs.google.com/spreadsheets/d/1dh6YiXkA85a-jyTmapkf2m8vNG-EjV3ETk3h2D3vmxY/edit#gid=359301262 План курса]
* [https://t.me/+4xZ22reO6yQ0YzMy Чат курса]
* [https://forms.gle/chmfzFVHMJESgbMn6 Регистрация на курс]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vRhOwgDDryMloQbmlFjjKtPy8slDgkdJZ3yS4W01c5s8UpqYVf-RQJ4URjTIisQFJ2qo-M91WMO65In/pubhtml?gid=915915854&single=true '''Таблица с оценками''']
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vRhOwgDDryMloQbmlFjjKtPy8slDgkdJZ3yS4W01c5s8UpqYVf-RQJ4URjTIisQFJ2qo-M91WMO65In/pubhtml?gid=2075695586&single=true '''Лог проверки ДЗ''']

== Технические ссылки ==
* [https://forms.gle/PWhsFdPR9iVrsXbs9 Форма для проблем с инфраструктурой АТП]

== Материалы ==
* [https://disk.yandex.ru/d/uwMc7AF8fLUecA '''Видео занятий''']
* [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfjBETENNMnQxWU85cGFmb0w2NVZkXzJLRFJRUXdxREhMWDJTY1J4WWV0b1U?resourcekey=0-aPaLJZs_yaDSDSQ9548wBg&usp=sharing Видео за 2022 год]
* [https://drive.google.com/drive/folders/1Iq9ZqngXtTe1q3egTzM-Oz7NgzL_eXmx '''Слайды презентаций''']
* [https://gitlab.com/hobod/hobod-practice Коды семинаров]

=== Домашние задания ===
'''Если ни одно домашнее задание не сдано - оценка неудовлетворительно, даже если вы набрали > 2.5.'''

Планируется 6 домашних заданий.
* Каждое оценивается максимум в 1,5 балла.
* За сдачу позже мягкого дедлайна - 50%
* За сдачу позже жёсткого -75%. Со штрафом -75% можно сдавать до экзамена.

5 мини-тестов (~10 мин.) на семинарах
* в сумме 5 баллов

==== Дедлайны по домашним заданиям ====
{| class="wikitable"
|-
! Задание
! Мягкий deadline
! Жёсткий deadline
|-
|[https://docs.google.com/document/d/1FViOqe_szEp1idZ3mJ0yUe1W7tZEgo1Cmp74JC5_ky0 MapReduce] || -- || --
|-
|[https://docs.google.com/document/d/14NuJRSHoFFj8ND2zOM_ZfKXgahstmz4PMiUUCVQFG_o Hive] || -- || --
|-
|[https://docs.google.com/document/d/1OP8x8lPFCHcDBbxZ-Ny7W1uagrCzk8Ez1OWCTONzcLQ Spark] || -- ||--
|-
|[https://docs.google.com/document/d/1fljwR-DKlo91NZIHIgMxtVqaTTaWh5-MzJeDBTO3bAw RealTime & Kafka] || -- || --
|-
|[https://docs.google.com/document/d/1Js0C2aSa-acffSIANZc-I7nc4147N-92suw8vr9HUrw HBase / Casssandra] || -- || --
|-
|[https://docs.google.com/document/d/1sY9ZCztEzbqLQSjOGtsJ8vQQohrk4ZgyNcN122D-wMc Google Spanner] || -- || --
|}

В идеальном случае за домашние задания можно получить '''9 баллов'''.

Как сдавать ДЗ [https://docs.google.com/presentation/d/1eDxnTeBWSB1OrA3BwEUa2vJAJm3_OJMuoRxyA13RzTY/edit#slide=id.g4f2997e0e1_1_24 ссылка ]

=== Бонус ===
Бонус начисляется за:
* активное участие в семинарах,
* помощь коллегам в чате курса.
Возможно получить до 1 балла. Количество студентов, которым может быть начислен бонус, неограничено.

=== Экзамен ===
Экзамен состоится '''Дата и время уточняется'''. Он будет проходить через Прокторинг.

Является '''необязательным'''.
* вопросы по всему курсу
* письменная работа (6 вопросов по всему курсу) на 45 мин
* возможна устная защита по окончанию 30 минут
* максимальная оценка: 2 балла.

Итого
*идеальный вариант: 9 + 5 + 2 + 1 = 17 из 10
*но надо сделать хоть 1 ДЗ.

=== Перезачет курса ===
Если вы хотите перпезачесть курс, просьба заполнить [https://docs.google.com/forms/d/e/1FAIpQLSd5pXEleAII2VfBdsNhI4Qon5DoWLfS_2KRBZK7o3E_jN5FUg/viewform?usp=sf_link форму] до '''28.02.2023'''.

Курс PD (a.k.a. МВС) не перезасчитывается т.к. ХОБОД является его продолжением.

= Список рекомендуемых материалов =
=== Основная ===
# Tom White, Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale, Publisher: O'Reilly, Media Release Date: April 2015
# Karau, H., Konwinski, A., Wendell, P., & Zaharia, M, Learning Spark: Lightning-Fast Big Data Analysis
# Holden Karau et al. Learning Spark. Lightning-fast Data Analytics. Preview Edition. O’Reilly, 2015.
=== Дополнительная ===
# Chuck Lam. Hadoop in Action. New York: Manning Publications co., 2011.
# Alex Holmes , "Hadoop in Practice", 2012
# Martin Fowler, "NoSQL", 2013
# Eric Redmond, Jim R. Wilson, "Seven Databases in Seven Weeks", 2012
# Jonathan Leibiusky, "Getting Started with Storm", 2012
# Donald Miner, Adam Shook. MapReduce Design Patterns. O’Reilly, 2013.
# Arun C. Murthy et al. Apache Hadoop YARN. Addison-Wesley, 2014.
# Spark Core Programming. TutorialsPoint, 2015.
# Dario Simonassi, Gabriel Eisbruch, Jonathan Leibiusky. Getting Started with Storm. O’Reilly, 2012.
# Edward Capriolo, Dean Wampler, and Jason Rutherglen. Programming Hive. O’Reilly, 2012.
# Lars George. HBase: The Definitive Guide. O’Reilly, 2011.
# Eben Hewitt. Cassandra: The Definitive Guide. O’Reilly, 2011.

* '''[https://docs.google.com/spreadsheets/d/1X7lhS8aYlyhX9gb1yT6t3A8K7OfCA-x0GJRfMcykDJk/edit?usp=sharing Интересные ссылки]'''

Параллельные и распределенные вычисления 2023s

2023-02-19T12:24:42Z

Killerrati:

= Общие сведения =
* Семестр: 6 (третий курс)
* Форма контроля: диф. зачет
* '''[https://forms.gle/ZvHCCKLpML14ue1TA Форма регистрации на курс].
* [https://docs.google.com/spreadsheets/d/1qaaB9S6nbZ-773MWlGjxo7D2cKOrFnelopH0BQeTRCo/edit?usp=sharing План лекций, семинаров,домашних работ, контрольных]
* [https://docs.google.com/spreadsheets/d/1qaaB9S6nbZ-773MWlGjxo7D2cKOrFnelopH0BQeTRCo/edit#gid=77548513 Расписание семинаров]
* [https://docs.google.com/spreadsheets/d/1qEcaMjCSkp1GsQQONe_GBlU3gD-4l1KoBa3HS7smY0s/edit?usp=share_link Таблица с оценками]
* [https://t.me/+5QH5IIWrErJhZmRi Телеграм-чат курса]

=== Материалы занятий ===
Доступ открыт для всех аккаунтов @phystech.edu.

===== Лекции =====
* [https://disk.yandex.ru/d/xDKoz2o-0x_NhA Видео лекций].
* [https://drive.google.com/drive/folders/1eH2pePnbu3KqiRYtcBpDFffZXMXGA6-H?usp=share_link Слайды презентаций]
* 2020 г.
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfk1jdUQ4YnZtRWNCbl9YVHlvSHZjRERrOVlNVlU5dDZYWU0tN2dCRjgxVzA?resourcekey=0-cn9bfvH8nBixE3aiWvTfgA&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfm54OF8zMmd6aVQ0U0Y0MjFsdWdudFkxODJRVWFUcUt6bmdHUkNsYmMxRHM?resourcekey=0-wyYPEDg_OIF6mj1-4o8bLw&usp=sharing Семинары]
* 2021 г.
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfnNPS3JFdEdpTHM5aVFZR3dmdnlrdFNKcjlfa0dLY0lFb2l3cmtsM2VXT2s?resourcekey=0-rE3AAeTCn3pf0dgfGS86Qg&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfjBkRmhxc2o3d3NEdzN0RUhFeGtNSmJ6RFl3bzhOSEgzX0ViV2tXNFljbHc?resourcekey=0-t0UekU9AD2iQO6vKFmLUcg&usp=sharing Семинары]
* 2022 г. весна
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdflFRaUJveTdvR2REdDVxTkp1cm1VRnRNWmdsSGcxWlI4Y1kyVTJmZWtBWE0?resourcekey=0-sk8F-iNm8_2O8g7SDG24IA&usp=sharing Лекции]
** [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfllmTmtMbk44V0ZkT2xtc0dXbWoweGlDQmRSTE5lT0o5dk1yd3FaOTFZOEE?resourcekey=0-P5pBLFMpgXuVvFn8dB4nXA&usp=sharing Семинары]

===== Семинары =====
* [https://disk.yandex.ru/d/MP6j3LdmHlUhOQ Видео семинаров]
* [https://gitlab.com/fpmi-atp/pd2022a-supplementary Коды и презентации семинаров]

*[https://gitlab.com/fpmi-atp/pd2022a-supplementary/global/-/tree/main/homeworks '''Домашние задания''']
*[https://docs.google.com/spreadsheets/d/1rxr465J4VtRxXnRtID1aRy0RzhpBltpjJYKximAQMB8/edit#gid=0 Интересные ссылки]

== Технические ссылки ==
* [https://forms.gle/PWhsFdPR9iVrsXbs9 Форма для проблем с инфраструктурой АТП]
* В случае проблем с кластером MPI, пишите на '''parallel-cluster-atp@googlegroups.com'''.

==== Сервера ====
* MPI & OpenMP: <pre>ssh <user>@calc.cod.phystech.edu</pre>
* CUDA: <pre>ssh <user>@lorien.atp-fivt.org</pre>
* Hadoop ecosystem: <pre>ssh <user>@mipt-client.atp-fivt.org</pre>

= Преподаватели =
* '''Лекторы'''
** Ивченко Олег
** Долуденко Алексей
** Ахтямов Павел
** Липовский Роман

* '''Семинаристы'''

* '''Учебные ассистенты'''

= Критерии получения оценки =
Зачет выставляется на основании баллов, полученных в течение семестра.

== Домашние задания ==
Планируется 6 домашних заданий. Проверка включает 2 этапа:
# прохождение автоматических тестов (начиная с ДЗ по CUDA).
# code review при условии выполненного п.1. Исправления по code review можно делать в течение '''1 месяца''' после 1-го комментария.

{| class="wikitable"
|-
! Название
! Мягкий дедлайн
! Жёсткий дедлайн
|-
| PD-2022. MPI || 03.04.2023 || 10.04.2023
|-
| PD-2022. CUDA || 17.04.2023 || 24.04.2023
|-
| PD-2022. HDFS || 01.05.2023 || 08.05.2023
|-
| PD-2022. Map-Reduce || 15.05.2023 || 22.05.2023
|-
| PD-2022. Hive || 29.05.2023 || 05.06.2023
|-
| PD-2022. Spark || 12.06.2023 || 19.06.2023
|}

[https://gitlab.com/fpmi-atp/pd2022a-supplementary/global/-/tree/main/homeworks Репозиторий с домашками]

* Штраф за опоздание по soft deadline: -50%
* Штраф за опоздание по hard deadline: -75%

Сдавать и исправлять домашки можно до начала сессии.

== Мини-контрольные ==
Состоятся 3 теста. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название
! Дата
! Длительность
|-
| PD-2023s. HDFS & MapReduce || || 15 мин.
|-
| PD-2023s. Hive & Spark || || 20 мин.
|-
| PD-2023s. Zookeeper, Kafka, Cassandra || || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://forms.gle/LjN9694Z6H5Xh1Xr7 '''форму на дописывание'''].
* PD-2023s. Дописывание. HDFS & MAPREDUCE
* PD-2023s. Дописывание. Hive & Spark

= Литература =
=== MPI & OpenMP ===
# Антонов А.С. Технологии параллельного программирования MPI и OpenMP: Учеб. пособие. Предисл.: В.А.Садовничий. - М.: Издательство Московского университета, 2012.

=== CUDA ===
# Дж. Сандерс, Э. Кэррот. Технология CUDA в примерах и задачах, 2013 (рус).
# [http://courses.cms.caltech.edu/cs179/ Курс "GPU programming" в Caltech].
# [https://www.cs.bgu.ac.il/~graph161/wiki.files/09f-GPU%20-%20Scans.pdf Лекция по Scan курсе по комп. графике, Ben-Gurion university]
# [http://developer.download.nvidia.com/compute/cuda/1.1-Beta/x86_website/projects/scan/doc/scan.pdf Parallel Prefix Sum (Scan) with CUDA, Mark Harris, NVidia]
# Книги от Nvidia: [https://developer.nvidia.com/gpugems/gpugems/contributors GPU gems], [https://developer.nvidia.com/gpugems/gpugems2/inside-front-cover GPU gems 2], [https://developer.nvidia.com/gpugems/gpugems3/foreword GPU gems 3]. Особенно интересна глава 39 из [https://developer.nvidia.com/gpugems/gpugems3/part-vi-gpu-computing/chapter-39-parallel-prefix-sum-scan-cuda GPU Gems] про Scan.

=== HDFS ===
# [https://www.oreilly.com/library/view/hadoop-the-definitive/9781491901687/ T. White. "Hadoop. The definitive guide"], гл. 3 "Hadoop distributed filesystem". (есть русский перевод). 4е издание
# [https://storageconference.us/2010/Papers/MSST/Shvachko.pdf Статья про архитектуру HDFS от Константина Швачко (Yahoo!)]
# [http://www.blogjava.net/DLevin/archive/2015/01/25/422428.html Статья про архитектуру HDFS в блоге HortonWorks (Китайская копия :))]
# [http://blog.madhukaraphatak.com/secondary-namenode---what-it-really-do/ Что в действительности делает SNN]
# [https://nancyyanyu.github.io/posts/49a14c15/ Выдержка из курсов Яндекс про HDFS]

Параллельные и распределенные вычисления 2022 осень

2022-12-06T20:25:57Z

Killerrati:

= Общие сведения =
* Семестр: 5 (третий курс)
* Форма контроля: Экзамен в форме диф. зачет
* '''[https://docs.google.com/forms/d/e/1FAIpQLScNYtfGstKgX3_OrR3Ysym-7wC9xSdR4ucOLKJky1i2ypYLPA/viewform?usp=sf_link Форма регистрации на курс].
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vQo2dBxiF80B19Mys-QGPcb8PdnJhjZekofpjG9Q5kr7NJ3UST_7-DzvhCwaRFCFWQcrZPK5qGgIfkC/pubhtml?gid=0&single=true План лекций, семинаров, контрольных]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vRPoSdeLaSX2Tli_RgW91JkGqrsl7kCpvF7734u-l_ovXJFJvvmFdYnYowm1UPv50MLhVYxPlUZxokz/pubhtml?gid=1942469843&single=true Таблица с оценками]
* [https://t.me/+lcRdIVyu8DJjZWVi Телеграм-чат курса]

=== Материалы занятий ===
Доступ открыт для всех аккаунтов @phystech.edu.

===== Лекции =====
* [https://disk.yandex.ru/d/yjhnWduu-kuf3A Видео лекций]
* [https://drive.google.com/drive/folders/0B2n4K2J_6IZdfjVqTkdPT3ZvWU9FRXVscWY0VzlWazZYOG1lemh5dW96UG1OekRzcjVCVm8?resourcekey=0-_OvBdqyPGV816JLXCtIz1Q&usp=sharing Видео модуля Романа Липовского] (2021 г)
* [https://drive.google.com/drive/folders/1XkAGnViPUf-t7M3zuw1E3z-sMf--87SY?usp=sharing Слайды презентаций]

===== Семинары =====
* [https://disk.yandex.ru/d/nUDdk1k5scK2vQ Видео семинаров]
* [https://gitlab.com/fpmi-atp/pd2022a-supplementary Коды и презентации семинаров]

*[https://gitlab.com/fpmi-atp/pd2022a-supplementary/global/-/tree/main/homeworks '''Домашние задания''']
*[https://docs.google.com/spreadsheets/d/1rxr465J4VtRxXnRtID1aRy0RzhpBltpjJYKximAQMB8/edit#gid=0 Интересные ссылки]

== Технические ссылки ==
* [https://forms.gle/PWhsFdPR9iVrsXbs9 Форма для проблем с инфраструктурой АТП]
* В случае проблем с кластером MPI, пишите на '''parallel-cluster-atp@googlegroups.com'''.
==== Сервер Gitlab ====
На данный момент сервер находится по адресу https://gitlab.atp-fivt.org/.

==== Сервера ====
* MPI & OpenMP: <pre>ssh <user>@calc.cod.phystech.edu</pre>
* CUDA: <pre>ssh <user>@lorien.atp-fivt.org</pre>
* Hadoop ecosystem: <pre>ssh <user>@mipt-client.atp-fivt.org</pre>

= Преподаватели =
* '''Лекторы'''
** Долуденко Алексей
** Ахтямов Павел
** Ивченко Олег
** Липовский Роман (?)

* '''Семинаристы'''
** Ахтямов Павел Ибрагимович
** Бабин Олег Борисович
** Павлов Дмитрий Владимирович
** Чернецкий Аркадий

* '''Учебные ассистенты'''

= Критерии получения оценки =
Формально по курсу экзамен. Он выставляется на основании баллов, полученных в течение семестра.

== Домашние задания ==
Планируется 6 домашних заданий. Проверка включает 2 этапа:
# прохождение автоматических тестов (Для ДЗ начиная с HDFS).
# code review при условии выполненного п.1. Исправления по code review можно делать в течение '''1 месяца''' после 1-го комментария.

{| class="wikitable"
|-
! Название
! Мягкий дедлайн
! Жёсткий дедлайн
|-
| PD-2022. MPI || 20.10.2022 || 27.10.2022
|-
| PD-2022. CUDA || 02.11.2022 || 09.11.2022
|-
| PD-2022. HDFS || 19.11.2022 (продлён до 19.12.2022) || 26.11.2022 (продлён до 26.12.2022)
|-
| PD-2022. Map-Reduce || 02.12.2022 (продлён до 19.12.2022) || 09.12.2022 (продлён до 26.12.2022)
|-
| PD-2022. Hive || 11.12.2022 (продлён до 26.12.2022)|| 18.12.2022 (продлён до 01.01.2023, дай бог дожить)
|-
| PD-2022. Spark || 30.12.2022 || 10.01.2023
|}

[https://gitlab.com/fpmi-atp/pd2022a-supplementary/global/-/tree/main/homeworks Репозиторий с домашками]

* Штраф за опоздание по soft deadline: -50%
* Штраф за опоздание по hard deadline: -75%

== Мини-контрольные ==
Состоятся 3 теста. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название
! Дата
! Длительность
|-
| PD-2022. HDFS & MapReduce || ? || 15 мин.
|-
| PD-2022. Hive & Spark || ? || 15 мин.
|-
| PD-2022. Kafka, Zookeeper || ? || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/17zHStcrQQ5z3byn4kKj3gyI8nFXhUzbNbspoyBCKQF8/edit?usp=sharing '''форму на дописывание''']. Дописывание состоится в январе 2023:
* PD-2022. Дописывание. HDFS & MAPREDUCE
* PD-2022. Дописывание. Hive & Spark
* PD-2022. Дописывание. Zookeeper, Kafka, Cassandra

Каждое дописывание длится 15 минут.

= Литература =
=== MPI & OpenMP ===
# Антонов А.С. Технологии параллельного программирования MPI и OpenMP: Учеб. пособие. Предисл.: В.А.Садовничий. - М.: Издательство Московского университета, 2012.

=== CUDA ===
# Дж. Сандерс, Э. Кэррот. Технология CUDA в примерах и задачах, 2013 (рус).
# [http://courses.cms.caltech.edu/cs179/ Курс "GPU programming" в Caltech].
# [https://www.cs.bgu.ac.il/~graph161/wiki.files/09f-GPU%20-%20Scans.pdf Лекция по Scan курсе по комп. графике, Ben-Gurion university]
# [http://developer.download.nvidia.com/compute/cuda/1.1-Beta/x86_website/projects/scan/doc/scan.pdf Parallel Prefix Sum (Scan) with CUDA, Mark Harris, NVidia]
# Книги от Nvidia: [https://developer.nvidia.com/gpugems/gpugems/contributors GPU gems], [https://developer.nvidia.com/gpugems/gpugems2/inside-front-cover GPU gems 2], [https://developer.nvidia.com/gpugems/gpugems3/foreword GPU gems 3]. Особенно интересна глава 39 из [https://developer.nvidia.com/gpugems/gpugems3/part-vi-gpu-computing/chapter-39-parallel-prefix-sum-scan-cuda GPU Gems] про Scan.

=== HDFS ===
# [https://www.oreilly.com/library/view/hadoop-the-definitive/9781491901687/ T. White. "Hadoop. The definitive guide"], гл. 3 "Hadoop distributed filesystem". (есть русский перевод). 4е издание
# [https://storageconference.us/2010/Papers/MSST/Shvachko.pdf Статья про архитектуру HDFS от Константина Швачко (Yahoo!)]
# [http://www.blogjava.net/DLevin/archive/2015/01/25/422428.html Статья про архитектуру HDFS в блоге HortonWorks (Китайская копия :))]
# [http://blog.madhukaraphatak.com/secondary-namenode---what-it-really-do/ Что в действительности делает SNN]
# [https://nancyyanyu.github.io/posts/49a14c15/ Выдержка из курсов Яндекс про HDFS]

Параллельные и распределенные вычисления 2022 осень

2022-10-05T20:02:38Z

Killerrati:

= Общие сведения =
* Семестр: 5 (третий курс)
* Форма контроля: Экзамен в форме диф. зачет
* '''[https://docs.google.com/forms/d/e/1FAIpQLScNYtfGstKgX3_OrR3Ysym-7wC9xSdR4ucOLKJky1i2ypYLPA/viewform?usp=sf_link Форма регистрации на курс].
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vQo2dBxiF80B19Mys-QGPcb8PdnJhjZekofpjG9Q5kr7NJ3UST_7-DzvhCwaRFCFWQcrZPK5qGgIfkC/pubhtml?gid=0&single=true План лекций, семинаров, контрольных]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vRPoSdeLaSX2Tli_RgW91JkGqrsl7kCpvF7734u-l_ovXJFJvvmFdYnYowm1UPv50MLhVYxPlUZxokz/pubhtml?gid=1942469843&single=true Таблица с оценками]
* [https://t.me/+lcRdIVyu8DJjZWVi Телеграм-чат курса]

=== Материалы занятий ===
Доступ открыт для всех аккаунтов @phystech.edu.

===== Лекции =====
* [https://disk.yandex.ru/d/yjhnWduu-kuf3A Видео лекций]
* [https://drive.google.com/drive/folders/1XkAGnViPUf-t7M3zuw1E3z-sMf--87SY?usp=sharing Слайды презентаций]

===== Семинары =====
* [https://disk.yandex.ru/d/nUDdk1k5scK2vQ Видео семинаров]
* [https://gitlab.com/fpmi-atp/pd2022a-supplementary Коды и презентации семинаров]

*[https://gitlab.com/fpmi-atp/pd2022a-supplementary/global/-/tree/main/homeworks '''Домашние задания''']
*[https://docs.google.com/spreadsheets/d/1rxr465J4VtRxXnRtID1aRy0RzhpBltpjJYKximAQMB8/edit#gid=0 Интересные ссылки]

== Технические ссылки ==
* [https://forms.gle/PWhsFdPR9iVrsXbs9 Форма для проблем с инфраструктурой АТП]
* В случае проблем с кластером MPI, пишите на '''parallel-cluster-atp@googlegroups.com'''.
==== Сервер Gitlab ====
На данный момент сервер находится по адресу https://gitlab.atp-fivt.org/.

==== Сервера ====
* MPI & OpenMP: <pre>ssh <user>@calc.cod.phystech.edu</pre>
* CUDA: <pre>ssh <user>@lorien.atp-fivt.org</pre>
* Hadoop ecosystem: <pre>ssh <user>@mipt-client.atp-fivt.org</pre>

= Преподаватели =
* '''Лекторы'''
** Долуденко Алексей
** Ахтямов Павел
** Ивченко Олег
** Липовский Роман (?)

* '''Семинаристы'''
** Ахтямов Павел Ибрагимович
** Бабин Олег Борисович
** Павлов Дмитрий Владимирович
** Чернецкий Аркадий

* '''Учебные ассистенты'''

= Критерии получения оценки =
Формально по курсу экзамен. Он выставляется на основании баллов, полученных в течение семестра.

== Домашние задания ==
Планируется 6 домашних заданий. Проверка включает 2 этапа:
# прохождение автоматических тестов (Для ДЗ начиная с HDFS).
# code review при условии выполненного п.1. Исправления по code review можно делать в течение '''1 месяца''' после 1-го комментария.

{| class="wikitable"
|-
! Название
! Мягкий дедлайн
! Жёсткий дедлайн
|-
| PD-2022. MPI || 20.10.2022 || 27.10.2022
|-
| PD-2022. CUDA || 02.11.2022 || 09.11.2022
|-
| PD-2022. HDFS || 19.11.2022 || 26.11.2022
|-
| PD-2022. Map-Reduce || 02.12.2022 || 09.12.2022
|-
| PD-2022. Hive || 11.12.2022 || 18.12.2022
|-
| PD-2022. Spark || 30.12.2022 || 10.01.2023 (страшна)
|}

[https://gitlab.com/fpmi-atp/pd2022a-supplementary/global/-/tree/main/homeworks Репозиторий с домашками]

* Штраф за опоздание по soft deadline: -50%
* Штраф за опоздание по hard deadline: -75%

== Мини-контрольные ==
Состоятся 3 теста. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название
! Дата
! Длительность
|-
| PD-2022. HDFS & MapReduce || ? || 15 мин.
|-
| PD-2022. Hive & Spark || ? || 15 мин.
|-
| PD-2022. Kafka, Zookeeper || ? || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/17zHStcrQQ5z3byn4kKj3gyI8nFXhUzbNbspoyBCKQF8/edit?usp=sharing '''форму на дописывание''']. Дописывание состоится в январе 2023:
* PD-2022. Дописывание. HDFS & MAPREDUCE
* PD-2022. Дописывание. Hive & Spark
* PD-2022. Дописывание. Zookeeper, Kafka, Cassandra

Каждое дописывание длится 15 минут.

= Литература =
=== MPI & OpenMP ===
# Антонов А.С. Технологии параллельного программирования MPI и OpenMP: Учеб. пособие. Предисл.: В.А.Садовничий. - М.: Издательство Московского университета, 2012.

=== CUDA ===
# Дж. Сандерс, Э. Кэррот. Технология CUDA в примерах и задачах, 2013 (рус).
# [http://courses.cms.caltech.edu/cs179/ Курс "GPU programming" в Caltech].
# [https://www.cs.bgu.ac.il/~graph161/wiki.files/09f-GPU%20-%20Scans.pdf Лекция по Scan курсе по комп. графике, Ben-Gurion university]
# [http://developer.download.nvidia.com/compute/cuda/1.1-Beta/x86_website/projects/scan/doc/scan.pdf Parallel Prefix Sum (Scan) with CUDA, Mark Harris, NVidia]
# Книги от Nvidia: [https://developer.nvidia.com/gpugems/gpugems/contributors GPU gems], [https://developer.nvidia.com/gpugems/gpugems2/inside-front-cover GPU gems 2], [https://developer.nvidia.com/gpugems/gpugems3/foreword GPU gems 3]. Особенно интересна глава 39 из [https://developer.nvidia.com/gpugems/gpugems3/part-vi-gpu-computing/chapter-39-parallel-prefix-sum-scan-cuda GPU Gems] про Scan.

=== HDFS ===
# [https://www.oreilly.com/library/view/hadoop-the-definitive/9781491901687/ T. White. "Hadoop. The definitive guide"], гл. 3 "Hadoop distributed filesystem". (есть русский перевод). 4е издание
# [https://storageconference.us/2010/Papers/MSST/Shvachko.pdf Статья про архитектуру HDFS от Константина Швачко (Yahoo!)]
# [http://www.blogjava.net/DLevin/archive/2015/01/25/422428.html Статья про архитектуру HDFS в блоге HortonWorks (Китайская копия :))]
# [http://blog.madhukaraphatak.com/secondary-namenode---what-it-really-do/ Что в действительности делает SNN]
# [https://nancyyanyu.github.io/posts/49a14c15/ Выдержка из курсов Яндекс про HDFS]

Параллельные и распределенные вычисления 2022 осень

2022-10-05T19:52:00Z

Killerrati:

= Общие сведения =
* Семестр: 5 (третий курс)
* Форма контроля: диф. зачет
* '''[https://docs.google.com/forms/d/e/1FAIpQLScNYtfGstKgX3_OrR3Ysym-7wC9xSdR4ucOLKJky1i2ypYLPA/viewform?usp=sf_link Форма регистрации на курс].
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vQo2dBxiF80B19Mys-QGPcb8PdnJhjZekofpjG9Q5kr7NJ3UST_7-DzvhCwaRFCFWQcrZPK5qGgIfkC/pubhtml?gid=0&single=true План лекций, семинаров, контрольных]
* [https://docs.google.com/spreadsheets/d/e/2PACX-1vRPoSdeLaSX2Tli_RgW91JkGqrsl7kCpvF7734u-l_ovXJFJvvmFdYnYowm1UPv50MLhVYxPlUZxokz/pubhtml?gid=1942469843&single=true Таблица с оценками]
* [https://t.me/+lcRdIVyu8DJjZWVi Телеграм-чат курса]

=== Материалы занятий ===
Доступ открыт для всех аккаунтов @phystech.edu.

===== Лекции =====
* [https://disk.yandex.ru/d/yjhnWduu-kuf3A Видео лекций]
* [https://drive.google.com/drive/folders/1XkAGnViPUf-t7M3zuw1E3z-sMf--87SY?usp=sharing Слайды презентаций]

===== Семинары =====
* [https://disk.yandex.ru/d/nUDdk1k5scK2vQ Видео семинаров]
* [https://gitlab.com/fpmi-atp/pd2022a-supplementary Коды и презентации семинаров]

*[https://gitlab.com/fpmi-atp/pd2022a-supplementary '''Домашние задания''']
*[https://docs.google.com/spreadsheets/d/1rxr465J4VtRxXnRtID1aRy0RzhpBltpjJYKximAQMB8/edit#gid=0 Интересные ссылки]

== Технические ссылки ==
* [https://forms.gle/PWhsFdPR9iVrsXbs9 Форма для проблем с инфраструктурой АТП]
* В случае проблем с кластером MPI, пишите на '''parallel-cluster-atp@googlegroups.com'''.
==== Сервер Gitlab ====
На данный момент сервер находится по адресу https://gitlab.atp-fivt.org/.

==== Сервера ====
* MPI & OpenMP: <pre>ssh <user>@calc.cod.phystech.edu</pre>
* CUDA: <pre>ssh <user>@lorien.atp-fivt.org</pre>
* Hadoop ecosystem: <pre>ssh <user>@mipt-client.atp-fivt.org</pre>

= Преподаватели =
* '''Лекторы'''
** Долуденко Алексей
** Ахтямов Павел
** Ивченко Олег
** Липовский Роман (?)

* '''Семинаристы'''
** Ахтямов Павел Ибрагимович
** Бабин Олег Борисович
** Павлов Дмитрий Владимирович
** Чернецкий Аркадий

* '''Учебные ассистенты'''

= Критерии получения оценки =
Формально по курсу экзамен. Он выставляется на основании баллов, полученных в течение семестра.

== Домашние задания ==
Планируется 7 домашних (6 основных и 1 бонусное) заданий. Проверка включает 2 этапа:
# прохождение автоматических тестов (начиная с ДЗ по HDFS).
# code review при условии выполненного п.1. Исправления по code review можно делать в течение '''1 месяца''' после 1-го комментария.

{| class="wikitable"
|-
! Название
! Мягкий дедлайн
! Жёсткий дедлайн
|-
| PD-2022. MPI || 20.10.2022 || 27.10.2022
|-
| PD-2022. CUDA || 02.11.2022 || 09.11.2022
|-
| PD-2022. HDFS || 19.11.2022 || 26.11.2022
|-
| PD-2022. Map-Reduce || 02.12.2022 || 09.12.2022
|-
| PD-2022. Hive || 11.12.2022 || 18.12.2022
|-
| PD-2022. Spark || 30.12.2022 || 10.01.2023 (страшна)
|}

[https://gitlab.com/fpmi-atp/pd2022a-supplementary/global/-/tree/main/homeworks Репозиторий с домашками]

* Штраф за опоздание по soft deadline: -50%
* Штраф за опоздание по hard deadline: -75%

== Мини-контрольные ==
Состоятся 3 теста. На контрольных нельзя пользоваться IDE и интернетом. Код писать не потребуется.

{| class="wikitable"
|-
! Название
! Дата
! Длительность
|-
| PD-2022. HDFS & MapReduce || ? || 15 мин.
|-
| PD-2022. Hive & Spark || ? || 15 мин.
|-
| PD-2022. Kafka, Zookeeper || ? || 15 мин.
|}

В случае если вы не сможете написать КР в указанную дату по технической или другой уважительной причине, просьба заполнить [https://docs.google.com/forms/d/17zHStcrQQ5z3byn4kKj3gyI8nFXhUzbNbspoyBCKQF8/edit?usp=sharing '''форму на дописывание''']. Дописывание состоится в январе 2023:
* PD-2022. Дописывание. HDFS & MAPREDUCE
* PD-2022. Дописывание. Hive & Spark
* PD-2022. Дописывание. Zookeeper, Kafka, Cassandra

Каждое дописывание длится 15 минут.

= Литература =
=== MPI & OpenMP ===
# Антонов А.С. Технологии параллельного программирования MPI и OpenMP: Учеб. пособие. Предисл.: В.А.Садовничий. - М.: Издательство Московского университета, 2012.

=== CUDA ===
# Дж. Сандерс, Э. Кэррот. Технология CUDA в примерах и задачах, 2013 (рус).
# [http://courses.cms.caltech.edu/cs179/ Курс "GPU programming" в Caltech].
# [https://www.cs.bgu.ac.il/~graph161/wiki.files/09f-GPU%20-%20Scans.pdf Лекция по Scan курсе по комп. графике, Ben-Gurion university]
# [http://developer.download.nvidia.com/compute/cuda/1.1-Beta/x86_website/projects/scan/doc/scan.pdf Parallel Prefix Sum (Scan) with CUDA, Mark Harris, NVidia]
# Книги от Nvidia: [https://developer.nvidia.com/gpugems/gpugems/contributors GPU gems], [https://developer.nvidia.com/gpugems/gpugems2/inside-front-cover GPU gems 2], [https://developer.nvidia.com/gpugems/gpugems3/foreword GPU gems 3]. Особенно интересна глава 39 из [https://developer.nvidia.com/gpugems/gpugems3/part-vi-gpu-computing/chapter-39-parallel-prefix-sum-scan-cuda GPU Gems] про Scan.

=== HDFS ===
# [https://www.oreilly.com/library/view/hadoop-the-definitive/9781491901687/ T. White. "Hadoop. The definitive guide"], гл. 3 "Hadoop distributed filesystem". (есть русский перевод). 4е издание
# [https://storageconference.us/2010/Papers/MSST/Shvachko.pdf Статья про архитектуру HDFS от Константина Швачко (Yahoo!)]
# [http://www.blogjava.net/DLevin/archive/2015/01/25/422428.html Статья про архитектуру HDFS в блоге HortonWorks (Китайская копия :))]
# [http://blog.madhukaraphatak.com/secondary-namenode---what-it-really-do/ Что в действительности делает SNN]
# [https://nancyyanyu.github.io/posts/49a14c15/ Выдержка из курсов Яндекс про HDFS]