Праздничная неделя подходит к концу, но мы давай продолжим публиковать лекции Школы анализа данных Яндекса для тех, кто хочет провести время с пользой.
Сегодня очередь курса, важность которого в наше время сложно переоценить – «Параллельные и распределенные вычисления».
Что внутри: ознакомление с параллельными вычислениями и распределенными системами обработки и хранения данных, а также развитие навыков практического использования соответствующих технологий.
Курс состоит из четырех основных блоков: параллелизм, параллельные вычисления, параллельная обработка больших наборов данных и распределенные вычисления.
Лекции читает Сухорослов Олег Викторович, старший научный сотрудник Центра грид-технологий и распределенных вычислений ИСА РАН.
Доцент кафедры распределенных вычислений ФИВТ МФТИ.
Кандидат технических наук.
Параллельность (одновременность).
Области применения и проблемы.
Методы реализации одновременных систем, процессов и потоков, программные средства.
Основы многопоточного программирования на примере языков C++ и Java. Типичные ошибки в многопоточном программировании.
Взаимное исключение и условная синхронизация.
Модель памяти и примитивы низкоуровневой синхронизации.
Альтернативные подходы к реализации одновременных программ.
Параллельные вычисления.
Области применения и проблемы.
Современные параллельные вычислительные системы.
Теоретические основы параллельных вычислений.
Показатели качества параллельных алгоритмов.
Принципы разработки и типовые структуры параллельных алгоритмов.
Методика ПКАМ.
Системы параллельного программирования.
Типичные модели и шаблоны программирования.
Основы параллельного программирования на системах с общей памятью на примере технологии OpenMP. Основы параллельного программирования на системах с распределенной памятью на примере технологии MPI.
- Параллельные вычисления
- Параллельное программирование
- Параллельное программирование, часть 2
- Разбор пульта №1
Параллельная обработка больших наборов данных.
Феномен больших данных.
Модель программирования MapReduce. Принципы параллельного выполнения вычислений.
Объем и примеры задач.
Принципы распределенной реализации MapReduce на кластерных системах.
Платформа Apache Hadoop. Интерфейсы прикладного программирования и реализация программ для Hadoop. Локальная отладка и запуск программ на кластере.
Методы и стратегии реализации программ MapReduce. Языки высокого уровня и инструменты для работы с Hadoop. Практические примеры использования MapReduce. Ограничения модели MapReduce, расширения и альтернативные подходы.
- Уменьшение карты
- MapReduce: методы и стратегии реализации
- MapReduce: инструменты и практические примеры
Распределенные системы и вычисления.
Области применения, особенности и типы распределенных систем.
Проблемы построения распределенных систем.
Теоретические основы распределенных вычислений, примеры распределенных алгоритмов.
Методы взаимодействия распределенных процессов, сетевые протоколы.
Технологии распределенного программирования.
Знакомство с языком Эрланг.
Распределенные системы хранения данных, репликация данных, системы NoSQL. Распределенные вычислительные технологии, гриды, добровольные вычисления.
Системы облачных вычислений.
Обновлять: все лекции курса «Параллельные и распределенные вычисления» в открытой папке на Яндекс.
Диске
.Теги: #Большие данные #школа анализа данных #Яндекс #распределенные вычисления
-
Как Стать Успешным Рубистом
19 Oct, 24 -
Оптимальная Клавиатура
19 Oct, 24 -
Лучшие И Худшие Интернет-Законы
19 Oct, 24
