Садеков Ринат

Курс основывается на материалах NVIDIA GPU Teaching Kit разработанных коллективом автором из University of Illinois. Данный курс включает вводный и продвинутый материал по теме параллельных вычислений. Целью курса является научиться программировать гетерогенные (CPU и GPU) параллельные компьютерные системы и достигать:

- Высокой производительности и энергоэффективности,

- Возможности масштабирования для будущих версий,

Техническая составляющая курса включает изучение API параллельного программирования, инструментов и техник программирования, принципов и паттернов параллельных алгоритмов, особенностей и ограничений архитектуры процессора. Практические задания курса используют онлайн-курсы NVIDIA DEEP LEARNING INSTITUTE (DLI) и другие задания разворачиваемые на платформе AWS.

Лекция №1 "Введение в CUDA C"
- Введение (1.1) [youtube]
- Введение в гетерогенные параллельные вычисления (1.2) [youtube]
- Переносимость и масштабируемость в гетерогенных параллельных вычислениях (1.3) [youtube]
- CUDA C vs. Thrust vs. CUDA Libraries (2.1) [youtube]
- API-функции для выделения памяти и перемещения данных (2.2) [youtube]
- Потоки и функции ядра (2.3) [youtube]
- Введение в CUDA Toolkit (2.4) [youtube]
- Nsight вычисления и NSight системы (2.5) [youtube]
- Единая память (2.6) [youtube]
Лекция №2 "Модель параллелизма CUDA"
- Kernel-Based SPMD параллельное программирование (3.1) [youtube]
- Многомерная конфигурация ядра (3.2) [youtube]
- Color-to-Grayscale пример обработки изображения (3.3) [youtube]
- Пример размытия изображения (3.4) [youtube]
- Планирование потоков (3.5) [youtube]
Практическое занятие №1 "Решение типовых задач на CUDA" [Задачи 0-3] [Тест]
Практическое занятие №2 "Fundamentals of Accelerated Computing with CUDA C/C++ [Первый модуль] [Тест]
Лекция №3 "Память и расположение данных"
- Память в CUDA (4.1) [youtube]
- Блочные параллельные алгоритмы (4.2) [youtube]
- Блочное умножение матриц (4.3) [youtube]
- Ядро блочного перемножения матриц (4.4) [youtube]
- Обработка матриц произвольного размера в блочных алгоритмах (4.5) [youtube]
Практическое занятие №3 "Fundamentals of Accelerated Computing with CUDA C/C++ [Второй модуль] [Тест]
Практическое занятие №4 "Решение типовых задач на CUDA" [Задачи 4-7] [Тест]
Практическое занятие №5 "Решение типовых задач на CUDA" [Задачи 8,9,11,12] [Тест]
Практическое занятие №6 "Решение типовых задач на CUDA" [Задачи 13-16] [Тест]
Лекция №4 "Эффективность выполения потоков и доступа к памяти"
- Warps и SIMD железо (5.1) [youtube]
- Влияние дивергенции управления на производительность (5.2) [youtube]
- Пропускная способность DRAM (6.1) [youtube]
- Обьединение запросов к памяти в CUDA (6.2) [youtube]
Практическое занятие №7 "Fundamentals of Accelerated Computing with CUDA C/C++" [Третий модуль] [Тест]
Практическое занятие №8 "Решение типовых задач на CUDA" [Задачи 18,21,22] [Тест]
Практическое занятие №9 "Fundamentals of Accelerated Computing with CUDA Python" [Первый модуль] [Тест]
Практическое занятие №10 "Fundamentals of Accelerated Computing with CUDA Python" [Второй модуль] [Тест]
Практическое занятие №11 "Fundamentals of Accelerated Computing with CUDA Python" [Третий модуль] [Тест]
Лекция №5 "Шаблоны параллельных вычислений"
- Гистограмма (7.1) [youtube]
- Введение в Data Races (7.2) [youtube]
- Атомарные операции в CUDA (7.3) [youtube]
- Производительность атомарных операций (7.4) [youtube]
- Техника приватизации для увеличения пропускной способности (7.5) [youtube]
- Свертка (8.1) [youtube]
- Блочная свертка (8.2) [youtube]
- Граничные условия (8.3) [youtube]
- Анализ повторного использования данных в блочной свертке (8.4) [youtube]
Лекция №6 "Шаблоны параллельных вычислений"
- Паралельное сокращение (9.1) [youtube]
- Базовое ядро редукции (9.2) [youtube]
- Лучшее ядро редукции (9.3) [youtube]
- Сумма префикса (10.1) [youtube]
- Неэффективное ядро сканирования (10.2) [youtube]
- Эффективное пареллельное ядро сканирования (10.3) [youtube]
- Подробнее о параллельном сканировании (10.4) [youtube]
Практическое занятие №12 "Fundamentals of Accelerated Computing with OpenACC" [Модули 1-4] [Тест]
Практическое занятие №13 "Fundamentals of Accelerated Computing with OpenACC" [Модули 5,6] [Тест]
Лекция №7 "Эффективная передача данных между хост-устройствами"
- Precision and Accuracy для данных с плавающей точкой (12.1) [youtube]
- Числовая стабильность (12.2) [youtube]
- GPU как часть архитектуры ПК (13.1) [youtube]
- Закрепленная память (14.1) [youtube]
- Параллелизм задач в CUDA (14.2) [youtube]
- Перекрытие передачи данных с вычислением (14.3) [youtube]
- Единая память CUDA (14.4) [youtube]
Практическое занятие №14 "Accelerating CUDA C++ Applications with Concurrent Streams" [ссылка] [Тест]
Практическое занятие №15 "Scaling Workloads Across Multiple GPUs with CUDA C++" [ссылка] [Тест]
Практическое занятие №16 "GPU Memory Optimizations with CUDA C/C++" [ссылка] [Тест]
Лекция №8 "Программирование нескольких GPU с использованием MPI и OpenACC"
- Введение в гетерогенные супервычисления и MPI (18.1) [youtube]
- Введение в программирование MPI-CUDA (18.2) [youtube]
- Модель параллелизма данных OpenCL (20.1) [youtube]
- Архитектура устройств OpenCL (20.2) [youtube]
- Хостовый код OpenCL (20.3) [youtube]
- Введение в OpenACC (21.1) [youtube]
- Тонкости OpenACC (21.2) [youtube]

Параллельные вычисления