学习笔记——《Professional CUDA C Programming》Ch1 Heterogeneous Parallel Computing With CUDA
Ch1. Heterogeneous Parallel Computing With CUDA
前言
本系列笔记是《Professional CUDA C Programming》的读书笔记,基本顺序与书的目录相一致,总结了其中我认为重要的知识点,以及通过查阅相关技术资料加入了我个人的理解。文中部分内容引用原书中的图、文字和表述,均会在旁边加以标注。
![](http://images.phyjack.com/20240505063120.png)
并行计算概述
并行计算是当今技术飞速发展的重要推动力,是实现高性能计算(HPC, high-performance computing)的核心技术之一。近年来,CPU-GPU 异构架构(heterogeneous architecture)将并行计算的发展提升到了一个新的高度。通常来说,并行计算可以分为两个维度:
- 硬件方面:计算架构 (Computer architecture)
- 软件方面:并行编程 (Parallel programming)
现代CPU多采用Harvard架构:
并行计算通常分为两种:
- 任务并行(Task parallelism)
- 数据并行(Data parallelism) => CUDA 编程
数据并行的一个首要任务是数据分配(Data partitioning),包括block partitioning 和cyclic partitioning。选择何种分配方式需要考虑程序本身设计以及硬件架构的信息,选择最优的block size和分配方式。
计算架构的分类
计算架构可分为四类:
- 单指令流单数据流:Single Instruction Single Data (SISD) => 传统单核电脑
- 单指令流多数据流:Single Instruction Multiple Data (SIMD) => 多核电脑,Vector向量机
- 多指令流单数据流:Multiple Instruction Single Data (MISD) => 少见
- 多指令流多数据流:Multiple Instruction Multiple Data (MIMD) => 多核处理多路数据,最强并行性
在架构设计层面,有三个最重要的优化指标:
- 低延迟(low latency):单次操作所花费的时间,通常用s或ms衡量。
- 高带宽(high bandwidth):单位时间内处理的数据量,通常用MB/s或GB/s衡量。
- 高吞吐(high throughput):单位时间内处理的操作量,通常用gflops衡量(billion floating-point operations per second)。(值得注意的是,低延迟并不一定意味着高吞吐,二者之间的关系还与系统的并行性有关。有关延迟和吞吐量的理解,可以参考:如何理解Latency和Throughput: 吞吐量和延迟 - Binyao - 博客园 (cnblogs.com))
多核系统的内存分配方式有独立(distributed)和共享(shared)两种。
GPU的设计架构非常适合于并行计算:多核心、多线性、MIMD、SIMD、并行指令集等。NVIDIA将其架构命名为SIMT(Single Instruction, Multiple Thread)。GPU核心和CPU核心的区别在于:CPU核心结构复杂,适用于复杂的逻辑计算,目标是对顺序执行的程序进行优化;而GPU核心结构简单,适用于简单逻辑下大量数据的并行计算,目标是提高并行程序的吞吐量。
异构架构
CPU适合处理逻辑集中型(control-intensive)任务,GPU适合处理数据集中型(data-parallel computation-intensive)任务,将CPU和GPU各自的优势相结合,就得到了异构架构(Heterogeneous Architecture)。在异构架构中,CPU被称为Host,GPU被称为Device。CPU上运行的Host代码主要用来配置环境、调用程序、准备数据以及一系列复杂操作为数据密集型计算作好准备,而GPU上运行的Device代码则专门针对大量集中的数据操作进行并行加速计算。在该架构中,CPU作为逻辑中枢,控制整个任务的启动、执行与终止,GPU作为计算中枢,专门对大量数据进行集中处理,二者之间通过PCIe总线进行通信。
CPU和GPU的特性如下图。CPU的单核性能非常强大,能处理极其复杂的逻辑运算,但是核的数量相对较少(例如现在典型的16核32线程(超线程)CPU,参考 CPU工作方式、多核心、超线程技术详解 - 知乎 (zhihu.com));而GPU单核性能简单,只能处理简单的计算任务,但是每个核的线程数非常多(典型的16核GPU可能支持几万到几十万个线程)。当任务的数据量较小、执行逻辑复杂、由大量短小的串行操作组成、需要处理无法预知的控制流、多任务并行等场景时,建议使用CPU,例如文字处理、表格计算、视频编辑等。当任务的数据量庞大、每条数据的处理逻辑相对简单时,建议使用GPU,例如深度学习计算、图形渲染、视频解码等。
这里插一个小问题:为什么CPU的超线程通常是单核双线程,而GPU可以做到单核成千上万个线程?原因如下:
- GPU的硬件架构不同于CPU,GPU采用了大量简化的并行计算核心架构,每个算核支持同时执行多个线程。而CPU计算核心设计注重单线程性能。
- GPU每个算核只支持基本的 Arithmetic logic unit (ALU)运算,没有复杂的流水线和指令调度能力。这使得GPU算核对线程切换开销小,可以支持更多线程。
- GPU算法用到的线程通常是重复独立执行同一任务的临时线程,不涉及复杂同步和通信。这种轻量级的线程更利于大规模并行。
- CPU针对各种通用应用,需要兼顾单线程完整运算能力,增加了核心复杂度。GPU针对专用计算,可以进行更深层的简化优化。
- GPU可以利用大量工作单元并行运算不同任务不同片段,隐藏寄存器和内存等访问延迟。而CPU需要在同一时钟内完成指令执行。
- GPU适用于数据驱动型并行计算,每个线程负责独立可重复的片段运算,规模化效应更明显。
在使用异构架构处理具体的任务时,如何根据任务的特点优化Host和Device代码以充分发挥CPU和GPU各自的特点,二者优势互补相辅相成,实现高效计算,是异构架构编程的核心。异构编程不仅要求编程者在对于CPU和GPU的代码层面熟练掌握,而且还需要具备一定的底层硬件、网络通信等知识,并且要针对不同的具体任务制定最佳的编程策略,以最大限度地利用系统资源进行高效计算。为此,NVIDIA为开发者们提供了一套成熟的异构编程模型——CUDA。
CUDA: 异构计算编程平台
CUDA是NVIDIA提供的、为通用并行计算目标、提供一系列编程模型的高效的开发平台。使用CUDA编写代码可以在CPU中方便地调用GPU进行计算,并且与经典的CPU代码编程语言高度相似,例如CUDA C/C++/Python等,帮助传统的CPU平台开发者能以很低的学习成本迅速熟悉并掌握并行计算的开发。CUDA提供了不同硬件硬件层面的库和API,从上到下分别为:应用层、CUDA Libraries、CUDA Runtime、CUDA Driver、硬件层。本书使用的是CUDA C语言。
CUDA程序由Host 代码(CPU上执行)和Device 代码(GPU上执行)组成,提供了nvcc编译器在编译阶段将二者分离。Host代码是标准C代码并且之后交给C编译器,而Device代码是C-extended代码(用于并行计算的functions,称为核(kernels))则继续由nvcc进行编译,在连接(link)阶段,CUDA Runtime也被调用以用来显式操作GPU。