作者：Ed Plowman
GPU经常与人工智能同时提及，其中一个重要原因在于AI与3D图形处理本质上属于同一类问题——它们都适用极易并行计算。
什么是极易并行计算？
极易并行计算指的是符合以下特征的计算任务：
- 任务独立性：
子任务不依赖于其他任务的中间结果。
- 数据耦合需求低：
并行任务在执行过程中几乎不需要数据交换。
- 可分解性：
处理过程可以拆分为一组许多相同的任务。
- 或者…
包含多层任务结构，每个任务又包含许多子任务。
这些计算任务通过利用多个处理器能够获得显著的性能提升，因此非常适合部署在高度并行或分布式计算平台上，如GPU。常见的例子包括：
- 3D 渲染：每一帧或每个像素都可以独立处理，GPU实现高效渲染。
- 蒙特卡罗模拟：用于统计建模和风险分析。
- 密码学：暴力破解和密码破解。
- 图像处理：对大规模图像数据集应用滤镜或调整大小。
- 机器学习：例如随机森林树的增长步骤或在 GPU上进行卷积神经网络（CNN）推理。
极易并行计算面临的挑战
尽管本质上较为简单，极易并行计算在实际应用中仍面临诸多挑战：
- 过度并行化：线程创建过多会带来额外开销，导致收益递减；
- 资源管理：对内存等资源的竞争可能降低整体效率；
- 负载均衡：任务在处理器间分配不均容易造成性能瓶颈；
- 硬件限制：若忽视平台特有的约束条件（如可用核心数或内存带宽），可能无法充分发挥硬件潜力；
- 同步开销：尽管通常较小，不当的同步机制仍可能引入额外延迟。
在应对这类问题时，一个重要挑战是保持性能一致性，这对于确保工作负载能够高效运行在不同硬件架构上而不需大量修改至关重要。过度优化可能会牺牲性能一致性，导致对某一特定GPU厂商的依赖。在如NPU这类面向特定领域的加速器时，这一问题尤为突出。
在CUDA、OpenCL和Vulkan等主流API上的实现提供了一定程度的软件可移植性，但通常仍需针对