Roofline Model（屋顶线模型）

Roofline Model（屋顶线模型） --- 1. 核心定义（一句话版） Roofline Model 是一个性能可视化分析模型，用于在给定硬件平台和计算核心上，快速定位程序性能瓶颈是“计算受限”还是“内存受限”，并指导优化方向。 它由 UC Berkeley 在 2009 年提出，是高性能计

#CUDA#GPU#职场
zTgx
zTgx
@zTgx
2026/07/14 1 个月前 Markdown

Roofline Model（屋顶线模型）

1. 核心定义（一句话版）

Roofline Model 是一个性能可视化分析模型，用于在给定硬件平台和计算核心上，快速定位程序性能瓶颈是“计算受限”还是“内存受限”，并指导优化方向。

它由 UC Berkeley 在 2009 年提出，是高性能计算（HPC）和 CUDA 优化的经典理论框架。

2. 两个关键轴（图结构）

Roofline 图是一个二维坐标图：

轴 含义 单位
X 轴 运算强度（Arithmetic Intensity, AI） FLOPs/Byte（每字节内存流量能执行多少次浮点运算）
Y 轴 性能（Performance） FLOPs/s（每秒浮点运算次数）

屋顶线（Roofline） 由两条线构成：

  1. 水平屋顶：峰值计算性能（硬件上限，如 GPU 的 FP32 算力）
  2. 斜线屋顶：峰值内存带宽 × AI（内存系统能供给的性能上限，即 带宽 × 运算强度）

最终性能 = min(峰值算力, 带宽 × AI)

3. 三种性能区域（诊断结果）

位置 诊断 优化策略
落在斜线（内存墙） 内存受限（Memory-bound） 优化访存：合并访问、共享内存、减少数据搬运
落在水平线（天花板） 计算受限（Compute-bound） 优化计算：向量化、指令级并行、使用 Tensor Core
两者之下 存在其他开销（如调度延迟、分支发散） 检查 occupancy、同步、kernel launch 开销

关键洞察：程序的**“屋顶天花板”**由 AI 值决定——AI 越大，越容易触及计算峰值。

4. 具体计算示例（CUDA 实战）

场景：一个向量加法和一个矩阵乘法。

示例 A：向量加法（内存受限）

// 每个线程：2 次加载 + 1 次存储 = 12 字节 (float 4B × 3)
// 计算：1 次浮点加法 = 1 FLOP
AI = 1 FLOP / 12 Byte ≈ 0.083 FLOPs/Byte

假设 GPU 带宽 = 900 GB/s，峰值算力 = 30 TFLOPS：

  • 可达到性能上限 = 900 GB/s × 0.083 ≈ 75 GFLOPS（远低于 30 TFLOPS）
    → 内存受限。优化方向：合并访问 + 向量化加载 (float4) 降低访存次数。

示例 B：矩阵乘法（计算受限）

// C = A × B (M=N=K=1024)
// 每个元素：1024 次乘加 ≈ 2048 FLOPs
// 访存：读 A 和 B 各一次（若分块复用，AI 更大）
AI ≈ 2048 / (2×4B) ≈ 256 FLOPs/Byte

→ 计算受限，性能接近 30 TFLOPS。优化方向：使用 Tensor Core / 指令级流水。

5. 如何提升程序的“屋顶位置”？（优化路径）

策略 作用
增加运算强度（AI） 数据复用（共享内存/寄存器 tiling），减少全局内存访问次数
提高内存带宽利用率 合并访问、使用只读缓存（__ldg()）、常量内存
提高计算峰值利用率 减少分支发散、增加 ILP（指令级并行）、使用快速数学函数

经典 CUDA 案例：矩阵乘法分块（Tiled Matrix Multiplication）——将 AI 从 O(1) 提升到 O(BLOCK_SIZE)，从而从内存受限跃迁到计算受限区域。

6. 反例（优化失败的诊断）

反例场景：在 GPU 上跑一个逐元素操作（如 y[i] = sin(x[i])）。

  • 计算量：1 次 sin（约 10-20 FLOPs 等价）
  • 访存：12 字节（读 + 写）
  • AI ≈ 1.0 ~ 2.0 FLOPs/Byte

用 Roofline 画图发现：

  • 若带宽 900 GB/s，AI=1，则上限 = 900 GB/s × 1 = 900 GFLOPS
  • 远低于 30 TFLOPS 峰值 → 严重内存受限

错误优化尝试：盲目用更快的 sin 指令（如 __sinf()）——几乎无效。
正确优化：合并多个操作（如 y[i] = sin(x[i]) + cos(x[i]) 在一次访存中完成），增加 AI。

7. 总结

“Roofline Model 以运算强度为横轴，可达性能为纵轴，绘制出由带宽斜线和算力水平线组成的屋顶。它能快速告诉我：当前 kernel 是否被内存带宽卡住，还是已经吃满计算单元。优化时，我永远朝着右上角移动——要么提高 AI（数据复用），要么提高带宽利用率（合并访问），最终触及硬件天花板。”

验收

问题 你的回答
什么是运算强度？单位？ FLOPs/Byte
屋顶线有哪两条线？ 带宽斜线 + 算力水平线
程序落在斜线上代表什么？ 内存受限，优化访存
如何把程序从斜线移到水平线？ 分块/重用以提高 AI
逐元素操作在 Roofline 的哪个位置？ 极左（低 AI），内存受限

评论

0
还没有评论, 抢首楼