GEMM = General Matrix Multiply(通用矩阵乘法),数学上就是:
C = α × A × B + β × C
(通常简化为 C = A × B + C)
为什么 GEMM 无处不在?
深度学习的所有核心运算,最终都能转化成 GEMM:
| 网络层 | 怎么变成 GEMM |
|---|---|
| 全连接层(FC) | 本来就是 y = W × x + b,直接就是矩阵乘向量 |
| 卷积层(Conv) | 用 img2col 把输入和卷积核都展开成矩阵,然后做 GEMM |
| RNN / LSTM | 多个全连接组合,全是 GEMM |
| Attention(Transformer) | Q × K^T 和 Attention × V,全是 GEMM |
结论:神经网络 ≈ 一堆 GEMM 套非线性激活函数。GEMM 有多快,神经网络就有多快。
AI 芯片拼的就是 GEMM 算力,GEMM 算力拼的就是 Tensor Core 的规模和精度支持。
评论
0