GEMM

GEMM = General Matrix Multiply(通用矩阵乘法),数学上就是: (通常简化为 ) --- 为什么 GEMM 无处不在? 深度学习的所有核心运算,最终都能转化成 GEMM: | 网络层 | 怎么变成 GEMM | | :--- | :--- | | 全连接层(FC) | 本

GEMM = General Matrix Multiply(通用矩阵乘法),数学上就是:

C = α × A × B + β × C

(通常简化为 C = A × B + C


为什么 GEMM 无处不在?

深度学习的所有核心运算,最终都能转化成 GEMM:

网络层 怎么变成 GEMM
全连接层(FC) 本来就是 y = W × x + b,直接就是矩阵乘向量
卷积层(Conv) img2col 把输入和卷积核都展开成矩阵,然后做 GEMM
RNN / LSTM 多个全连接组合,全是 GEMM
Attention(Transformer) Q × K^TAttention × V,全是 GEMM

结论:神经网络 ≈ 一堆 GEMM 套非线性激活函数。GEMM 有多快,神经网络就有多快。

AI 芯片拼的就是 GEMM 算力,GEMM 算力拼的就是 Tensor Core 的规模和精度支持。

评论

0
还没有评论, 抢首楼