DeepSeek开源第三弹：V3/R1训练推理关键秘籍核心代码仅300行

2025年2月26日 22:55

来源：量子位

开源周的第三天，DeepSeek把训练推理V3/R1背后的“动力”给亮出来了——

DeepGEMM：一个FP8GEMM（通用矩阵乘法）库，支持密集（dense）和混合专家（MoE）矩阵乘法运算。

深入了解DeepGEMM

DeepGEMM是一个专门为实现简洁高效的FP8通用矩阵乘法（GEMMs）而打造的库，它还具备细粒度缩放功能，这一设计源于DeepSeekV3。

它既能处理普通的通用矩阵乘法，也能支持MoE分组的通用矩阵乘法。

这个库是用CUDA编写的，安装的时候不需要编译，因为它会在运行时通过一个轻量级的即时编译（JIT）模块来编译所有的内核程序。

目前，DeepGEMM只支持英伟达的Hopper张量核心。

为了解决FP8张量核心在计算累积时不够精确的问题，它采用了CUDA核心的两级累积（提升）方法。

虽然DeepGEMM借鉴了CUTLASS和CuTe里的一些理念，但并没有过度依赖它们的模板或代数运算。

相反，这个库设计得很简洁，只有一个核心内核函数，代码量大概300行左右。

这使得它成为一个简洁易懂的资源，方便大家学习Hopper架构下的FP8矩阵乘法和优化技术。

尽管其设计轻巧，但DeepGEMM的性能可以匹配或超过各种矩阵形状的专家调优库。

那么具体性能如何呢？

团队在H800上使用NVCC12.8测试了DeepSeek-V3/R1推理中可能使用的所有形状（包括预填充和解码，但没有张量并行）。

下面这张图展示的是用于密集模型的普通DeepGEMM的性能：

掩码布局（maskedlayout）的性能是这样的：

OneMoreThing

英伟达这几天的股票……嗯……一直再跌：

不过在北京时间27日凌晨，英伟达2025财年第四季度业绩报告也即将出炉，我们可以期待一下它的表现~

免责声明:DeepSeek开源第三弹：V3/R1训练推理关键秘籍核心代码仅300行文章转发自互联网，版权归其所有。
文章内容不代表本站立场和任何投资暗示。加密货币市场极其波动，风险很高，可能不适合所有投资者。在投资加密货币之前，请确保自己充分了解市场和投资的风险，并考虑自己的财务状况和风险承受能力。此外，请遵循您所在国家的法律法规，以及遵守交易所和钱包提供商的规定。对于任何因使用加密货币所造成的投资损失或其他损失，本站不承担任何责任。

DeepSeek开源第三弹：V3/R1训练推理关键秘籍核心代码仅300行

元宇宙最新

元宇宙热门

DeepSeek开源第三弹：V3/R1训练推理关键秘籍 核心代码仅300行

元宇宙最新

元宇宙热门

DeepSeek开源第三弹：V3/R1训练推理关键秘籍核心代码仅300行