DeepSeek宣布开源DeepGEMM

描述

DeepGEMM 是一个专为简洁高效的 FP8 通用矩阵乘法(GEMM)设计的库,具有细粒度缩放功能,在Deepseek开源周的第三天Deepseek正式宣布开源DeepGEMM。

据悉GEMMs同时支持普通的和专家混合(MoE)分组的GEMM运算。而且代码库非常简洁,只有一个核心内核函数,代码量约为300行。DeepGEMM采用CUDA编写,这使得DeepGEMM在安装过程中无需编译,通过在运行时使用轻量级即时编译模块来编译所有内核。

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分