分享资料个
LightSeq 是一个高性能的训练和推理库，用于在 CUDA 中实现序列处理和生成。它可以高效计算现代 NLP 模型，例如BERT、GPT、 Transformer等。因此，它最适用于机器翻译、文本生成、对话、语言建模、情感分析和其他具有序列数据的相关任务。
该库建立在 CUDA 官方库（cuBLAS、Thrust、CUB）和自定义内核函数之上， 这些函数专门为 Transformer 模型系列融合和优化。除了模型组件，推理库还提供了基于 TensorRT 推理服务器的易于部署的模型管理和服务后端 。使用 LightSeq，只需少量额外代码即可轻松开发修改后的 Transformer 架构。
以下是 LightSeq 训练库支持的矩阵与 DeepSpeed 对比。
以下是 LightSeq 推理库支持矩阵与 TurboTransformers 和 FasterTransformer 的对比。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉
全部0条评论
快来发表一下你的评论吧 !
