电子说
演讲人:李杰,快手科技算法引擎工程师
关于多模态短视频模型推理优化方案解析
多卡推理--流水线并行:将模型和数据切分,以流水线形式计算,提高GPU利用率。模型切分策略:依照各部分的计算时间和参数量设计。
全部0条评论
快来发表一下你的评论吧 !