×

基于分布式编码的同步随机梯度下降算法

消耗积分:0 | 格式:pdf | 大小:2.19 MB | 2021-04-27

分享资料个

　　基于数据并行化的异步随机梯度下降（ASGD）算法由于需要在分布式计算节点之间频繁交换梯度数据，从而影响算法执行效率。提出基于分布式编码的同步随机梯度下降（SSGD）算法，利用计算任务的冗余分发策略对每个节点的中间结果传输时间进行量化以减少单一批次训练时间，并通过数据传输编码策略的分组数据交换模式降低节点间的数据通信总量。实验结果表明，当配置合适的超参数时，与SSGD和ASGD算法相比，该算法在深度神经网络和卷积神经网络分布式训练中平均减少了5397%、26.89%和39，11%、26.37%的训练时间，从而证明其能有效降低分布式集群的通信负载并保证神经网络的训练精确度。

下载并关注上传者 低至0.43元/天 开通VIP 免费下载

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉

评论(0)
发评论

下载排行榜

全部0条评论

快来发表一下你的评论吧 !