卷积在统计学、信号处理、图像处理、深度学习等领堿有着广泛的应用,且起到了至关重要的作用。在深度神经网络使用卷积运算对输入信息进行特征提取的方法是实现神经网络的基础计算单元之一。如何优化卷积的运算速度,提高卷积计算效率一直是亟需探讨的问题。近年来,很多研究指出分布式计算架枃可以提髙卷积神经网络的计算速度,进而优化深度学习的训练效率,然而由于分布式系统中普遍存在落跑者问题( straggler),该问题可能会拖慢整个系统执行任务的时间,因此该问题也成为了分布式深度学习中一个待解决的问题。文中针对二维卷积计算,结合 Winograd算法和分布式编码,提出了一种优化的分布式二维卷积算法。 Winograd算法能够有效地加速单次二维卷积计算的速度,分布式编码通过使用一种基于分布式冗余的编码方式能够缓解 straggler节点对整个分布式系统计算延迟的影响。因此,提出的分布式二维卷积算法可以在加速维卷积计算的同时有效缓解分布式系统中的 straggler问题,有效提高了分布式卷积的计算效率。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
全部0条评论
快来发表一下你的评论吧 !