资料下载
×
单片广播调频收音机调谐器的资料说明
消耗积分:1 |
格式:pdf |
大小:0.71 MB |
2020-04-14
王光明
分享资料个
权值和激活二值化是一种有效的深层神经网络压缩方法，可以利用位运算加速推理。尽管许多二值化方法通过最小化前向传播中的量化误差来提高模型的精度，但二值化模型与全精度模型之间仍存在明显的性能差距。我们的实证研究表明，量化在正向和反向传播中都会带来信息损失，这是训练精确二元神经网络的瓶颈。为了解决这些问题，我们提出了一个信息保留网络（IR Net）来保留前向激活和后向梯度中的信息。红外网络主要依靠两个方面的技术贡献：（1）Libra参数二值化（Libra-PB）：在前向传播中通过平衡和标准化的权值同时最小化量化误差和参数的信息损失；（2） 误差衰减估计器（EDE）：通过逐步逼近反向传播中的符号函数，同时考虑梯度的更新能力和精确性，使梯度的信息损失最小化。我们首次从统一信息的角度研究了二进制网络的前向和后向过程，这为网络二值化机制提供了新的视角。在CIFAR-10和ImageNet数据集上进行的各种网络结构的综合实验表明，所提出的IR网络能够始终优于最新的量化方法。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉
评论(0)
发评论
- 相关下载
- 相关文章
