深度神经网络二值量化方法研究.pdf

深度神经网络二置化方法研究

摘要

，且理过中执

包庞大的参数量在推程需要行

深度神经网络通常含

容量和算带来了极大的挑战。

量算，这对硬件部署平台的存储力

大的计

在源受的移动和嵌入式设备上发挥深度神经网络的优势，通

为了资限

二

经网进轻量化压缩。量化通过将模型

常需要对庞大的深度神络行

的权和激活直接量化为Ｉｂｉｔ的＋１或－１，可以大幅减少模型的参

一

。

量计开销，己经成为种令人瞩目的模型轻量化手段然而，

数和算

一二

二经在度下降严重的问题，为了进步提升

当前神网络仍然存精

二经络工原理练

神经网络的精度，本文深入分析了神网的作和训

二束跃迁的

过程，优化了神经网络的基本结构并提出权约和权

工：

训练优化方法。具体研究作如下

重影。

１．二神经网络中的基本结构对模型的精度存在要的响

用二神经网络基本结构，针对现有二神经网络中

析常的

本文分了

、、达能力等问题进行了改进。具体包

存在的结构冗余梯度消失表弱

ｔ

括删除了非必要的特征图缩放操作，提出了Ｒｅｐｅａ的通道升维方法，

Ｂｔｈ

ｈｒｔｕｔａｃ