论文部分内容阅读
随着卷积神经网络规模的不断增加,网络结构也越来越复杂,网络中冗余参数也越来越多,使得其难以在资源有限的设备上进行应用部署。因此,如何保证卷积神经网络精度的下降在允许范围内,通过对卷积神经网络模型进行压缩处理,得到一个稀疏的网络结构,并且减少计算量和所需内存,是一个具有重要意义的研究问题。本文主要针对卷积神经网络模型压缩的算法进行优化研究,具体工作如下:1.提出了一种基于最佳阈值的双重剪枝算法网络剪枝是一种通过删除模型中大量的冗余参数来对卷积神经网络模型进行压缩的技术。为了解决现有网络剪枝方法中用于控制稀疏率的阈值和判断节点的重要程度方面的不足,本文提出了一种基于最佳阈值的双重剪枝算法,该算法将节点的灵敏度和相关度作为重要程度的判断依据,并且利用贪心算法自动选择可以均衡最大稀疏率和最小误差的最佳剪枝阈值对网络进行剪枝,以此来达到模型压缩的目的。通过实验证明,该算法可以有效的降低网络参数,减少运行时间。2.提出了一种基于相关性丢弃的R-Dropout正则化算法Dropout是通过在原网络结构中随机删除部分节点,防止网络模型过拟合的正则化方法。随着卷积神经网络的规模不断增加,网络中线性相关性节点会随之增多,相关节点会形成大量数据冗余,影响算法执行的效率。基于此,本文把相关性的思想融入Dropout正则化方法中,提出了R-Dropout正则化方法,通过以一定概率删除部分相关性较大的节点,有效地限制了参数的数量。实验证明算法有效地提升了训练收敛速度,与原Dropout算法对比,在相同迭代次数等前提下,算法执行效率更高。3.提出了一种基于二分K-means聚类的参数量化方法二分K-means算法的出现弥补了传统K-means算法随机选取的初始聚类中心影响较大的不足,在对初始聚类中心的选取上比较严格,使得各聚类中心点的距离较远。该算法避免了初始聚类中心会被分到一个簇上,减少了算法陷入局部最优得可能性。通过二分K-means聚类算法对神经网络每层的权值进行聚类之后,将原始权值用得到的聚类中心表示,实现权值共享,本层的多个连接权值共享同一个权值。如此,K值远小于权重数量,达到了压缩的目的,并通过实验证明了该方法的有效性。