近年来,深度神经网络在许多计算机视觉相关的任务中都取得了相当不错的成绩,但是随着解决的问题越来越复杂,现在的大多数神经网络模型都会需要较大的存储空间并且带来了高额的计算成本,这使得将网络部署在一些内存资源低和具有严格实时性要求的便携设备上变得困难。在过去的一段时间里,人们开始探索关于模型压缩和加速相关的问题,旨在不显著降低模型精度的情况下,能够大幅减少模型的参数量和计算量,使其能够部署在资源不足的设备上。在这样的背景条件下,本文对网络模型压缩进行了深入的研究,主要的工作内容如下:1.针对非结构性剪枝和结构性剪枝方法的不同,本文研究并实现了一种基于通道重要性的剪枝算法。在有关模型剪枝的算法中,一般都是对网络增加一些计算信息来评估卷积核或者特征图的重要性,用来判断我们需要保留或者舍弃的信息。而在本文中,通过网络BN层的缩放因子来作为特征图通道重要性的评价指标,选择不同的裁减比例来确定最优的剪枝阈值,把低于剪枝阈值的通道剪枝掉,而高于剪枝阈值的通道保留,由于特征图每个通道都是由卷积核通过卷积操作得到的,将通道对应的卷积核剪枝掉,得到压缩后的网络模型。本方法在VGG网络和SSD网络上进行了相关的实验,都在不显著降低模型精度的情况下,VGG网络取得了88.42%的剪枝率和1.94的加速比,而SSD网络也达到了76.67%的剪枝率。2.为了实现对网络的贝叶斯模型压缩,本文深入了解了相关的背景知识,从贝叶斯定理入手,将贝叶斯定理和神经网络相结合,体现出了贝叶斯定理对于实现模型压缩的重要性。由于引入贝叶斯的思想,就涉及到了后验概率的求解,而关于后验概率的求解往往是采用马尔科夫链蒙特卡罗方法（MCMC）和变分推断（VI）方法。MCMC与VI基于不同的思想来解决后验分布的求解问题,MCMC基于马尔科夫链采样来近似后验,而VI则是基于KL散度将问题转化为优化问题来近似后验。考虑到神经网络的训练本身就是优化问题,并且MCMC会存在计算困难,我们选择采用VI来计算后验分布。紧接着介绍了传统VI,由于神经网络参数不满足平均场理论,我们引入随机梯度变分推断,通过优化参数Φ求得最终的后验分布。3.针对网络参数的随机性和波动性,本文研究并实现了一种神经网络的贝叶斯模型压缩算法。首先在网络中引入了一个关键参数,为关键参数设计了特殊的稀疏先验分布并且通过变分推断引入后验分布,这样就构造好了贝叶斯网络模型。然后训练神经网络,由于先验和后验分布的特殊性,关键参数会逐渐偏向稀疏,最后通过可视化关键参数的分布来确定剪枝阈值对网络剪枝操作。贝叶斯模型压缩算法考虑到网络参数的随机性和波动性,使得压缩算法更具有鲁棒性。本方法在Le Net-300-100、Le Net-5、VGG和SSD网络上进行了实验,并且VGG网络取得了89.94%的剪枝率和2.52的加速比,和业内先进的压缩算法相比取得了最优的压缩效果。