近年来,随着深度学习的快速发展,各种不同类型的深度神经网络在计算机视觉、自然语言处理以及无人驾驶等不同领域中取得了成功。为了提高深度学习模型的性能,网络模型结构越来越复杂,深度越来越深,使其在提高性能的同时也带来了巨大的计算开销和内存消耗。深度神经网络因其具有庞大的参数量及计算代价,使其能够运行在具有超强算力的大型服务器上,却难以运行在算力受限的移动设备中。针对以上问题,本文的研究重点是如何减少网络模型中冗余的参数,并保持模型的高精确率,以及如何将压缩后的紧凑模型部署到移动端中,设计并开发一款基于移动端的图像识别系统。为得到结构紧凑的网络,本文提出了一种基于变分自编码器的可微模型剪枝算法,利用变分推理来近似整个网络所有滤波器软掩码的后验分布,通过编码器学习得到概率性软掩码。与传统剪枝方法中的确定性软掩码不同,概率性软掩码可以动态感知不同的样本数据对滤波器重要性的影响,因此使用概率性软掩码比确定性软掩码来表示滤波器的重要性更加可靠,对网络的精度影响更小。此外,为有效解决现有方法难以找到合适阈值的问题,本文使用两极化正则化将概率性软掩码推向0或1,不需要人为选取阈值,从而可以直接安全地删除软掩码接近0的滤波器。同时,在剪枝过程中不依赖真实标签,通过最小化基线网络和剪枝网络输出特征之间的差异来优化网络参数。本文在CIFAR-10和ImageNet数据集上对VGG-16、ResNet以及MobileNet V2进行了滤波器剪枝的实验,实验结果表明本文提出的算法比现有方法性能更优。例如,在ImageNet数据集上ResNet50可以减少65.91%的浮点运算（Floating Point Operations,FLOPs）,而模型精度仅下降了 0.7%。为验证本文所提方法得到的紧凑型网络在移动端的部署效果,将剪枝后的模型通过NCNN框架部署到安卓手机上,设计并开发了一款能够读取本地图像、预测图像标签、显示识别精度的手机端图像识别系统。此外,还分析测试了系统的稳定性、准确性、响应速度以及对手机硬件性能的影响,例如CPU占用率、内存占用率等。