自从2012年第一个真正意义上的深度神经网络AlexNet以巨大的优势赢得ILSVRC2012比赛后,深度学习受到了越来越多的学者和企业组织的关注。2006年美国学者Hinton提出深度学习的概念,之后深度学习得到了进一步的发展,到现在深度学习在计算机视觉等许多问题上均取得了卓越的性能,国内外的大公司如谷歌、微软和阿里等公司正在大规模应用它们。但是由于深度学习技术对硬件资源有很大的要求,需要占用许多存储空间和计算资源,在现有的资源受限设备（如移动设备）上难以部署。因此,对深度网络进行加速和压缩,降低其对硬件资源和时间的消耗是当前学术界和工业界非常重要的研究方向。本文在此基础上,基于深度网络的压缩与加速提出了以下几种方法:1.本文针对神经网络压缩加速中量化方法中离散的量化层级难以训练导致精度下降的问题,改进软量化函数数学模型,使用sigmoid函数来逼近阶梯函数,降低了函数模型复杂性,使得原始网络在训练过程中可以无限逼近量化层级网络,达到了可以训练的目的,提高了精确性,实验后的结果表明这种方式取得了和最新的量化网络相近的准确度。2.接着,本文进一步解决原始网络训练逼近量化网络训练时间的问题。由于在最小化损失函数的时候会面临高方差震荡的问题,导致网络训练时间冗长,我们通过优化相关方向的训练和弱化无关方向的震荡,来加速随机梯度下降算法的训练,这种方法将在求解损失函数的梯度时,加入一个更新向量的分量β来加快损失函数收敛,在神经网络在训练的过程中,加速了网络收敛的速度以及减小了损失函数不收敛的概率。3.最后,本文进一步优化了量化神经网络前向传播的时长问题,针对量化网络优化了卷积操作的运算过程,提出利用位操作替代矩阵乘法操作的方式来来提升神经网络在前向传播时的速度并通过实验结果证明了所提方法的有效性。