基于剪枝的深度卷积神经网络加速研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:whbniuniu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
通道剪枝在卷积神经网络加速中有着广泛的应用,但如今已经遇到了瓶颈,主要源于两处挑战:1)对冗余性准确而直观的测量;2)模型卷积层之间的依赖性使得冗余性动态变化,如何对此建模。为此,本文首先引入了dropout技术,其中包含一个dropout rate的参数,表达了在训练中丢弃通道的概率。考虑到传统dropout难以优化,本文推导出了高斯dropout,使得dropout rate可以在贝叶斯框架下像模型参数一样被更新,继而模型可以自动学习到对自身冗余性的判断。其次,本文将卷积层上dropout噪声建模为随卷积层延展的马尔科夫链(Markov Chain),并将dropout噪声的后验分布作为反应层之间依赖关系的工具。考虑到此后验分布的闭式解不可达,本文推导出一种类Dirac的诱导稀疏性的先验,这种先验可以使得在贝叶斯推断的优化过程中,dropout噪声的分布自动向所求的后验分布近似。本文还证明了与已有的研究相比,对层间依赖的建模在理论上可以得到更普适的解,并且时间上未引入额外的开销,相反地,随着逐层推断,冗余的通道会被更新到较大的dropout rate,并被轻松识别、剪枝。本文将这种基于贝叶斯框架逐层剪枝的方法称作递归贝叶斯剪枝(Recursive Bayeisan Pruning,RBP)。在主流模型上的实验显示RBP达到或超过了剪枝领域的前沿水平。虽然RBP在纵向对比上展现出了有效性,但是本文发现对于残差网络,剪枝的加速对象会受到限制,因为主干与旁支的输出通道需要强对齐。幸运的是,另一种加速策略,低秩近似(Low Rank Approximation)不受这个因素的影响,只是已有的低秩近似尚未很好地解决秩的选择问题,但这恰好与剪枝中通道选择是类似的。因此,本文受到启发,提出剪秩框架(Rank Pruning Framework),使得剪枝可以应用在低秩近似场景下。具体地,每个卷积层在训练前先分解为两个卷积因子的堆叠,使得秩的选择等价于通道的选择,继而,几乎任意剪枝算法都可以得到应用,在剪枝的过程中自然就降低了秩的大小,起到加速的作用。诸多对于残差网络的实验证明了PRF能够结合剪枝与低秩近似的优势,在速度与性能之间找到更好的平衡点。
其他文献
实时的厚度检测对于易磨损的器件工作状况的监控具有十分重要的意义。尽管现有的厚度检测设备如激光厚度传感器、超声波厚度传感器、电容式厚度传感器等可以用于常规的厚度测量,但是由于其具有庞大的体积、刚性的探头以及昂贵的价格限定了其在复杂工况下的应用以及大范围的推广。印刷电子作为一个新兴的领域在近些年快速发展,由于其具有成本低、易于制造、体积小、与柔性基板高度兼容等优点,在学术界和工业界受到广泛关注。纳米银
随着工业机器人在汽车制造、机械加工、焊接、上下料、磨削抛光、搬运码垛、装配、喷涂等领域的应用和发展,传统的工业机器人在线示教已经很难满足现代工业生产加工的需求。为了满足现代工业准确高效的生产需求,研究人员越来越重视机器人离线编程技术。离线编程能够有效提升实际生产环境中的编程效率和工作效率,是一种面向任务的编程方法。本文针对MARK III型LNG船用不锈钢多面体工件对机器人的螺柱焊和弧焊的离线编程
细胞检测一直是生物学探索的重要步骤,在传统的生物学中,对于细胞的检测的手段有流式法,免疫荧光细胞化学染色法,Elisa盒子检测,传统的检测方法具有周期长、费用高、过程复杂等问题。基于细胞的生物传感器在水的毒性和质量检测、微生物药敏分析、癌症研究、临床和卫生保健、食品科技与食物安全、药物及药理研究等方面也具有重要应用。同时,电容传感器一直存在着电场分布不均匀,精度方面难以保证。传感器表面吸附细胞通常
蛋白质-蛋白质相互作用(Protein-protein interaction,PPI)是其行使各种生理生化功能的基础,蛋白质互作研究对了解细胞功能的分子机制有着重要意义。目前,已有许多实验方法用于蛋白质互作检测,但实验手段通常费时费力,且实验解析仍停留在少数几种模式生物上。因此,发展一种新的蛋白质互作预测方法,从已有数据中学习蛋白质互作特征,再应用于园艺作物实现跨物种蛋白质互作预测,这无疑将加速
医疗图像分割被广泛地认为是后续医疗图像处理中最重要的一个步骤,能大幅提高医疗诊断的效率和准确性。然而,纯手工的医疗图像标注成本非常高,一方面医疗图像大多是3D的,其标注需要耗费大量的时间资源,另一方面标注需要专业的医生,且其准确率与医生的经验密切相关。随着近几年卷积神经网络的快速发展,自动分割大幅提升了医疗图像分割的效率。然而在实际诊疗应用中,现有自动方法的精度和鲁棒性仍有待提高。为了得到一个更佳
板坯叠轧是目前国内外生产复合板的一种新的制造工艺,具有板材质量高、组织均匀、性能稳定等多种优点,在核电、石油化工、输送管道等领域具有广泛的应用前景。常规情况下采用的大坡口手工电弧焊焊接效率低,人为因素影响大,焊接质量不稳定。因此,采用机器人自动焊接是组坯成形技术规模化应用的必然趋势,而横向窄间隙坡口的多层多道焊道规划是其中一项非常重要的关键技术,目前主要存在以下几个问题:(1)缺乏基体金属支撑造成
全景视频作为传统视频与虚拟现实的结合产物,近年来获得了学术界和产业界的广泛关注。由于全景视频中包含了整个空间场景的画面,其数据量将远高于传统视频,这给全景视频的传输和分发提出了新的挑战。一些研究者针对一对一的全景视频传输场景提出了视区自适应传输模型。这类模型将根据用户的观看视角对全景视频画面的不同区域进行选择性传输,从而降低了全景视频传输的网络带宽需求。然而,对于多个用户的全景视频传输场景,现有的
随着深度卷积神经网络(DNN)在各种计算机视觉任务中的成功应用,人们希望通过设计出更深或更广的网络结构,来超越已有的经典方法,获得更佳的应用效果。绝大部分流行已久的经典卷积网络,都需要依赖数十兆字节的权重存储和数十亿次的浮点运算,才能进行一次前向推理,这使得它们难以广泛部署在资源受限的边缘设备上(例如手机、摄像头等)。量化被认为是满足终端设备对内存苛刻要求的最有效方法之一。然而,大多数量化方法将相
随着近二十年来互联网技术的不断发展,网络攻击的数量不断增长,种类也日益繁多。在近些年来,作为互联网的重要接入点--网页(Web)应用在安全性方面也面临着越来越严峻的挑战。同时,作为机器学习的一个子类--深度学习在最近十年中也有了跨越式的发展。深度学习的方法被广泛应用在Web攻击的检测中。然而这些研究仅仅将关注点放在了如何使用深度学习的方法提高在特定数据集上的检测准确率,而没有深入探究Web应用中产
三维数据有着广泛的应用,比如自动驾驶、机器人、游戏等。和一维信号与二维图像相比,三维数据往往缺乏规则的空间结构并且对旋转鲁棒性有着更高的要求。近年来许多研究这从以上两点出发设计了适合三维数据的深度学习方法,极大地提高了三维数据分析的性能。三维旋转是一种重要的三维数据表达形式,可以更直接地表达三维空间中的相对关系,例如人体骨架关节的旋转,物体在三维空间中的姿态等。相比于点云数据,三维旋转有着独特的群