【摘 要】
:
深度卷积神经网络在计算机视觉的各个领域取得了突破性的进展,然而部署这些网络却需要大量的存储和计算成本,这阻碍了它们在物联网和智能手机等资源受限设备中的应用。网络压缩与加速技术应运而生。它通过减少网络中的冗余来实现网络参数的压缩与计算的加速。但是现有的网络压缩与加速方法发展还存在识别冗余能力不足、依赖大量训练数据、算法间结合性不够等问题。针对这些问题,本文总结现有各种卷积神经网络压缩与加速方法的优缺
论文部分内容阅读
深度卷积神经网络在计算机视觉的各个领域取得了突破性的进展,然而部署这些网络却需要大量的存储和计算成本,这阻碍了它们在物联网和智能手机等资源受限设备中的应用。网络压缩与加速技术应运而生。它通过减少网络中的冗余来实现网络参数的压缩与计算的加速。但是现有的网络压缩与加速方法发展还存在识别冗余能力不足、依赖大量训练数据、算法间结合性不够等问题。针对这些问题,本文总结现有各种卷积神经网络压缩与加速方法的优缺点并对其中的关键技术进行研究,分别提出相应的解决办法。具体地,本文的研究内容和主要贡献如下:(1)提出一种基于特征相关性分析的通道剪枝算法。本文通过研究发现,在现代卷积神经网络中存在两种等价变换,这两种等价变换可以改变网络中参数的幅度而不影响其实际作用。传统基于参数幅度的剪枝方法不能很好地识别网络中的冗余。对此,本文从特征相关性的角度出发重新思考剪枝问题,提出一种基于特征相关性分析的卷积神经网络通道剪枝算法。该算法使用剪枝前后卷积输出特征图的互相关系数来评估剪枝所导致的信息损失,并由此导出一种方差比形式的卷积通道重要性判别指标。该指标避免了网络中无关参数尺度的影响。它可以从特征相关性的角度解释并且易于计算。在基准数据集上进行的广泛不同架构网络的实验证明了该算法的有效性和泛化性。(2)提出一种小样本卷积神经网络压缩与加速算法。虽然前述剪枝算法可以有效地识别网络中的冗余,但是它与当前大多数的网络压缩与加速算法一样,需要大量的训练数据。然而,由于隐私、版权、存储等问题,充足的训练数据并不总是可得。为此,本文提出一种基于特征复用和增强知识蒸馏的小样本卷积神经网络压缩与加速算法。该算法只需要少量无标签样本便能充分地压缩网络。具体地,该算法首先从局部上复用原网络的主要特征图来建立压缩后的网络原型,然后从整体上使用增强后的少量样本探测原网络的输入输出结构来进一步细化已建立的网络原型特征。在基准数据集上进行的大量实验表明了该算法的有效性。它可以在只利用不到0.5%训练集样本的情况下获取与使用全部训练集样本相当的压缩结果。同时,该算法也具有较强的鲁棒性,支持使用来自其他相似数据集的少量无标签样本来压缩网络。(3)提出一种联合多系统方法的卷积神经网络压缩与加速框架。针对现有的各种网络压缩算法独立使用以及缺乏实际测试、验证等问题,本文依托浙江大学玉泉校区食堂中餐菜品识别实际场景,设计出一个一体化卷积神经网络压缩与加速框架。该框架有机地将剪枝、知识蒸馏、量化等算法融合在一起,实现对卷积神经网络最大程度的压缩。在对该校区食堂中餐菜品识别网络的优化问题上,该框架最终实现其在移动端30倍左右的模型大小压缩以及9倍左右的计算速度加速。
其他文献
碳排放权交易促使企业通过碳市场对碳排放配额进行公开交易,是促进企业低碳发展的一种市场激励型环境规制手段。波特假说认为,合理而严格的环境规制可以推动企业进行技术创新;这会改变企业的人力资本结构,最终影响企业劳动收入份额。本文以碳排放权交易试点政策为外生冲击,运用双重差分模型,探讨了碳排放权交易对企业劳动收入份额的影响及作用机制。研究发现:(1)碳排放权交易有助于促进企业提升劳动收入份额;(2)当碳市
随着我国社会经济的整体发展,我国高层建筑的建设也呈现逐蓬勃之势。高层建筑对于区域经济发展,以及国家经济发展来说都有着重要影响。国家针对高层建筑的硬性要求也更多更严,为了实现高层建筑的高品质建设,就需要对技术质量进行管控,以确保技术质量能够达到工程整体要求。本文就针对高层建筑土木工程技术质量控制进行分析,并提出了具有可行性的具体措施,以期高层建筑土木工程的施工质量能够得到整体提升。
我国共同富裕理念既源于马克思恩格斯对未来社会的设想,又源于中国共产党对共同富裕的百年探索历史,是不同于西方福利国家的社会主义发展模式。数字经济在推动物质生产方式变革、促进社会分配格局优化和促使个体生活方式变迁为我国共同富裕赋能的同时,仍面临数字平台垄断逻辑与我国共同富裕价值取向相悖、过早去工业化导致产业结构升级支撑力不足、就业结构动态调整引发低技能者结构性失业、数字劳动者主体性抑制及隐性异化劳动等
目的:探究不同植物等级的52种中药多糖的单糖组成和含量的差异;以贝母属药材为例的多糖-单糖-寡糖分析相结合的整体质量评价研究。方法:(1)采用水提醇沉法对52种中药多糖进行提取,并使用苯酚-硫酸法测定总糖含量;然后,采用UPLC-LTQ-Orbitrap-MS进行单糖组成分析和基于LC-MS/MS建立酸、碱体系的17种单糖含量测定方法对52种中药多糖水解后单糖进行测定;(2)贝母属药材多糖采用HP
随着电网改革的深度进行,传统电网已经向集传统电力网络和众多先进技术于一体的智能电网转变。电网规模不断扩大的同时,其复杂程度和不确定性不断增加,电网的动态稳定性问题更为突出。低频减载是保证电力系统频率稳定的重要手段,在系统频率达到启动阈值时,应准确可靠切除对应负荷,防止频率持续跌落造成系统瓦解。传统低频减载基于离线整定,减载参数确定后,就不随具体故障而改变,随着电网不确定性的增强,难以适应不同工况。
在我国高等教育普及化发展阶段,提升本科生的跨文化敏感度成为现实之需。调查中国和新加坡四所高校的本科生跨文化敏感度状况发现,不同留学经历对中国本科生跨文化敏感度有显著影响,但对新加坡本科生无显著影响;新加坡本科生在跨文化敏感度及其子维度得分上均显著高于中国。究其原因,主要有三个:新加坡大力支持学生跨文化学习与交流;注重强调提高师资、课程的国际化水平;重视在多元文化基础上实施跨文化教育。因此,为提升大
为有效解决京雄城际铁路大体积混凝土结构物易开裂问题,通过基于BIM技术的大体积混凝土温控系统对大体积混凝土结构物进行热工计算和相关方案设计,过程中对混凝土结构物的各部位温度、内力进行实时监测,调整冷却水的温度,现场试验结果表明,通过大体积混凝土自动温控施工技术研究,可以有效解决大体积混凝土结构物易开裂的问题。
目的:分析关爱帮扶综合干预模式在抑郁症患者中的干预效果。方法:选取三明市台江医院92例抑郁症患者作为研究对象,全部患者利用随机数表法分为对照组和观察组,每组46例。所有患者均给予常规药物治疗,另外对照组加用常规护理干预治疗,观察组加用关爱帮扶综合干预治疗。比较两组患者治疗前和治疗后1个月、2个月及4个月后的抑郁程度[汉密尔顿抑郁量表(HAMD)]、焦虑程度[焦虑自评量表(SAS)]及睡眠质量[匹兹
在乡村振兴战略背景下,乡村旅游面临前所未有的发展契机,同时也肩负振兴乡村经济的战略任务。河北省乡村旅游经过多年政府扶持和自主发展已经具有良好的发展基础,但是依然存在品牌不响、品质不优、品类不丰等问题。针对当地乡村旅游发展现状,本文基于增长极理论提出乡村旅游点状突破战略,归纳其内涵与重要意义,最后探讨点状突破战略的实施路径,即瞄准需求市场,选择战略发力点;政府宏观调控,牢抓基础建设;加强品牌塑造,引