【摘 要】
:
卷积神经网络(CNN)在众多领域的性能表现令人印象深刻。然而,深度神经网络的参数量和计算量越来越大,其对计算能力的要求也就越高,这极大地阻碍了神经网络在移动端的应用。因
论文部分内容阅读
卷积神经网络(CNN)在众多领域的性能表现令人印象深刻。然而,深度神经网络的参数量和计算量越来越大,其对计算能力的要求也就越高,这极大地阻碍了神经网络在移动端的应用。因此,目前出现了多种模型压缩算法,包括低秩分解、知识蒸馏和网络剪枝等。但是以上所提及的压缩算法还存在很多不足和问题:(1)卷积神经网络是多层结构,在进行低秩分解时没有考虑到每一层参数冗余度的差异性,因此亟需一种可靠的方法为每一层分配合适的低秩rank;(2)深层网络使用知识蒸馏进行压缩时,梯度消失现象严重,导致浅层参数无法被学习得很好;(3)在网络剪枝过程中,亟需一种为非压缩领域专家而设计的全自动、高效的剪枝比率分配策略。针对以上出现的问题,本文对低秩分解、知识蒸馏和网络剪枝进行了深入地研究,并将三种压缩算法灵活应用于人脸识别模型上。本文的主要研究内容包括:(1)提出了基于低秩自动分配的低秩分解压缩算法,解决了当前低秩分解压缩算法工作中,未充分考虑每层冗余度差异性所造成的参数压缩不彻底问题,在公开数据集Birds-200上实现精度无损压缩VGG-16网络48倍;(2)提出了基于局部与全局知识融合的三网络知识蒸馏技术,解决了卷积神经网络经过低秩分解压缩后所造成的精度下降问题,在公开数据集Birds-200和ImageNet2012上相比主流基线算法精度提升了 1.23%~3.27%;(3)提出了两种对非专业人士友好的网络剪枝策略,解决了网络剪枝中计算量压缩比率难以确定的问题,并在公开数据集CIFAR-10上详细对比了两种策略,分析了各自的优缺点。基于以上研究内容,本文设计并实现了基于压缩模型的人脸识别Web系统,将以上三种互补的压缩算法灵活应用于人脸识别模型,验证本文所提出的算法的有效性。参数量和计算量少的神经网络模型可以大大节省资源。如果神经网络能够以很小的性能损失部署在移动设备上,它将创造出不可预测的价值。
其他文献
在铸件生产过程中,由于各种生产原因导致铸件自身会产生缺陷,铸件的缺陷检测目前主要还是通过人工识别来进行检测,但有的缺陷人工识别并不适用,比如隐裂等。但是通过吸附磁粉
我国是全世界镁资源矿产储量最为富饶的国家之一,是目前全球最大的镁资源生产和出口国,加之镁的低密度,高比强度,高的电磁屏蔽性等优异特性使得镁合金在当今工业发展中的优势逐渐体现出来,从而引出我国变资源优势为产业优势和经济优势的战略。镁合金的发展前景广阔,与其他系列镁合金相比,Mg-Al系合金有着更加优异的力学性能及耐腐蚀性能,本文以AZ80作为基体合金,利用金相观察,扫描电镜,能谱检测,X射线衍射仪,
我国新生代员工已经开始成为企业发展的主力军。在我国人口资源发展的现实背景下,对新生代人力资源展开系统研究是十分必要的。已有的研究中,大多数对这一群体的的探讨主要是集中在员工绩效与满意度等方面,而对于这新型员工个体社会责任感并不多。并且基于社会交换理论,用归因来解释这一群体的个体社会在责任影响组织行为尚未被充分研究。本文重点研究在社会交换和社会认同理论下,通过实证分析新型员工的个体社会责任感对组织行
土壤墒情预测是农业发展的重要内容之一,对于实现作物的增产增收、提高作物经济效益方面具有重要的意义。本文采用深度神经网络算法对土壤墒情进行预测,合理控制水分供给,实现茶园灌溉用水的科学供给。土壤墒情是具有时间序列非线性属性的一种数据。目前,对于时间序列应用较多的是循环神经网络(RNN)。从原理上讲,长短期记忆网络(LSTM)善于发掘时间序列数据间的非线性关系,适用于土壤墒情预测问题。为此本文主要研究
随着社会快速发展,人们越来越重视车辆的乘坐舒适性。广西某公司生产的低速载重货车以承载能力强、动力足等特点得到广泛使用,但因其在正常工作时驾驶室的振动相对剧烈,这严
中国书法文字众多,不同字体特点鲜明,早先的人工书法文字识别需要对相关人员进行专业的训练,给书法文化的普及带来了困难。随着人工智能技术的发展,人们开始利用机器学习算法实现自动化的书法文字识别,汉字字体识别(CCFR)和汉字字符识别(CCR)技术已经被广泛应用到各个场景。然而,在某些特定场景下(如书法教学、书法评价),同时需要书法的字体以及文字内容信息,目前还没有研究通过将两种书法识别任务进行关联来实
随着现代技术和工业文明的到来,技术对人类社会生产生活的影响日益加深,越来越多的因素也会影响着技术的发展,例如技术系统的复杂性、技术主体的风险意识淡薄等因素甚至会诱发技术风险。而技术风险对生态环境所造成的威胁也在日益凸显,例如生态环境恶化、生态危机频发,生物大量灭绝等,这也对人类自身的未来发展和生活环境产生负面影响,因而有必要去有效解决技术风险相关的问题。本文通过从多方面剖析技术风险的成因,审视科学
脱贫工作是党和政府的重要政治任务,也是它们人民性的集中体现。中共十九大报告指出,“让贫困人口和贫困地区同全国一道进入全面小康社会是我们党的庄严承诺,我们要坚决打赢脱贫攻坚战,确保到2020年我国现行标准下农村贫困人口实现脱贫,贫困县全部摘帽,解决区域性整体贫困,做到脱真贫、真脱贫。”作为将精准扶贫政策落实到贫困对象“最后一公里”的最基层的政权组织,乡镇政府是脱贫工作的中坚力量,承载着落实精准扶贫政