基于位量化的深度神经网络加速与压缩研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:mikelau1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自2012年第一个真正意义上的深度神经网络Alex Net获得了Image Net的最终优胜,越来越多的学者和企业组织开始关注深度学习领域。深度卷积神经网络的实质是通过多次卷积池化操作学习外部输入信号的不同层面的特征表达,再将学习到的特征表达作为最后的非线性分类器的输入作最终的预测。深度网络的优点是可以利用非监督的方式让神经网络本身更好地学习特征抽取的方法,从而代替人工特征抽取。目前,深度神经网络在计算机图像、自然语言处理、文本分析、音频处理、信息检索等领域都取得了令人瞩目的成绩,但同时深度网络在实际应用中也存在一些缺陷和限制。比如,深度神经网络庞大的计算需求和本身模型参数过多导致的内存存储空间消耗等问题。当计算资源和硬件条件良好时,以上问题可以通过外部条件来解决。但在某些硬件条件受到限制的设备上(如移动设备),普通深度神经网络的可行性将会大幅降低。针对深度网络的这一局限,在本文中我们提出了位量化神经网络来加速网络运算过程,并针对量化参数的离散特性对模型大小进行压缩处理。本文的主要工作包括以下几点:1)对神经网络正反向传播的数学过程进行分析和推导,证明了利用位操作代替乘法运算来加速神经网络的有效性;2)提出了一种具有创新性的位量化神经网络模型,优化了卷积操作的运算过程,并在本文中详细介绍了位量化网络的训练和推断的操作细节;3)对位量化参数特性进行分析,利用量化参数的离散性对模型进行压缩,实验数据证明位量化网络在保证性能的同时将存储空间压缩至原本模型的10%左右,并且节省了50%~75%的网络运行内存空间;4)最后,通过实验数据证明了位量化网络在加速和压缩了网络模型的同时还保证了性能,位量化网络能够获得与全精度网络模型相近的准确度。总体来说,本文对传统的深度神经网络传播过程进行了详细的分析和优化,并通过理论推导和实验数据证明了提出的量化网络的有效性。
其他文献
在医院污水站的运营过程中通过采用一些技术改革措施来达到降低污水站设备故障率、减少运营成本和节能减排双赢的目的。
以某市的桥梁桩基施工为例,对旋挖钻施工技术进行分析。
<正> 改革开放以来,政府对价格&#39;管与不管&#39;&#39;多管与少管&#39;&#39;物价机构要与不要&#39;等问题,在社会上一直存在争议,要解决这些争议,必须要明确市场经济条件下
【目的/意义】高校网络舆情是高校人员通过互联网表达个人思想、诉求个人利益所表现的网络行为,是网络舆情在高校的延申和体现。然而,网络上的不良信息包括网络暴力、网络过
目的:探讨实验室诊断在急性冠脉综合症早期诊断中的意义。方法:采用化学发光法测定68例冠心病(CHD)患者及40例正常对照组超敏C反应蛋白(hs-HS-CRP)、心肌肌钙蛋白I(cT-nI)、
目的:观察中医辨证治疗肠易激的疗效。方法:将门诊90例肠易激患者随机分为两组,治疗组65例辨证中药治疗。对照组谷维素加四神丸治疗,半个月为一疗程,两个疗程后统计疗效。结
在我国当前精神文明建设工作开展推进的过程当中,做好基层公共文化服务体系的有效构建工作,这是推进相关工作开展的一个必要的举措。我们应该结合实际情况做好当前基层公共文
<正>2019年7月30日,中共中央政治局召开会议,分析研究当前经济形势,部署下半年经济工作,对财政政策、货币政策、体制改革、对外开放、金融改革等方面提出了多项政策指导。其
道路扬尘是城市大气颗粒物主要来源之一,本研究采用降尘法监测北京道路扬尘并分析降尘排放特征。对北京不同类型道路共40条,每条道路布置2个降尘监测点,并对背景降尘值进行了
景区最大承载量制度有利于旅游资源、旅游者正当权益的保护和社会稳定。景区最大承载量应当由具有资质的机构测算,并由景区主管部门核定,且应依据客观情况而变更,景区对核定