【摘 要】
:
卷积神经网络(Convolutional Neural Network,CNN)是深度学习领域最重要的神经网络之一,被广泛地应用于图像处理和目标识别等方面。随着卷积神经网络层数的不断加深,结果不仅没有变得更好,反而出现了网络退化的问题。为了解决这个问题,He Kai Ming提出了残差神经网络(Residual Neteork,ResNet)。通过在网络中的不同层之间进行残差连接使得网络更容易实现
论文部分内容阅读
卷积神经网络(Convolutional Neural Network,CNN)是深度学习领域最重要的神经网络之一,被广泛地应用于图像处理和目标识别等方面。随着卷积神经网络层数的不断加深,结果不仅没有变得更好,反而出现了网络退化的问题。为了解决这个问题,He Kai Ming提出了残差神经网络(Residual Neteork,ResNet)。通过在网络中的不同层之间进行残差连接使得网络更容易实现恒等映射,从而改善网络退化。由于ResNet神经网络都是层数很多的深度网络,如果使用通用处理器CPU进行计算,时间太长效率太低;如果使用GPU进行计算,在成本和功耗上难以达到最优,因此专用硬件加速器的研究有着重大意义。在数字集成电路的研发过程中,验证是耗时最长的关键环节,因此高效验证技术的研究也是必不可少的。本文首先阐述了卷积神经网络的基本原理、深度网络退化的原因、为了解决该问题而引入的残差结构以及借此发展出的ResNet神经网络。然后讲解了通用验证方法学(Universal Verification Method,UVM)的基本机制,包括验证平台结构和事务级通信机制(Transaction Level Model,TLM)。随后本文对ResNet算法进行了详细的分析,对每一个关键计算步骤都提出了相应的硬件优化设计方法:使用通用矩阵向量乘法(General Matrix-Vector Multiplication,GEMV)优化卷积计算;通过GEMV加法阶段引入残差数据优化残差计算;通过计算权重地址优化权重矩阵所需要的存储空间;通过复用卷积计算单元来实现池化计算,提高硬件利用率。随后本文讲解了ResNet神经网络硬件加速器指令集的设计,整个加速器系统的架构设计,以及使用硬件描述语言System Verilog对所有子模块和子系统进行的详细设计。随后本文讲解了验证工作的流程以及为提高验证工作效率而开发的UVM验证平台自动生成器,并使用该自动生成器创建所有模块级验证平台,依序完成了所有子模块的验证工作。得益于UVM验证方法学优秀的可重用性,通过集成复用子模块验证组件的方式完成了系统级验证平台的搭建,然后使用了一个三层的残差卷积神经网络对其进行测试并完成了系统级验证。接下来使用Pytorch和Image Net搭建并训练了一个ResNet-18神经网络,将其映射到硬件加速器上,并使用真实数据进行仿真测试,经过数据比对,硬件加速器的计算结果符合预期,与软件的实现相同。最后比较和分析了硬件加速器、CPU、GPU和FPGA的ResNet-18计算时间,证实了硬件加速器的可行性和计算效率的优越性,达到了预期目标。
其他文献
各向异性磁阻传感器基于各向异性磁阻效应,包括线性传感器和接近开关传感器。其中各向异性磁性开关传感器由惠斯通电阻桥构成敏感单元,与电路集成在单芯片中,为替代进口芯片,优化开关性能。本论文首先介绍了各向异性传感器历史进程、国内外发展动态以及做开关芯片的依据及价值;接下来简单介绍了各向异性磁性传感器开关芯片的整体电路设计,简述了两个单元模块工作方式及原理。之后在原电路的基础上,对电路进行了原理上的优化,
台风是人类所面对的最严重自然灾害之一。准确估计台风风速(或台风强度)可以帮助人们更有效地进行灾害预测和管理,减少其带来的大量损失。传统台风风速估计方式需要使用搭载风速仪的器具(气象浮标,飞机,船舶等)进行现场测量,难以长时间对广阔海洋区域进行观测且成本过高。卫星遥感探测仪器可以不受气候影响地对台风进行持续观测,但现有方法无法对卫星遥感数据进行有效处理,导致台风风速估计的精度较低。因此,准确台风风速
微波热声成像是一种非侵入式,非电离的生物医学成像技术,在近几年内得到快速发展。它结合了微波成像技术和超声成像技术的优势,提供高对比度、高分辨率和高穿透的成像能力,在乳腺癌、血管成像和脑成像领域均有广泛涉及。在微波热声成像技术中,图像重建算法是极其重要的一环,它直接影响了成像的效率及其结果的质量和可靠性。现有的经典重建算法往往需要在计算效率和重建质量之间进行权衡,并受到硬件设备和数据完整性的影响,产
一些热端部件具有结构复杂、空间狭小等特点而不易使用红外测温、丝式热电偶等常规测温方式进行温度测量,如高速转轴、航空发动机等,同时获取这些热端部件表面温度信息对于监测部件工作状态、热仿真验证等环节又至关重要。因此能够工作在较高温度区间,并且易于与异构部件集成的柔性薄膜传感器在上述极端环境下拥有重要的研究价值和广泛的应用前景。本文以复杂热端部件表面温度测试为研究背景,选取柔性哈氏合金基带作为基底,结合
在目前信息时代高速发展和科技水平发展脚步加快的趋势下,磁场传感器给人类生活带来了便利,提高了生产力的效率,在现代生活发展上也起到了显著的推动作用。在众多传感器中,基于各向异性磁电阻(Anisotropic Magnetoresistance,AMR)的角度传感器是目前在磁性传感器中研究的热门,因为其具备较高灵敏度,能在恶劣环境下工作,集成度高且成本低等优势。随着传感器制备水平的提高,目前商业化Ni
基于物联网技术发展的需求,磁传感器作为一种非接触式感知元器件,已日益不可或缺。其中,基于巨磁阻效应(Giant Magnetic Resistance,简称GMR)的GMR传感器因其尺寸小、功耗低、性能稳定、易于集成等优势,吸引着各国科研人员的广泛关注与研究。本研究针对目前巨磁阻单极开关开关场可调节范围小的问题,提出了双钉扎自旋阀结构,利用交换偏置场易于调整,以可调交换偏置场替代只能在较小范围内改
随着信息时代的到来,物联网技术越来越受到关注。磁传感器作为其应用中重要的载体之一,受到广大科研工作者的关注。磁传感器的压磁系数是一个关键指标,决定了其应用价值和范围,主要是由磁性材料的本征参数所决定。其中,磁电复合材料由于具有较好的磁电耦合特性而被作为磁传感器的磁敏组元。本论文主要研究具有良好的压磁系数的磁致伸缩材料及其与PZT压电陶瓷的复合手段,并对基于得到的磁电复合材料进行了磁敏组元的设计,从
在电磁理论中,格林函数表示单位强度空间某处的点源在一定边界条件下产生的响应(场量)。常用的具有解析形式的格林函数只有在一些特定的边界条件下才能得到,如自由空间格林函数或半空间格林函数等。对于更一般的复杂边界条件,格林函数只能通过数值方法求解得到,即数值格林函数。传统求解数值格林函数的方法包括有限元法、时域有限差分法和矩量法等。利用这些数值方法求解的数值格林函数一般表达为矩阵形式,其运算量与所需存储
近年来,由于声表面波(surface acoustic wave,SAW)传感器具有无线无源、体积小等特点被研究者们广泛关注。特别是在工业生产、航空航天等领域的极端恶劣如高温高压等环境中,SAW传感器拥有广泛的应用前景。但是,极端环境对SAW传感器的稳定性来说是一种挑战,目前成熟的SAW温度传感器最高能够工作在600°C左右,这还远不及上述应用场景下的要求。因此,需有必要研制一种能够稳定地工作于极
人工神经网络作为机器学习中的一个重要分支,随着深度学习的发展,在计算机视觉,自然语言处理等人工智能领域得到广泛应用,使用基于神经网络的方法在这些领域的表现已经逼近或超越人类。为了获得更加准确的决策,人们使用更大的数据集和更加复杂的网络结构,使得神经网络需要更长的训练和推理时间,传统通用芯片如CPU,GPU等显得效率不足。根据神经网络的特点在芯片体系结构上进行定制设计的专用芯片具有更高的效率,更加适