【摘 要】
:
深度学习中复杂的网络结构需要大规模的计算资源支持。在面积和功耗资源有限的移动端和嵌入式系统中,神经网络的层数和尺寸受到严格约束。随机计算作为一种新兴计算方式,有着硬件开销低、运算速度快、容错率高等优点。与传统二进制计算不同的是,随机计算是用随机比特流进行逻辑运算,其中比特流中数字1出现概率表征目标值。这种编码方式使得如乘法和加法等重要的算术运算,可以用简单的逻辑运算实现。因此,近年来随机计算在深度
论文部分内容阅读
深度学习中复杂的网络结构需要大规模的计算资源支持。在面积和功耗资源有限的移动端和嵌入式系统中,神经网络的层数和尺寸受到严格约束。随机计算作为一种新兴计算方式,有着硬件开销低、运算速度快、容错率高等优点。与传统二进制计算不同的是,随机计算是用随机比特流进行逻辑运算,其中比特流中数字1出现概率表征目标值。这种编码方式使得如乘法和加法等重要的算术运算,可以用简单的逻辑运算实现。因此,近年来随机计算在深度学习领域中得到越来越多的应用与研究。然而,随机计算的设计仍存在不少挑战。(1)随机数产生过程的总延时等于电路延时与随机比特流长度的乘积。随着计算精度的提高,比特流长度呈指数型增长。因此在高精度计算下,随机数产生过程存在高延时问题。(2)在基于随机计算的深度学习网络中,比特流的随机波动误差影响着矩阵乘法和激活函数运算结果的准确度,同时只能通过电路的近似估计来实现非线性激活函数运算。本文在随机数产生过程高延时问题上,采用并行架构的思路。并行电路增加的面积,可以通过将随机数产生源和加权二进制序列产生器的部分电路进行共用的方法来降低,即用相同随机数产生源产生不同输入的随机数,并将加权二进制序列产生器电路中相同输入和输出的电路进行合并。实验结果表明,本文的方法除提高乘法运算的精确度外,还减少了58.5%的面积延时乘积。本文用一种基于近似的并行计数器作为逆随机器,实现随机比特流转为二进制数的功能。这种并行计数器能有效改善电路的硬件开销。与其同时,本文采用基于伯恩斯坦多项式近似估计的可重构随机逻辑电路架构(Reconfigurable Architecture based on Stochastic Logic,Re SC)实现激活函数运算。实验表明,与基于有限状态机的神经网络相比,上述网络精确度更高,与传统浮点型神经网络精度误差更小。同时对随机数产生器电路优化后,网络电路的面积延时乘积降低了67.9%。
其他文献
航空大数据是现代航空工业领域的重要研究课题之一,基于机载传感器的大数据获取让统计分析、支持向量机和人工神经网络等多种数据挖掘和分析技术得以应用,为大飞机异常检测、状态分析等工作提供更多技术手段。大飞机试飞时间序列数据由加装在飞机各部件上的传感器采集得到,具有维度高、样本数量多、部分数据变化快、以及样本分布随飞行状态变化等特点。包含飞机在各种飞行状态下的信息,具备研究价值。传统的移动平均和自回归等预
近年来深度学习和以预训练模型为代表的迁移学习被广泛应用于自然语言处理。将通用语料预训练模型迁移到特定情感分析任务有基于微调的迁移和基于特征的迁移两种方法。以BERT为代表的基于微调的方法,针对目标任务对整个预训练模型进行微调。以ELMo为代表的基于特征的方法,将计算代价高昂的预训练模型与下游模型的训练分离,首先从预训练模型中提取上下文词向量,再用目标任务重新训练下游模型,这样减少了训练所需的计算资
近年来,过渡金属硫族化合物(TMDs)由于其特殊的电学、光学、力学、磁学和化学特性,加速了包括气体传感器在内各领域的研究与发展。在TMDs中,硒化钼(MoSe2)是一种新兴的半导体材料,在储能、场效应晶体管和润滑剂等方面研究已较为成熟,但在气体传感器特别是室温气体传感领域的应用还比较少。同时,室温气体传感器如何克服响应值低、恢复慢和选择性差等问题仍是具有挑战性的研究课题。本论文为了改善室温气体传感
地铁是现代城市出行的首选交通工具。为了最小化对地表城市景观的影响,大部分地铁线路位于地下隧道内。由于地下水的存在,墙面渗漏是地下隧道的常见病害。目前对隧道内渗漏点的检测仍然依靠线路维护人员步行巡道,该方法需要较高的时间成本与人力成本。由于城市地铁的运营十分饱和,地铁的日常维护任务繁重,迫切需要一种识别渗漏点的自动化方法,提高维护工作的效率。目标检测是计算机视觉领域的重要分支。传统的目标检测任务需要
随着物联网(Internet of Things,Io T)设备的普及,基于无线信号的精确定位技术近年得到了飞速的发展并在工业界催生了大量的智能应用。其中重要的应用有传送带上的产品排序和货架上的物体定位及盘点,这些应用都需要对目标物体进行精确的定位。作为物联网重要的支撑技术之一,无线射频识别(Radio Frequency Identification,RFID)技术已被广泛应用于智能工厂或仓库的
近些年来,计算机技术的发展与互联网的普及极大便利了各种生产生活活动,但是安全意识的缺失也为恶意代码的出现提供了必要条件。恶意代码检测成为了安全领域的热点问题,但是恶意代码使用的各种对抗技术也让检测与分析十分困难。在传统的针对加壳恶意样本的处理流程中,会先对加壳的种类与算法进行识别,再使用对应的脱壳算法处理,得到原始代码,再进行分析处理,这一过程中存在很多技术难点,耗时也较长。本文希望针对加壳样本的
应变传感器作为传感器领域重要的组成部分,在实际生活如城防建设,器械生产监测以及基础设施的预防和检查方面都有重要应用。同时随着柔性电子学相关领域的发展,应变传感器在人机交互、医疗健康、人体运动检测等领域有更加广阔的应用。目前市面上存在各种类型的传感器如电阻与电容型传感器,但是由于电源与连接线的限制,应变测量的场景受到诸多约束。同时应变测量的非一致性和高造价也极大地限制了它们的发展。声表面波应变传感器
三轴磁通门传感器具有精度高、稳定性好、可矢量测量等优点,在空间探测、姿态控制、地质勘探以及地磁检测中具有重要应用。现代微型卫星、无人机、车辆导航等新兴领域对三轴磁通门传感器提出了微型化、集成化、成本低的新要求。现有研究显示,通过MEMS工艺制备高精度的二维平面螺线管平行式磁通门传感器的技术手段已经非常成熟。但是,常规MEMS技术的限制使得很难使用同一技术路线实现Z分量器件的同步集成制造,因此三维磁
卷积神经网络(Convolutional Neural Network,CNN)由于具有表征学习的特点,被广泛应用于各个领域。近年来,随着卷积神经网络数量与规模的不断增加,基于现场可编程门阵列(Field Programmable Gate Array,FPGA)的卷积神经网络加速器快速设计方法已成为重要的研究方向。但是现有的设计主要针对吞吐率进行优化,整体延时通常较长,不能很好地满足实时应用的需
精确测量飞行器流场速度分布对分析飞行器的空气动力学性能及实现飞行器主动流动控制有着重要的意义。目前,随着小型飞行器的快速发展,迫切需要有可分辨0.01m/s空气流速变化,量程达到100m/s的宽量程、高分辨率,且体积小、功耗低、易集成的微传感器来满足其空气动力学测试需求。目前,市场上还没有性能可以满足上述要求且对流场干扰小的传感器可供使用。近年来,基于仿生学和MEMS(Micro-Electro-