基于忆阻器的神经网络硬件的研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:msdnolduser1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近几年来,忆阻器作为一种新兴的电子元件在非易失存储和神经仿生方面都有重要的应用。忆阻器是具有电容结构,能够被多次写入和非破坏性读取的二端器件,它是下一代存储器的有力竞争者。除了作为存储器件,忆阻器作为一种具有可调整状态的二端器件,与生物突触具有高度的相似性,基于忆阻器的大规模神经网络有望实现类脑计算系统,在生物神经仿生领域也具有很高的研究价值。神经网络已经具有几十年的研究历史,近年来由于深度神经网络的提出大大拓展了神经网络的应用领域,同时神经网络的能力也逐渐达到甚至超过人类水准,各种基于深度神经网络的智能设备逐渐进入人们的生活中。然而,神经网络也存在着对计算资源要求高,能源消耗大等问题。基于忆阻器的神经网络硬件是解决这些问题的可能方法之一。目前,忆阻器在神经网络中主要用于搭建突触,而利用忆阻器搭建神经元和神经网络的研究较少。忆阻器应用在神经网络时遇到的主要困难有:忆阻器的随机性、Crossbar结构阵列中的潜通路和串扰对模拟运算精度的影响、大规模神经元和突触的集成以及忆阻器和CMOS工艺的兼容性等。本文主要开展了忆阻器的特性及其在神经网络中的应用研究,并设计了一种基于忆阻器的存算一体神经网络加速器。主要成果包含以下三点:1.提出了一种基于忆阻器的脉冲积分型神经元和一种在线学习型突触,并完成了建模、设计和功能测试。脉冲积分型神经元采用忆阻器的电阻值保存膜电位,通过脉冲频率编码方式减轻了忆阻器随机性对神经元性能的影响,使基于忆阻器的神经元特性在统计意义上与神经元模型一致。由于基于忆阻器的神经元面积较小,相较于基于电容的神经元更容易大规模集成,适合搭建大规模的神经网络系统。在线学习型突触将突触前信号和突触后信号的时间差转换成幅度编码的脉冲,并通过脉冲调制忆阻器的电导,从而实现突触权重的在线更新。2.仿真、搭建和测试了基于忆阻器的Hopfiled网络和前馈型神经网络:基于忆阻器构建了Hopfiled网络,按照同步或异步的方式更新神经元状态,实现了单目标/多目标记忆和记忆的混淆,展现了类似大脑的联想记忆功能;提出了一种可实现在线训练的多层前馈网络,基于深度学习中的反向传播算法,通过幅度调制的前向传播信号和延迟调制的反向传播信号的叠加并作用在阈值型忆阻器上,完成了突触权重的在线更新,从而实现了网络的在线训练功能。3.仿真、搭建和测试了2种基于忆阻器的脉冲神经网络:提出了一种具有短时程可塑性Winner-Takes-All网络,通过突触形成神经元的兴奋性连接或抑制性连接,结合忆阻器电导和容性记忆回路,实现了突触的短时程可塑性,该网络展示了生物神经系统中“赢者通吃”模式的演化过程;提出了一种基于忆阻器的脉冲积分型卷积神经网络,在训练时通过删除负权重的方法使网络中的权重值都为正值,即网络中只有兴奋性突触,从而简化了突触的结构。该网络实现了手写数字的识别,达到了97.1%的识别准确率。4.设计了一种基于忆阻器无数模转换的存算一体神经网络加速器。通过1bit忆阻器的逻辑运算和行波计数器对字线的计数,在Crossbar阵列中实现了并行的乘累加操作,避免了在模拟域的运算,消除了存算一体神经网络的Crossbar忆阻器阵列中器件随机性、潜路径和串扰的影响,从而能够支持完整精度的神经网络算法。存内计算部分的功耗仅为318 m W。
其他文献
从2014年“双创”以来,我国新企业年登记数量屡创新高,创业活跃指数跃居全球主要经济体之首。各行各业创业活动方兴未艾,成为经济和社会发展的新引擎。然而,时至今日,我国的创业活动总体创新质量还有待提升,主要创新指标依然落后于发达经济体,甚至在关键核心技术领域受到发达国家的“卡脖子”限制。十九届五中全会提出“创新”在经济建设全局中的核心地位,把科技自立自强视为未来国家竞争力的战略支撑。作为科技活动与商
可延展柔性电子通过对无机功能薄膜进行力学结构设计,可在保持无机材料高电子学性能的同时使器件具有宏观的可变形、可延展等特性。可延展柔性电子器件因其兼备高性能和可变形等优点受到广泛关注,目前已用于可穿戴无线射频识别、可穿戴柔性传感器,柔性电池等领域。但作为一类新型的电子器件形式,可延展柔性电子器件中的一些关键科学与技术问题仍处于初步研究阶段,急需进一步开展相关研究。从器件制备的角度,可延展柔性电子器件
在分布式传感器网络中,每个节点通过与临近节点交换多目标后验分布并联合所有临近节点的信息进行融合。但分布式传感器网络中的节点因功能、配置时钟、探测范围等特性的差异,导致节点间往往无法在相同视域内的同一时间点探测到相同的目标信息,造成基于广义协方差交叉(GCI)和加权算术平均(WAA)准则的分布式融合算法失效。能否保证待融合信息所表征的目标信息一致,是保证时间异步和非同视域条件下的分布式融合算法有效的
资源分配问题是网络系统中一类重要的优化问题,而且已在传感器网络、智能电网和交通系统等领域得到广泛的研究。由于分布式算法能够有效克服由设备故障、外部扰动和通信延时引入系统中的不确定性,而且不需要一个中心结点去获得优化问题的完整信息,还能够有效地保护个体的隐私,这些优点使得分布式资源分配算法引起了学术界和工业界的广泛关注。本文利用图论、非光滑优化理论和拉萨尔不变原理等理论工具分别研究包含通信时间延时的
语音合成(speech synthesis,又名text-to-speech,TTS)是人机交互的重要方法之一,旨在合成清晰且自然的音频。语音合成的应用场景非常广泛,比如手机和个人电脑的语音助手、同声传译的语音输出环节、车载导航播报、新闻朗读等等。通过语音合成,可以解放用户的眼睛,使人能在“眼观”的同时还可以“耳听”,增加信息接收的带宽。最近,随着神经网络的快速发展,端到端的语音合成模型逐渐进入人
在这个信息网络高速发展的时代,神经网络作为现代人工智能技术领域不可或缺的部分已经被广泛地研究,并成功应用于各种科学和工程领域,包括信息领域、医疗领域、控制领域、交通领域等。值得注意的是,神经网络的这些实际应用在很大程度上依赖于它的动态性能。然而,由于神经元之间信号传输速度的局限性和一些外部干扰因素,时滞在神经网络的实现及应用中是普遍存在的,极有可能会导致意想不到的动态行为,如振荡、低性能、甚至不稳
基于电磁波与金属-介质复合微结构相互作用的等离子体共振传感器是一种传感性能优越、体积小、易集成的传感器件,它常表现出对环境湿度或溶液折射率、生物分子类别和浓度、入射电磁波倾斜角度的灵敏响应,在化学、生物、海洋产业领域都有潜在的应用市场。然而,等离子体共振传感器距离实际应用还存在很多问题,例如:等离子体共振传感器的制备成本高、简单结构的传感器的传感性能较低。针对以上问题,本论文首先研究低成本高输出的
随着科技的日益快速发展,传感器作为信息获取的源头,其作用和地位愈加重要。石英晶体微天平(Quartz crystal microbalance,QCM)作为一类十分重要的质量传感器,目前,在很多领域获得了广泛应用。本文以QCM传感器质量灵敏度的关键技术为研究对象,通过深入研究QCM的传感机理,并结合有限元仿真技术,揭示了决定QCM传感器质量灵敏度的关键因素,提出了通过优化电极结构设计来提高QCM传
随着世界各国经济和科学技术的飞跃发展,移动机器人的应用领域越来越广泛,其应用场景也从室内环境拓展到了各种复杂环境,如野外、水下、空中甚至外太空等。目前,对于复杂环境的机器人系统仍存在许多尚待研究的课题。本文针对环境全局信息已知、地面崎岖不平的复杂环境条件下的轮式机器人的路径规划和轨迹跟踪控制技术进行研究。本文建立了崎岖地面的环境模型,针对曲面路径规划算法的时间复杂度改进问题,提出了多尺度技术。针对
机器学习是大数据处理的常用工具之一。然而,依靠单个计算节点的计算能力处理大规模的数据集,不能在可接受的时间范围内将模型训练到满意的精度。通常采用多个计算节点来实现数据并行训练。每个计算节点迭代式地处理部分数据集,每次迭代都要通过网络与其他计算节点同步模型的信息,保证训练的正确性。由于模型规模通常在数百兆至数千兆字节之间,每个计算节点每次迭代都要交互等同于模型大小的数据量,例如模型的参数或者梯度,使