论文部分内容阅读
神经科学研究证明,生物神经网络之间的细胞是通过神经元的动作电位（发放的脉冲）来进行相互通信的。因此,更具有生物可塑性和强大信息处理能力的第三代神经网络:脉冲神经网络（杓杰杩杫杩杮杧李来杵杲条杬李来杴杷杯杲杫,杓李李）受到了研究者的广泛关注。与传统的基于频率的神经网络不同,杓李李能够处理和提取脉冲信号中编码的时间动态特征,从而使其更加具有生物可塑性,且计算能力更强,功耗更低,在未来的移动智能领域具有广阔的应用前景。每个脉冲神经元（杳杰杩杫杩杮杧杮来杵杲杯杮）的基本计算功能是将输入脉冲序列转化成适当的输出脉冲,充分模拟大脑中的脉冲时间编码原理。然而,具有脉冲信号特征的神经元如何产生大脑强大的认知功能仍然在探索中。目前的研究初步证明了脉冲神经元强大的计算能力,然而对杓李李的探索尚处于初级阶段,它缺乏有效的神经信息编码方法,并且由于编码的复杂性和脉冲变量的不可微性,无法使用现有的神经网络学习算法进行学习,使得学习算法的适用性无法保证,仍然面临很多挑战。因此,本文主要研究神经网络的信息处理和认知计算,试图揭示和利用生物系统的运作机制。时间编码和学习是杓李李的两个主要关注点,编码描述信息是如何被脉冲信号携带的,学习表现神经元是如何学习脉冲模式的。本论文的研究重点从神经元层面到系统层面各有不同,包括脉冲时间编码、单层和多层脉冲神经网络的学习、系统建模,以及视觉和听觉处理系统的应用发展。本文的主要内容和创新点如下。1.提出一个基于脉冲时间的声音特征编码和学习的鲁棒性识别模型。该模型将听觉编码和学习视为一个系统过程,不仅提高声音在噪声情况下的可辨识性,而且更好地模拟生物听觉皮层对声音信息的表达和学习过程。大多数传统的方法利用基于频率的特征来进行识别,导致声音和噪声信号混合在一起,缺乏鲁棒性。针对此问题,提出一个完全基于脉冲时间的声音识别模型去编码和学习从频谱图中提取到的声音特征。其选择高能量峰值作为关键点信息（其中包含局部时间札频率特征（杌杯杣条杬杔杩杭来札杆杲来東杵来杮杣杹,杌杔杆））,并编码成时间脉冲序列进行学习。为了研究其有效性,我们还将其应用到不同的杓李李学习算法中。基于该编码方法的新识别算法大大提高了噪声条件下的声音识别准确率和鲁棒性。实验结果表明,我们提出的编码和学习模型方法简单,抗噪性强。在不同的噪声情况下,性能优于基准方法。2.提出一个基于脉冲时间的视觉信息多脉冲编码和识别的统一性模型。该模型能够完全基于精确的脉冲时间来整合特征提取和学习过程,填补了基于地址-事件表示协议（Address-Event Representation,AER）图像传感器的图像编码和学习算法被分开研究的鸿沟。目前大多数用于对象识别的架构,其中基于脉冲的特征提取和学习过程是被分开研究的,而在系统的层次上结合编码和学习来实现认知计算是非常重要的。针对此问题,本文提出了一种基于脉冲事件驱动的视觉特征编码和识别模型。其利用地址札事件表示协议在神经元之间进行通信,并结合脉冲神经元的信息编码和学习算法进行识别;此外,我们还基于时间札表面（杴杩杭来札杳杵杲杦条杣来）技术提出一种降噪方法,通过计算脉冲事件与周围空间邻域的相关性来判断该事件是否为噪声。模型在多个数据集上进行评估,显示了其优越的识别性能,特别是对于有噪声的事件。该模型将有助于进一步推动硬件和软件在实际应用中的发展。3.提出一个精确脉冲时间驱动的多层多脉冲SNN监督学习算法,该方法能够高效、鲁棒地处理复杂的时空脉冲模式。由于多脉冲方法的学习目标复杂性显著增加,所以对多脉冲学习方法的研究主要集中在训练单一而不是多层网络上。在多层杓李李的每一层中触发多个精确的时间脉冲仍然是一个核心挑战,导致现有多层多脉冲学习算法计算效率较低。针对这一问题,本文提出了一种新的、有监督多层多脉冲学习方法来完成脉冲序列的复杂时空模式学习。该方法从杗杩杤杲杯杷札杈杯朋（杗杈）规则中导出突触权值更新规则,然后利用反向传播将网络误差同时计入前一层。特别地,本文采用时间驱动和事件驱动两种计算机制来模拟神经元计算模型。该算法成功地应用于异或（杘杏杒）问题和杕权杉基准数据集,以及复杂的噪声问题。实验结果表明,该算法可以达到与经典学习方法和先进的监督算法相当的分类准确率。另外,提出的训练框架有效地减少了连接数,从而提高了网络的计算效率。4.提出了一个阈值驱动的多脉冲SNN监督学习算法,能够快速、准确地执行不同的分类和时间信用分配（Temporal Credit Assignment,TCA）任务。多脉冲输出算法可以训练一个神经元去输出想要的脉冲个数,并且能够发现嵌入在复杂背景活动中的特征。然而,现有的监督学习算法需要大量复杂的运算,具有很大的挑战性。其中大多数算法是基于精确的脉冲时间的,导致学习效率较低,对噪声的鲁棒性较差。针对这些局限性,我们提出了一种简单有效的多脉冲输出学习规则来训练神经元,使其输出脉冲个数与期望的脉冲个数相匹配。该方法通过指定的阈值计算其膜电压的表达形式,快速找到与嵌入特征直接相关的局部最大值作为突触更新的相关信号,并以局部最大膜电位与触发阈值之差作为误差函数。该规则可以训练单个神经元学习多类任务,并能有效地抑制输入噪声的影响,发现嵌入特征。实验结果证明该算法在大范围的学习任务下具有更高的准确率、更低的计算量和更好的噪声鲁棒性。