论文部分内容阅读
理解人脑及其思想、认知、学习和记忆等智力能力,是这个时代最迷人的科学挑战。人工神经网络以其固有的模拟大脑智能的特性和强大的计算能力,吸引着国际上许多优秀的科学家和一流的学术研究机构,成为科学和工程上的研究热点。自上个世纪八十年代人工神经网络崛起以来,二十多年间,取得了大量令人振奋的研究成果,同时,其应用已经渗透到经济、军事、工程、医学,以及科学的许多领域。国际一流学术刊物,如《Science》、《Nature》上不断涌现的人工神经网络的研究成果;以及国际知名企业,如Intel、IBM公司等对神经网络芯片研发的大量投入,都表明了人工神经网络重要的科学地位。人工神经网络的动力学分析是其面向应用的重要理论基础,许多重要应用,要求网络具有良好的稳定性。通常,网络有两种稳定的计算运行模式:单一稳定和多稳定计算。神经网络的多稳定性,实质上体现了网络中神经元活动的群体计算特征,更深层次地揭示了生物神经网络的内在本质,具有更强大的计算能力。群神经元计算的动力学行为研究,是人工神经网络研究发展的必然趋势。本文针对这一前沿性研究课题展开深入研究,主要研究成果有:(1)研究了连续型和离散型非饱和分段线性阈值(Linear Threshold,LT)神经网络中的多周期计算特性和网络的全局吸引性。很多的生物和认知行为都存在重复循环现象,周期性震荡是神经网络中一种重要的动力学行为。应用神经元连接权的局部抑制方法,得到了网络全局吸引域的计算表达式。同时,突破性地采用不变集的思想,建立了使得网络实现多周期计算的条件。(2)研究了离散型LT神经网络中群神经元的“容许集”和“禁止集”理论,从全新的角度讨论了神经网络中的“记忆”提取,以更易控制的外部输入代替状态初值来提取网络中存储的“记忆”。采用能量函数等方法,建立了网络完全收敛、网络存在“容许集”和“禁止集”,以及网络条件多吸引的充要条件。(3)提出了群神经元的“非饱和集”与“饱和集”概念,针对细胞神经网络,建立了“非饱和集”和“饱和集”存在的充要条件等一些基本理论。在这些概念的基础上,利用侧向抑制,讨论了“非饱和集”与神经元组群之间的对应关系,实现了神经元的群选择计算,成功推广了工程上著名的Winner-Take-All(WTA)方法。通过使用该网络成功地提取存储在环形网络中的“记忆”,证明了这些概念的重要性和实际应用价值。(4)针对两类神经网络:LT神经网络和Lotka-Volterra(LV)神经网络,提出了群神经元的“活动性不变集”概念,分别推导出确定活动性不变集位置的条件,并且证明了每个活动性不变集中都有一个平衡点指数地吸引着这个不变集中的所有解轨线,因为这些吸引子是位于活动性不变集中,所以每个吸引子都具有数字的二值特性,同时也加载模拟信息。这些结论在“群胜者全得”和联想记忆等领域都具有潜在的应用价值。(5)研究了几类神经网络的多稳定性计算,包括具有非饱和分段线性阈值函数的双向联想记忆神经网络和背景回复式神经网络模型,应用局部抑制和能量函数方法,讨论了神经计算中多稳定的三个基本特性:有界性,全局吸引性和完全收敛性,获得了全局指数吸引集的确切表达式。此外,还讨论了背景神经网络中,分叉参数对网络平衡态的分布位置、网络平衡态的具体个数以及网络吸引子的个数和位置的影响。最后,研究了一类具有跳跃性非连续传输函数的变时滞神经网络,这类网络是神经元放大增益极高时的理想模型,得到了容易验证的保证网络全局指数收敛的条件。这些成果的取得,对于进一步建立群神经元计算理论将起到积极的推动作用。