论文部分内容阅读
最小主元分析(Minor Component Analysis,MCA)是一种多元的统计方法,主要应用于数据分析、图形图像处理、曲线/曲面拟合等领域.MCA学习算法用于寻找空间中的一个方向,使得目标数据在该方向上投影的协方差最小.传统的对关联矩阵进行特征值分解或奇异值分解的方法计算复杂,在应用于工程领域时面临着许多困难.而人工神经网络具有很强的自组织、鲁棒性及并行处理信息的能力,非常适合于对高维信号的主元进行在线提取. 历史上Oja第一次给出了提取第一个主分量的神经网络方法.后来人们在它的基础上根据反赫布规则提出了许多的MCA学习算法.MCA算法是随机的离散时间算法,它能否收敛到最小主元方向是一个非常重要的问题,研究的方法通常有两种:确定性连续时间方法(DCT)和确定性离散时间方法(DDT).由随机逼近理论可知,使用确定连续时间方法分析MCA算法的收敛性时,要求学习率趋于零,这一条件在实际应用中很难得到满足.而确定性离散时间方法不仅保证了算法的离散特征,而且其学习率不要求趋于零. 本文基于DDT系统对EXIN MCA和Fengs MCA神经网络学习算法进行了研究.文献[20]探讨了基于可变学习率的EXIN MCA学习算法收敛性问题.本文将上述工作推广至常数学习率的情形,并证明了相应的理论结果.文[21]给出了Fengs MCA学习算法在不变集S0下的收敛条件η≤min{0.5,λn/λn1},我们不仅给出了更大的学习率选取范围η<min{0.5,2λn/λ1-λn},而且还对不变集做了进一步的剖析. 本文具体安排如下:第一部分介绍了神经网络的基础知识和相关的MCA神经网络学习算法;第二部分给出了EXIN MCA学习算法的收敛条件、理论证明及数值实验;第三部分分析了Fengs MCA学习算法的收敛条件和不变集.