EXIN和Feng's MCA学习算法的收剑性分析

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:pankerong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
最小主元分析(Minor Component Analysis,MCA)是一种多元的统计方法,主要应用于数据分析、图形图像处理、曲线/曲面拟合等领域.MCA学习算法用于寻找空间中的一个方向,使得目标数据在该方向上投影的协方差最小.传统的对关联矩阵进行特征值分解或奇异值分解的方法计算复杂,在应用于工程领域时面临着许多困难.而人工神经网络具有很强的自组织、鲁棒性及并行处理信息的能力,非常适合于对高维信号的主元进行在线提取.  历史上Oja第一次给出了提取第一个主分量的神经网络方法.后来人们在它的基础上根据反赫布规则提出了许多的MCA学习算法.MCA算法是随机的离散时间算法,它能否收敛到最小主元方向是一个非常重要的问题,研究的方法通常有两种:确定性连续时间方法(DCT)和确定性离散时间方法(DDT).由随机逼近理论可知,使用确定连续时间方法分析MCA算法的收敛性时,要求学习率趋于零,这一条件在实际应用中很难得到满足.而确定性离散时间方法不仅保证了算法的离散特征,而且其学习率不要求趋于零.  本文基于DDT系统对EXIN MCA和Fengs MCA神经网络学习算法进行了研究.文献[20]探讨了基于可变学习率的EXIN MCA学习算法收敛性问题.本文将上述工作推广至常数学习率的情形,并证明了相应的理论结果.文[21]给出了Fengs MCA学习算法在不变集S0下的收敛条件η≤min{0.5,λn/λn1},我们不仅给出了更大的学习率选取范围η<min{0.5,2λn/λ1-λn},而且还对不变集做了进一步的剖析.  本文具体安排如下:第一部分介绍了神经网络的基础知识和相关的MCA神经网络学习算法;第二部分给出了EXIN MCA学习算法的收敛条件、理论证明及数值实验;第三部分分析了Fengs MCA学习算法的收敛条件和不变集.
其他文献
近几十年来,Toeplitz算子和Hankel算子成为了函数空间上算子理论的一个活跃分支,备受众多学者的关注.它与算子理论、算子代数、函数论、微分方程等众多数学分支有着密切联系,在
本文针对纵向数据,研究部分线性单指标模型的稳健估计及其变量选择,研究内容主要有以下几个方面:  第一,在纵向数据下,针对部分线性单指标回归模型,基于稳健分位数回归方法,对模型
排列是组合学中一个经典的研究对象,与许多其它组合结构密切相关,包括树、格路、无交叉集合划分、01-矩阵、标准杨表等。自著名组合学家P.A.MacMahon在20世纪初的标志性工作以
当材料和结构的尺寸缩小到纳米级时,经典弹性力学中的理论就会表现出局限性。在经典弹性力学理论中,表面效应对弹性体的影响往往被忽略不计。然而,在纳米尺度下,表面能对弹性
本文主要研究了具有梯度项的退化扩散方程{ut=up△u+uq-μur|▽u|s,(x,t)∈Ω×(0,T),u(x,t)=0,(x,t)∈(a)Ω×(0,T),u(x,0)=u0(x), x∈Ω,其中q>1,p,r,s,μ>0,r+s≥1,Ω为R3中的有界光滑区域,初值
研究各种群的性质和结构是群论研究的一个主要任务.准素子群的性质和有限群结构之间的关系已被广泛地研究.特别地,子群的嵌入性质已经成为群论研究中非常活跃的领域之一.