统计学习理论为系统地研究小样本情况下的机器学习问题提供了一套比较完整的理论体系.20世纪90年代,在Vapnik等人的不断努力下,统计学习理论得到了进一步完善和发展.在这一基础上提出的支持向量机(Support Vector Machine.SVM),是一种通用的具有很强泛化能力的核学习机器.它能较好地解决小样本、非线性、过学习、维数灾和局部极小等闯题,从而广泛应用于模式识别、回归估计、函数逼近以及密度估计等各个领域.正是统计学习理论和再生核技术的完美结合造就了支持向量机空前的成功.同时也激发了近几年来核机器研究的迅猛发展.目前,在学习系统中,有关核的理论及学习方法的研究正逐渐引起人们的广泛重视并成为新的研究热点. 本论文从核机器的理论、算法和应用相结合的角度出发,在核函数的构造、核方法的扩展、核学习算法的改进以及核机器在复杂非线性系统中的建模、辨识、控制和故障诊断等方面的应用进行了系统的研究.本文的主要工作如下: 1.基于小波框架的核函数的构造针对常用核函数由于基的不完备性导致核机器性能不佳的缺陷,通过对再生核Hilbert空问(RKHS)和小波框架理论的研究,提出了一类新的基于统一小波框架理论构建容许支持向量核的方法.首先结合连续小波变换,研究了具有平移不变性质的连续小波框架核函数的构建方法;其次,我们研究了一种更具有一般意义的基于核算子构造多尺度再生小波核的实用方法;在此基础上,将所提小波核函数引入支持向量机,对多尺度正交小波核及其投影核子空问的正则化逼近特性进行了研究.实验表明上述小波核函数具有优良的时频多分辨特性和良好的函数逼近能力,在函数估计和非线性系统辨识中表现出极强的泛化性能.上述核函数构造方法为支持向量机和其他的核学习方法提供了更多的选择余地. 2.基于核的统计投影回归方法的扩展将核方法进一步拓展到包含内积运算的线性统计分析领域,系统地研究了基于核的非线性统计投影分析及回归方法.主要进行了如下四个方面的工作:首先,在线性偏最小二乘(PLS)的NIPALS算法基础上,提出了两种新的核偏最小二乘(KPLS)改进算法.该KPLS方法首先通过核函数将输入数据映射到一个高维特征空间,然后在特征空间里通过对传统NIPALS算法的改进构造线性PLS回归模型,为线性的PLS"核算法"和非线性的KPLS提供了一个统一的框架.其次,将隐核特征映射技术引入PLS,提出了一种隐核偏最小二乘方法.第三,通过引入样条核函数,提出了一种新的样条核偏最小二乘算法(sK-PLS).最后,系统分析了KPLS、KPCA和KCCA的投影结构并进行了对比研究.实验表明特征空间的统计投影结构良好的函数逼近特性大大加强了上述核方法非线性建模的泛化性能,从而有效避免了最小二乘法在变量之间存在多重相关性时的病态问题. 3.局部加权核回归的在线学习算法改进对支持向量机在线学习算法的改进是机器学习中的重点研究内容.针对标准支持向量机建模是离线批量训练,计算复杂性大、训练速度慢的缺点,通过结合局部加权学习、在线遗忘机制和滚动优化策略的思想,提出了一种带窗的加权最小二乘支持向量机回归在线学习算法,并应用于非线性系统的在线辨识和预测建模.实验表明,该方法具有良好的在线学习能力. 4.基于最小二乘核回归的广义逆系统控制将核机器引入逆系统控制,提出了针对一般非线性可逆系统的线性化和解耦控制策略.在逆系统控制中,广义逆模型的构建是非线性系统解耦控制器设计的关键所在.我们首先将最小二乘支持向量机(LS-SVM)回归引入α阶逆系统方法,并采用贝叶斯参致优化方法快速选取最佳的LS-SVM函数估计器逼近静态逆模型.在此基础上,针对非线性动态系统具有模型未知或建模粗糙的特点,进一步提出了一种动态广义逆系统结构,该结构由静态LS-SVM函效估计器和若干线性动态环节组合而成的.通过将此动态广义逆系统与原系统复合,复杂的高阶非线性系统可以解耦成许多伪线性的单输入单输出 (SISO) 子系统,而且各个伪线性子系统可以按照期望极点进行配置. 5.基于租集的数据约简及与核机器的混杂集成将粗集理论与核机器结合.互补二者优势,提出了一种基于租集预处理的隐核分类器混杂系统,该方法在改善分类性能的同时可以降低计算复杂性和减少存贮空间.首先,基于租集中的等价矩阵及其运算性质,借助于租糙属性向量树(RAVT)的巧妙构造,我们研究了一种能同时完成属性约简、数据清洗和规则提取的快速递推矩阵(RMC)算法,并用于敛据约简和知识提取;其次,将隐核特征映射技术引入最小二乘支持向量机分类算法,提出了一种新的隐最小二乘核分类器(包括两类和多类算法,分别称为HKLSC和MHKLSC); 最后,利用租集对数据进行约简,将冗余或次要属性剔除后得到的特征子集用于隐核分类器进行训练,在降低计算复杂性的同时,混杂系统仍能保持较好的分类效果.通过UCI中医疗诊断的benchmark数据库和实际工业过程的滚动轴承的故障诊断.验证了上述方法的有效性.