基于稀疏模型的快速核方法

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:wangql133
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自从二十世纪九十年代以来,核方法已经被广泛应用于模式识别与机器学习领域。其优势在于核方法允许研究者在原始数据对应的高维特征空间使用线性方法来分析和解决问题,不需要直接对数据进行映射。另一方面,一般的非线性方法映射的维数往往过高不受控制,而核方法能有效地规避“维数灾难”问题。但是应当指出,核方法在对待测样本进行特征抽取时,需要计算其与所有训练样本间的核函数,因此训练样本的个数直接制约了核方法的特征抽取效率,在实际的大样本集分类应用中,该方法的特征抽取率将非常低,甚至难以应用。因此在保证识别率的前提下,寻求提高核方法的特征抽取效率的工作是非常有现实意义的。本文通过从训练样本集中选择出一部分有代表性的样本,本文称之为关键样本的思想,来对多种核方法进行改造,构造出其稀疏核模型,进而达到提高特征抽取效率的目的。在稀疏核模型中,只需计算待测样本与关键样本间的核函数,因此稀疏核模型对应着极高的特征抽取效率,这也是本文的最重要贡献。在关键样本选择方法上,本文首先以一种形式简单并且被广泛使用的基于核的最小二乘法(KMSE)为例,找出其对应的神经网络模型,以特征抽取结果的逼近为目标,根据网络权值对不同输入分量的放大作用来确定一部分训练样本,即关键样本。并推导出了稀疏核模型的判别向量可以表示为这部分关键样本在特征空间中的线性组合,这个推论对其他核方法的稀疏模型构建具有指导作用。KMSE虽然属于非线性分析方法,但其实质上是对样本在特征空间中使用线性方法进行回归。回归分析方法能够对各自变量对因变量贡献的显著性进行检验,本文首次尝试了将回归分析方法用于对KMSE稀疏模型的构建。除了KMSE方法,其他核方法,比如KFDA,KPCA,同样面临特征抽取效率低下的问题。本文从特征空间样本的相关度与距离的角度,设计出了一种普遍适用的关键样本选择方法。根据推论,稀疏核模型的判别向量可以表示为这部分关键样本在特征空间中的线性组合,分别推导出了KFDA,KPCA的稀疏模型。在基准数据集上采用以上稀疏核方法进行实验,本文所提出的几种的方法能够在基本不损失识别率的前提下,显著提高核方法的特征抽取效率。
其他文献
集群式供应链是一种新型企业协同模式,其内部企业之间通过动态协同关系构建来应对快速多变的市场需求。然而,作为产业集群与供应链的耦合产物,集群式供应链具有内在复杂性,其协同关系的形成受到多种因素的影响,包括复杂多变的市场环境和协同竞争的企业关系;因此如何定量地分析集群式供应链协同模式演化机制,如何分析外部因素对其演化的干预影响,就成为本领域迫切需要解决的问题。本文以协同采购为例,提出了基于计算实验的协
随着经济和科技的不断发展,个人对地理资讯信息的应用需求日益强烈,电子地图已经成为了人们了解空间信息的重要手段,目前已经广泛应用于社会的各个领域。栅格电子地图采用基
体检工作是普通高等学校的重要工作,高校医院会定期或不定期对全校师生进行健康体检。通过对广大师生进行健康体检,可以了解在校师生的健康状况和各种疾病的发生情况。健康体
无线传感器网络因其广阔的应用前景和独特的技术挑战吸引了众多学者的研究兴趣,并逐渐成为了近几年来计算机网络领域中热门方向。路由协议作为无线传感器网络组网的基础和网
随着互联网的日益开放以及网络技术的飞速发展,越来越多的人使用黑客工具对网络进行攻击,因此而引发的网络安全问题也越来越严重。传统的静态安全防御体系,如防火墙、身份认证及
Agent以及多Agent系统(Multi-Agent System,MAS)的研究已成为分布式人工智能(Distributed Artificial Intelligence,DAI)研究的热点问题,应用越来越广泛,MAS具有比单个Agent
基于嵌入式系统的盲人图标识别系统以图像处理与识别技术为理论基础,运用现代图像技术和机器视觉的发展成果,以DSP为硬件开发平台,采用图像处理与识别技术的具体算法。该系统
大多数软件系统由横切多个模块的一些关注点的组成。使用面向对象技术来实现这些关注点将导致系统不易实现、难于理解和进展缓慢。面向方面程序设计(AOP)可以使横切关注点更
低密度校验码(LDPC)是一类用稀疏校验矩阵定义的线性分组码,具有逼近Shannon限的性能。对于基于二部图模型的LDPC码,短环是影响LDPC码性能的重要因素之一,因此有关环的研究也受
当前,由于我国检察机关办案监管体系的不完善,在审讯过程中容易出现因办案人员执法不规范而引起犯罪嫌疑人以体罚虐待和刑讯逼供等理由进行翻供,导致案件需要重审,不利于和谐