基于支持向量机的孤立点检测方法研究

被引量 : 10次 | 上传用户:yy20090907
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
孤立点检测是数据挖掘领域的重要内容之一。孤立点检测可以发现不具备一般数据特性的数据,进而发现潜在的有用信息。孤立点检测可以应用到很多实际领域,如信用卡欺诈检测、故障诊断、医学诊断、网络入侵检测和信息检索等。近年来很多国内外学者着力于结合支持向量机技术进行孤立点检测应用,其成果颇丰。然而随着研究的不断深入和应用范围的不断扩大,现存方法遇到了一些障碍,检测模型的泛化能力和稳定性能也存在诸多问题。由于上述原因,本文以基于支持向量机的孤立点检测为题进行研究,以期提供更加高效稳定的孤立点检测方法,主要研究内容如下:1、一类支持向量机及其改进算法进行孤立点检测问题研究。实际应用中训练集通常包含大量的有标签正常样本,但只包含少量或者根本不存在有标签孤立点样本,这种情况下一类支持向量机表现出优势,但是由于算法对坐标原点依赖性强、参数不易选择等原因造成孤立点检测的误报率较高。针对这些问题本文首先利用受试者工作特征分析技术作为性能评价标准,使用两种参数搜索方法对模型进行优化,进而获得最佳决策函数。其次,设计了“局部密度一类支持向量机”算法,为每个样本测量数据局部密度并加到对应的松弛变量上,在训练过程中包含这些信息将有助于获得更理想的决策函数。此外,提出了“孤立点一类支持向量机”算法,通过综合距离和概率输出两种标准在无标签训练集中探测可疑孤立点,然后在特征空间刻画与可疑孤立点保持最大间隔的分类超平面,并在此基础上提出了一种根据数据异常程度动态更新数据样本的方法,提供了稳定高效的检测性能。2、数据预处理技术改善孤立点检测中支持向量分类器性能问题研究。支持向量机进行分类操作的时候,决策超平面会受到数据库中孤立点干扰而发生偏移;其原因在于孤立点在训练过程中易于成为边界支持向量,从而对最后的决策函数做出较大贡献;另外数据维数过高也会降低分类效率和性能。为此本文提出使用数据预处理方法改善分类器性能,通过主成分分析处理训练数据,为远离聚簇中心孤立点设置较小的权值,这样孤立点对最终决策函数起到的作用将大大降低,从而缓解决策超平面被偏移的问题,提出的方法被成功地应用到蛋白质亚细胞定位预测领域。针对高维数据会影响分类器性能的问题,利用高斯过程潜变量模型来抽取特征,并且设计了阶梯跳跃式降维方法,为获得良好分类性能提供了保障。3、使用混合策略的孤立点检测研究。孤立点检测应用中数据存在不平衡的特点,两类样本数量比例失调,将支持向量机的分类超平面向预测大类正常样本的方向倾斜,进而能够将孤立点样本全部识别为正常样本。本文首先结合两种支持向量机算法提出了一个两阶段的孤立点检测方法;集成不同权值改进半监督的一类支持向量机对数据集进行重采样,执行过程中通过设定较低权值降低孤立点的信息量,除去部分正常样本从而平衡两类样本的比例;使用代价敏感支持向量机执行孤立点检测操作,以两种误分类代价线性和最小为目标,实现了代价敏感孤立点挖掘。其次结合集成学习方法改进支持向量分类器的性能,利用聚类算法分解正常样本与孤立点样本作为单个分类器的输入,综合不同分类模型的输出结果改善孤立点检测性能。对于大类正常样本,使用聚类算法分解成多个部分,并分别计算与小类样本之间的距离,通过综合打分系统排除最远和最近的聚类;对于小类孤立点样本,使用一类支持向量机进行训练,在对应的支持向量样本上进行过采样操作;两种数据重采样方法的目的均在于平衡样本集以获得更理想的分类超平面。本文提出的混合策略方法能够提高检测率,降低误报率,同时将误分类代价降到最低。
其他文献
随着21世纪社会的不断发展,科学技术也在突飞猛进的进步,为工业的迅猛发展与进步打下了坚实的基础。同样,在工业化的材料领域中,越来越多的高性能的材料也逐渐地被应用到工业
<正>巴斯夫与中石化于2010年12月17日表示,双方同意研究将在南京的扬巴石化合资企业投资约10亿美元进一步扩建,考虑中的项目包括世界规模级的过氧化氢-环氧丙烷(HPPO)装置,这
期刊
过去常常用热效率的高低来衡量加热炉用能的好坏 ,然而 ,热效率这个传统概念带有很大的片面性 ,热效率并不是衡量和评价过程进行好坏的一种合理尺度。衡量能量质量高低的物理
在电力系统变电站运行过程中,母线是一种非常重要的系统设备之一,对于电力系统的安全运行有着重大的影响和意义。而母线保护作为母线正常运行的有效保障,只有不断对母线保护
20世纪,西方哲学开始了"语言的转向"。"语言的转向"在20世纪初由分析哲学的研究为肇端。分析哲学对语言意义和语言结构研究的许多理论已成为语言学中语义学、语用学和句法学
随着科学技术日新月异的发展以及计算机领域科技的日益完善与进步,计算机软件工程领域的发展面也更为广阔,为诸多领域提供了简便、科技化的解决策略,也正因为如此,计算机软件
目的探讨和分析静脉溶栓治疗心肌梗死的临床疗效,总结其临床价值。方法回顾性分析具有完整临床资料的心肌梗死患者50例,随机分为观察组和对照组两组,每组25例,对照组给予心肌
通过古徽州地区13个典型古村落中水口、庭院、水口与庭院之间的其它绿化空间绿化树种和配植现状的调查,结合徽州地区的历史文化和自然,总结徽州古村落绿化树种组成和造景特点
作为金融融资与知识产权开发双重创新的知识产权证券化是近年来国内外金融理论界、实务界讨论的一个热门话题,它起源于美国,发展于美国,并在世界范围内得到推广。知识产权证
背景和目的流行性感冒(简称流感)是由流感病毒引起的急性呼吸道传染病,主要经空气飞沫传播。流感病毒有甲、乙、丙三型,其中甲型所引起的流感流行最为广泛和严重,乙型常表现为