自适应不均衡数据分类研究

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:qwerasd1234
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在许多场景和应用领域中,不均衡数据学习是一个常见并且长期存在的问题。例如在实际生活中电信管理,信用卡欺诈检测,诊断数据中的罕见疾病,文本挖掘,语音识别,图像处理,目标检测,情感分类等。当数据分布存在于二分类问题时,其中某一类样本占多数,另外一类样本占少数,导致出现严重的不均衡问题。在二元不均衡分类中,其中包含更多样本的类称为多数类,而包含更少样本的类称为少数类。然而,当不均衡率(多数样本数与少数样本数之间)较大时,很难捕获少数类。在这种情况下,常规分类器通常偏向于多数类,而无法正确分类少数类。与此同时,不均衡数据分类还经常受到类内不均衡,类间不均衡,噪音数据和冗余数据等影响。因此不均衡数据分类主要面临以下挑战:如何去选取有价值样本,如何去除噪音和冗余样本,以及如何更合理的生成少数类样本或者删除无用的多数类样本。本文针对上述问题提出了几种处理不均衡数据方法,主要工作和贡献如下:提出了用于选取有价值样本和生成少数类样本的主动学习模型(COAL)。在不均衡数据中,多数类样本中存在许多冗余样本信息,以及少数类样本数量很难以区分。为了保持样本的结构性和增强原始数据集的多样性,本文在初始阶段利用聚类算法将多数类样本划分为几个子集,并根据主动学习的不确定性策略来选取有价值样本。在选取样本后,为了避免训练过程中出现不均衡问题,我们采用了过采样的方法来均衡数据集。最终我们使用COAL模型和其他最新方法对现实数据集进行了一系列实验。最后,可以通过结果比较证明提出的COAL框架的优越性,并可以获得令人满意的结果。提出一种新的价值样本选取的不均衡分类框架(SSIC),该框架充分考虑数据统计特性,自适应从大小类中选取有价值样本,并结合代价敏感学习构建不均衡数据分类器。SSIC首先构建多个均衡数据子集,然后利用压缩激励网络从每个数据子集中提取判别性特征,并据此选取有价值的样本从而有效剔除噪音和冗余信息。为有效处理有价值样本在类间不均衡分布,SSIC提出基于样本重要性的代价敏感支持向量机方法构建不均衡分类器,该方法能自适应学习各个有价值样本对最终分类器的重要性。最终我们使用其他最新方法对现实数据集进行了一系列实验。最后,可以通过结果比较证明提出的SSIC框架的优越性,并可以获得令人满意的结果。
其他文献
新时代是一个合作呼声高涨之时代,大到国家之间的交流合作,小到人人之间的互助合作,而在时代对于合作能力普遍需要和永恒追求的背景之下,我国也顺应时代需求,将合作能力的培养与提升填写到时代新人的培养计划中,着重强调让学生在交流互动、共同进步中学会尊重与包容。而今,合作已遍布日常生活及学习领域的各个角落,且合作学习在被教师广泛肯定的基础之上于中小学主要学科的教学领域已然做了诸多尝试,但尽管如此,当合作学习
学位
本研究从传播仪式观的角度对云自习群体的认同进行探究,分析云自习群体为何会在网络空间中形成,如何进行仪式搭建,又是通过仪式形成怎样的群体认同,最后对此现象提出了自己的见解。第一部分是对云自习群体的初步探索,先解释什么是云自习,云自习,即数字化时代,自习者在“身体”不处于同一空间的环境下,与他人实现自习共同在场的状态,进而达到一起学习的目的。比如微博中Study Account的超话,热搜云自习挑战,
学位
板桥凹陷已探明油气主要集中在板桥中部和南部的构造带上,随着油气开采程度的不断提高,寻找新的油气储量接替领域成为后期油气勘探的重点。在油气勘探过程中发现,板桥凹陷勘
党的十九大报告提出了新时代的命题,并依此对素质教育提出了新的要求,它指出:“要全面贯彻党的教育方针,落实立德树人根本任务,发展素质教育,推进教育公平,培养德智体美劳全面发展的社会主义建设者和接班人”。物理作为一门基础学科,也经受着素质教育的考验。如果教师能在物理教学中渗透美育,在完成教学目标的同时,将物理学中美的一面展现给学生,既可以培养学生发现美鉴赏美的能力,提高学习物理的积极性,还能改变学生认
学位
石墨烯具有的优异物理和化学性质使其自被发现以来就获得产学研界的广泛关注与研究。目前制备石墨烯的方法众多,在这众多制备石墨烯的工艺方法中,等离子体增强化学气相沉积法
随着我国工业生产中大量电力电子设备的投入使用,对电网环境治理带来前所未有的压力。有源电力滤波器能够动态抑制谐波并补偿无功功率,因此在谐波治理领域倍受青睐。有源电力滤波器控制策略的优劣严重影响最终的补偿效果,目前常规的控制策略效果并不理想,因此本文提出一种改进重复控制与准PR控制的复合控制策略。本文的具体研究内容如下:(1)源电力滤波器和LCL滤波器分析。首先对APF的分类和基本工作原理进行了介绍,
船舶作为主要的海上运输工具,在国际贸易发展中起到了不容忽视的作用,但与此同时也造成了海洋污染。船舶在营运过程中会产生含油污水,舱底水是船舶含油污水的主要来源,直接排
2001年颁布的第八次新课程改革中编写的生物教材在呈现方式上与之前版本相比发生了较大变化,其中最明显的变化就是教材栏目设置的多样化。生物教材栏目是教材的不可分离的一部分,为教师和学生更好的利用和了解生物教材提供了全方位的新视角。因此,对初中生物学教材的栏目的设置和应用情况进行探讨具有重要的理论与实践指导意义。该论文中,作者对兴安盟蒙语授课的初中生物教材栏目使用现状进行了调查研究,为一线教师能够更加
学位
大塑性变形(SPD)作为最有望实现纳米结构材料工业生产的方法,历年来成为国内外专家的研究热点。SPD材料中独特微观结构的形成机理及其与性能之间的关系仍有许多问题需要深入研
随着现代制造技术的迅猛发展,大型装备制造的测量需求在大空间、高精度、低成本等方面日益增加,由此多种测量系统组合的异构网络化测量成为新研究热点。然而,由于缺乏完善的精度分析方法及有效的理论方法的指导,导致异构网络化测量的应用受到了制约。本文深入研究了基于角度交会测量系统在动态测量环境中所面临的问题,重点对基于角度交会测量系统中的动态误差模型以及在特定条件下的布局优化问题展开了研究,最终搭建了基于w