基于特征优化的选择性集成学习算法

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:aya05901
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器学习的方法在生产和科研中都有着广泛的应用,而集成学习则是机器学习领域中一门重要的研究分支。集成学习是把一系列基学习器结合在一起再做预测的一种方法。在理论和实践中集成学习都被证明是一种极其有效的提高算法泛化能力的手段。然而,现有的一些集成学习算法有时会产生一些不必要的过大的基学习器的集合,这就导致了一些计算上的浪费和额外的存储开销。在这种情况下,我们自然的提出了疑问,是否集合中每一个学习器都是必要的。而有研究证明,从集成学习中选择出的子集可能要比整个集合的效果更好。由此,选择性集成学习诞生了。选择性集成学习算法的目的就是在集成学习的基学习器的集合中选择出其中的一部分子集再做集合,而且要保证相对于原集成学习来说,选择后的效果至少要是可比较的或者是更好。   根据算法设计的不同,选择性集成学习算法又可大概分为基于聚类的方法、基于排序的方法和基于优化的方法。在选择的过程中,如何权衡单个学习器的精度和多样性是算法设计的关键。本文中,我们提出了一种将选择性集成学习的问题构建成一种组合优化问题的方法,优化的目标是同时最大化集合的精度和多样性。精确求解这样一个问题是非常困难的,幸运的是我们可以将问题松弛和变换成一种基于特征优化的问题,并且能够非常有效的求解并保证全局收敛。大量具有说服力的实验结果表明,我们的算法要比现有效果最好的选择性集成学习算法的性能要好。   本文的内容包括:(1)简要回顾了集成学习的研究背景和国内外研究现状;(2)介绍现有一些集成学习中所涉及到的技术,如集成结合的方法、多样性衡量等;(3)总体上概述一下选择性集成学习算法,并详细介绍现有一些效果比较好的选择性集成学习算法;(4)从问题的提出到算法的详细设计,详细介绍我们提出的基于特征优化的选择性集成学习算法;(5)通过大量的对比实验来证明文中所提算法的有效性。
其他文献
指针分析,是指通过对源程序的分析近似地求出源程序中指针表达式所指向的目标,它在程序静态分析领域中有着非常重要的作用,并非常具有挑战性,它的分析结果也被广泛应用于程序的优
无线传感器网络(WSN)是由部署在监测区域内数量众多的传感器节点通过无线设备自主交互而形成的网络。它具有大规模部署、自组织、低功耗等特点。在现实生活中,WSN有广泛的应用,如
作为网格技术在制造业的应用,制造网格不仅具有动态性、开放性、自治性和分布性等传统网格的特性,还具有制造系统自身特有的多主体性、协同性、共享性和灵活性等特点,这些特
基于视觉的手势识别是当前人机交互研究中的一个重点和热点。本文总结了典型视觉手势识别即包括图像采集、图像预处理、手势分割、手势建模、特征提取和分类识别数个步骤的工
在生物信息、电子商务等领域,随着离散无序(non-ordered discrete)数据规模的不断增长,有效的离散无序数据空间(non-ordered discrete data space,NDDS)索引技术正逐渐成为关注的热
网络流理论是运筹学领域取得迅速发展的理论之一。到目前为止,应该说,无论从理论上还是实际应用中,网络流模型都是一个很成熟的模型。它的建立和求解算法的不断改进,为解决很多实
近几十年来,无线传感器网络以低廉的价格、独特的性能和灵活性带来了广阔的应用前景,当前,一种特殊的无线传感器网络——移动传感器网络正以它移动灵活、快速部署的优势迅速
随着通信和互联网技术的不断发展,无线传感器网络(WSN)早已可以解决大规模数据的采集和传输问题,但是已有的接入网技术仍制约着无线传感器网络与互联网等主干网络的互连。无源光
近年来,随着信息技术的飞速发展及多媒体应用的广泛普及,信息资源呈爆炸式增长。如何对数据信息进行安全高效存储,成为学术界和工业界的研究热点。分布式存储系统利用网络连接将
深度万维网蕴藏着海量的信息,由于其隐藏性,现有的搜索引擎很难搜索到其中的内容。目前还没有研究出很好的方法和模型来捕获其内容,很大程度上制约了人们获取更多、更有价值