【摘 要】
:
提高神经网络的泛化能力是神经网络设计与实现的基本问题之一。人们在利用神经网络解决分类和回归问题时,通常采取具体问题具体分析的方式,通过大量费力耗时的实验摸索,确定出合
论文部分内容阅读
提高神经网络的泛化能力是神经网络设计与实现的基本问题之一。人们在利用神经网络解决分类和回归问题时,通常采取具体问题具体分析的方式,通过大量费力耗时的实验摸索,确定出合适的神经网络模型、算法以及参数设置。如何避开网络的参数配置问题,从另一个角度来提高神经网络的泛化能力,具有显著的意义。集成学习,为上述问题的解决提供了一个可行的方案。使用这种方法,可以通过训练多个神经网络并将其结果进行集成,来提高学习系统的泛化能力。本文的主要工作如下:(1)从神经网络敏感性的角度来研究集成学习。当前,大多数的集成学习是通过扰动数据集和调整神经网络的结构来获得个体网络之间的差异,从而集成网络。我们以集成中个体网络输出敏感性的差异为基础,提出了三种测量差异度的尺度和基于此的四种测量方法来选择个体网络,构造集成。实验表明基于敏感性的集成可以保持甚至提高集成的泛化能力同时降低集成中需要的个体网络的个数。(2)从概率的角度来研究集成学习中个体网络的多样性与集成准确率的关系。我们提出了一种基于错误层次的多样性尺度并与十种已知的尺度做了比较。实验表明集成中个体的多样性与集成的准确率之间并非简单的线性关系,当前该领域的研究工作仍有很多的不足,对此我们给出了分析和解释,并对今后的工作重点和方向给出了我们的看法。
其他文献
模糊查询在现实生活中非常普遍,在很多应用场合中,用户需要某些属性的目标值,但是不需要这些值的精确匹配。这些查询的结果就是一系列最符合所要求属性值的“Top-k”元组。网
随着电信业务的迅速发展,网络基础设施的建设工程日益增加,工程项目种类日益繁多,施工条件日益复杂。同时,传统的工程项目管理主要基于人工管理模式,导致项目管理效率低下,管理部门
随着机构改革的深化和现代化信息技术的发展,原有的政府办公模式已经不能适应日益增长的事务处理和信息共享等方面的要求,政府部门纷纷构建电子政务系统。政府业务过程的自动化
相比较传统的集中式的信息检索技术而言,对等计算(P2P)信息检索技术具有成本低、容错性好、可扩展性强等优点,可充分挖掘网络资源,并可提供个性化的网络服务。在面向文档资源
随着高性能计算应用的需求越来越大,设计性能良好、低价格的高性能计算集群满足不同用户的需求是中小型规模高性能计算的重要目标。蓝星高性能计算平台通过图形化的并行程序
P2P应用中有很多难点问题,比如效率、可靠性,信誉,安全性等,本文着眼于信誉机制的设计这一问题进行研究。目的在于设计并实现出一种可以直接部署在P2P文件共享应用中的信誉机
计算机网络已经渗入到人们生活的各个领域,微小的错误可能导致无法挽回的损失甚至危及人的生命。通信协议是网络正常发挥作用的基础,如何保证它的可靠性和安全性是学术界和工
求解NP难度问题一直是计算机科学技术的一个瓶颈任务。近年来的研究表明,对于NP难度问题可能根本不存在既完整严格又不太慢的求解算法。因此,这类问题的求解方法多为启发式方法
在生物信息学领域,利用计算对蛋白质结构预测进行模拟运算并从中预测出蛋白质分子空间构象的方法已被普遍接受。由于模拟运算所需要的计算量异常巨大,针对生物信息学领域对高
在嵌入式移动实时数据库系统中,无线网络环境具有带宽小、非对称、通信质量差等特点,为了支持大量移动用户并发访问数据库服务器上的内容,提高网络通信的伸缩性,人们提出数据