论文部分内容阅读
神经网络集成是目前国际机器学习和神经计算界的一个相当活跃的研究热点,对该问题的研究不仅有助于科学家对机器学习和神经计算的深入研究,还有助于普通工程技术人员利用神经网络来解决真实世界中的问题。对神经网络集成实现方法的研究主要集中在两个方面,即怎样将多个神经网络的输出结论进行结合以及如何生成集成中的个体网络。研究表明,组成集成的个体神经网络之间的差异性是集成有效的主要原因,只有集成中各个体神经网络产生的错误表现一定程度的差异性,即它们产生的错误分布在不同的数据空间,一个神经网络产生的错误才能够被集成中其它的神经网络补偿,集成才会有效。从集成差异性的角度,集成中个体神经网络生成分为两种方法:直接生成方法、过产生和选择方法。过产生和选择方法先生成一组规模较大的神经网络,然后基于某种准则进行神经网络选择形成集成,使得集成中神经网络具有差异性。本文把神经网络用于模式分类问题,对集成中个体神经网络产生以及它们结论结合方法进行了研究。基于模糊聚类思想,提出了一种神经网络集成方法。利用隶属度函数,构造了一个分布函数,根据分布函数对训练数据进行抽样,用所抽得的数据作为个体神经网络的训练样本,训练多个神经网络构成神经网络集成。理论分析和实验结果表明,该方法对模式分类能取得较好的效果。另外,基于模糊聚类思想,提出了一种加权神经网络集成的方法,该方法计算每个测试样本分别到每个模糊聚类中心的距离,并用这个距离估计该样本属于各类的隶属度,然后对每个神经网络的输出结果用求得的隶属度进行加权结合。基于模式特征数据聚类,提出了一种选择性神经网络集成方法,通过聚类把模式特征空间划分成不相交的区域,对于初始神经网络集合,各区域给出神经网络的删除分值,各神经网络总分值确定它的删除优先级别,由删除优先级别选择一组神经网络组成集成。理论分析和实验结果表明,基于聚类选择的神经网络集成方法能够更好的对模式进行分类。基于神经网络间的差异性,提出了一种选择性神经网络集成方法。该方法利用差异性度量,选择满足一定条件的个体神经网络组成神经网络集成,选出的个体神经网络既满足个体的精度要求,又满足个体神经网络之间的差异性要求。理论分析和实验结果表明,利用该方法能够提高神经网络集成的分类识别率。