论文部分内容阅读
“灾难性遗忘”(Catastrophicforgetting)是指认知或学习系统在学习新事物时完全破坏或清除其已有知识的现象。自然的认知系统,特别是人脑,具有渐进学习的能力,能够在保有已有知识的情况下学习新的知识,极少出现“灾难性遗忘”现象。这种以渐进方式学习获取知识能力称为增殖学习能力,它使得学习系统能够通过不断的学习增强其解决问题的能力。遗憾的是,人工神经网络没有增殖学习的能力,“灾难性遗忘”是人工神经网络学习中存在的普遍现象存在的。如何赋予人工神经网络增殖学习的能力,是人工神经网络领域中一个极具挑战性的课题,具有很高的研究价值和现实意义。对人工神经网络产生“灾难性遗忘”现象的分析表明,连接权形式表示的知识的分布式存储是导致该现象的根本原因。受网络复杂性和知识容量的限制,单网络改造的增量学习方法无法从根本上解决问题。因此,本文提出了神经网络的增殖学习框架及对应的自治神经网络模型,以知识重用为手段,利用多个有限推广的自治网络组成的多网络系统实现增殖学习的目的。主要工作如下:
1.分析了“灾难性遗忘”现象的产生原因,在网络知识容量和推广能力分析的基础上,提出了人工神经网络的增殖学习框架,利用多个有限推广的网络对样本集进行学习,避免了单网络学习时的“灾难性遗忘”现象。多网络集成形成的整体重用其组成个体具有的知识,以知识积累和继承的方式达到增殖学习的目的。
2.研究了神经网络的输出表示方式,提出了平衡纠错编码的自治神经网络模型,根据输出洁净度和编码距离准则产生输出可靠性评估信息,并在此基础上做出最终决策。并针对集成环境提出了集成可信度评估准则,对单网络可信度评估的不足之处进行了改进。实验结果表明,该自治网络具有较高的可靠性,集成可信度评估准则能够有效提高网络的推广性。
3.根据网络推广行为中内插和外推的可靠性差异,提出了一种基于覆盖技术的自治双网络模型,通过对网络推广行为的区分实现网络的自治性。该网络模型由主网络和覆盖网络组成,其中主网络学习样本集与学习目标间的映射关系,覆盖网络则通过对样本集空间分布关系的建模评估主网络的推广可靠性,两个网络模块相互补充,共享同一样本集。针对覆盖集对覆盖中心选择的敏感性提出了聚类引导覆盖中心选择及多覆盖集集成的解决办法,实验显示上述方法能够有效的改善整体的自治性。
自治网络解决了多网络学习系统中网络个体选择的难题,由自治网络构造的多网络系统不需要集中式的信令分配机制。对多个自治网络组成的学习系统的增殖学习能力,分别通过分类和回归问题进行了实验验证,取得了较为满意的结果。结果表明,利用自治网络个体构造具有增殖学习能力的神经学习系统是切实可行的。