人工神经网络知识增殖性研究

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:chenming000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
“灾难性遗忘”(Catastrophicforgetting)是指认知或学习系统在学习新事物时完全破坏或清除其已有知识的现象。自然的认知系统,特别是人脑,具有渐进学习的能力,能够在保有已有知识的情况下学习新的知识,极少出现“灾难性遗忘”现象。这种以渐进方式学习获取知识能力称为增殖学习能力,它使得学习系统能够通过不断的学习增强其解决问题的能力。遗憾的是,人工神经网络没有增殖学习的能力,“灾难性遗忘”是人工神经网络学习中存在的普遍现象存在的。如何赋予人工神经网络增殖学习的能力,是人工神经网络领域中一个极具挑战性的课题,具有很高的研究价值和现实意义。对人工神经网络产生“灾难性遗忘”现象的分析表明,连接权形式表示的知识的分布式存储是导致该现象的根本原因。受网络复杂性和知识容量的限制,单网络改造的增量学习方法无法从根本上解决问题。因此,本文提出了神经网络的增殖学习框架及对应的自治神经网络模型,以知识重用为手段,利用多个有限推广的自治网络组成的多网络系统实现增殖学习的目的。主要工作如下: 1.分析了“灾难性遗忘”现象的产生原因,在网络知识容量和推广能力分析的基础上,提出了人工神经网络的增殖学习框架,利用多个有限推广的网络对样本集进行学习,避免了单网络学习时的“灾难性遗忘”现象。多网络集成形成的整体重用其组成个体具有的知识,以知识积累和继承的方式达到增殖学习的目的。 2.研究了神经网络的输出表示方式,提出了平衡纠错编码的自治神经网络模型,根据输出洁净度和编码距离准则产生输出可靠性评估信息,并在此基础上做出最终决策。并针对集成环境提出了集成可信度评估准则,对单网络可信度评估的不足之处进行了改进。实验结果表明,该自治网络具有较高的可靠性,集成可信度评估准则能够有效提高网络的推广性。 3.根据网络推广行为中内插和外推的可靠性差异,提出了一种基于覆盖技术的自治双网络模型,通过对网络推广行为的区分实现网络的自治性。该网络模型由主网络和覆盖网络组成,其中主网络学习样本集与学习目标间的映射关系,覆盖网络则通过对样本集空间分布关系的建模评估主网络的推广可靠性,两个网络模块相互补充,共享同一样本集。针对覆盖集对覆盖中心选择的敏感性提出了聚类引导覆盖中心选择及多覆盖集集成的解决办法,实验显示上述方法能够有效的改善整体的自治性。 自治网络解决了多网络学习系统中网络个体选择的难题,由自治网络构造的多网络系统不需要集中式的信令分配机制。对多个自治网络组成的学习系统的增殖学习能力,分别通过分类和回归问题进行了实验验证,取得了较为满意的结果。结果表明,利用自治网络个体构造具有增殖学习能力的神经学习系统是切实可行的。
其他文献
网络计算机(Network Computer),简称NC,是专用于高速网络环境下的一种计算机终端设备。它一般不需要硬盘、软驱及光驱等外部存储器,而是通过网络获取大部分资源,其所需要的应
图像是人们生活中信息交流的最为重要的载体,也是蕴涵信息量最大的媒体。众所周知,数字图像的数据量非常庞大,必须经过有效的压缩,才能满足数字图像的高速传输和存储。所以图
  本文首先描述了多速率CDMA的几种常用方案,然后分析并建立了可变处理增益多速率系统的信号模型。在可变处理增益多速率系统模型上对现有的基于子空间分解的检测器算法进行
目的:探讨、分析重度颅脑损伤患者ICU治疗的方法和效果。方法:将52例重度颅脑损伤患者应用随机数字表分为2组,给予对照组(n=26)常规治疗,观察组(n=26)在常规治疗的基础上接受ICU治疗,
胎儿监护是保障产妇和胎儿安全,实现优生优育的重要手段。胎儿监护仪可以克服听诊胎心的缺点,实现连续观察监护胎心率(FHR)。临床上通过其描记的基线率(FHR baseline)、基线率
本论文研究的课题是低速率语音编码(LowBitRateSpeechCoding)算法,根据近十几年来人们致力于速率在4kbps以下达到长话质量的语音编码器的研究现状,对瑞典皇家理工学院的W.B.Kle