基于粗糙集的增量属性约简机理与算法研究

来源 :华北电力大学(北京) | 被引量 : 12次 | 上传用户:caj978879947
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在大数据时代,计算机技术的飞速发展使得人类所收集的数据普遍呈现规模的海量性、表示的高维性、类型的混杂性以及时空的动态性等特征。如何高效地从这种数据中去除冗余以及不相关的属性,以解决学习算法的“维数灾难”问题并提高学习算法的性能,一直是机器学习领域的热点课题之一。经典粗糙集属性约简以保持条件属性与决策标签之间的一致性为出发点,实现了对符号数据中冗余属性的有效去除。为了处理不同类型甚至混杂的高维数据,经典粗糙集被拓展到更广义的模型。然而,当面对大规模以及动态数据时,现有粗糙集属性约简算法常常耗费大量的计算时间,甚至在某些软硬件环境下由于内存溢出而无法执行。为了克服这些问题,本文基于推广的粗糙集模型从增量的角度对符号型、实值型以及混杂型的高维海量动态数据展开属性约简增量机制的研究。主要研究成果和创新点如下:(1)设计了主动样本选择的机制,永久性地过滤了无用样本。对有用样本,通过研究属性约简的增量过程,揭示了如何从当前约简中删去冗余属性和加入有信息量的属性到当前约简。通过融合主动样本选择的机制和属性约简的增量过程,设计了经典粗糙集属性约简的增量算法,实验验证了该算法处理符号型动态数据的时间和空间的高效性。(2)用两个布尔向量刻画了变精度粗糙集属性约简,利用极小元素构造了变精度粗糙集属性约简算法。当有新样本加入时,基于辨识矩阵中极小元素的增量计算,研究了变精度粗糙集属性约简的增量过程,揭示了如何从当前约简中删去冗余属性以及加入有信息量的属性到当前约简。基于这一增量过程设计了变精度粗糙集属性约简的增量算法。数值实验验证了该增量算法的有效性和高效性。(3)用相对辨识关系刻画了一般模糊粗糙集模型的属性核心以及约简,设计了基于相对辨识关系的模糊粗糙集属性约简算法。基于相对辨识关系的增量计算,研究了属性增加和删去的准则,设计了两个模糊粗糙集属性约简的增量过程:1)每次有样本子集加入时,执行属性约简的增量计算,当不再有样本子集加入时,即获得整个数据集的约简;2)每次有样本子集加入时,仅增量计算相对辨识关系,当不再有子集加入时,即可得整个数据集的相对辨识关系,基于该相对辨识关系可得整个数据集的约简。其中,过程一更适合动态数据,而过程二更适合大规模数据。实验表明在不退化分类性能的前提下,这两个增量过程都加速了模糊粗糙集属性约简的获取,且过程二在处理大规模数据时表现出了更高效的性能。(4)分别对于符号属性和数值属性定义了辨识关系以刻画它们相对于决策标签的区分能力,用辨识关系的并集构造了依赖函数以度量混合属性与决策标签之间的一致性,通过在小的波动范围内保持该依赖函数不变定义了混合数据的属性约简。用相对辨识关系刻画了混合数据的属性约简,设计了相应的约简算法。当有多个样本加入混合数据时,基于相对辨识关系的增量计算,研究了混合数据属性约简的增量机制,提出了混合数据属性约简的增量算法。实验表明,所提混合数据属性约简能有效处理混合数据,实现了符号属性和数值属性之间的相互替换,且所提增量算法加速了混合数据属性约简的获取。(5)为了从含缺省值、符号值、实值等属性的混杂数据中选择有信息量的属性子集,我们引入相对辨识关系刻画了覆盖粗糙集的属性核心与约简,利用相对辨识关系设计了混杂数据的约简算法。基于相对辨识关系的增量计算,研究了属性增加和删去的准则,设计了两个覆盖粗糙集属性约简的增量过程:1)每次有样本子集加入时,增量计算一个覆盖约简,当不再有子集加入时,就得到该混杂数据的覆盖约简;2)每次有样本子集加入时,仅增量计算相对辨识关系,当不再有子集加入时,就得到该混杂数据的相对辨识关系,基于该相对辨识关系从空集开始计算混杂数据的覆盖约简。实验表明,这两个增量过程极大减少了计算一个覆盖约简的运行时间,且第二个增量过程更加高效。
其他文献
[摘 要:本文结合十九大报告中对于弘扬职业精神的政治要求,通过调查高职教育在职业精神培养上存在的问题,总结提炼出高职教育中培养职业精神的实践途径,为高职教育中职业精神的培养提供有价值的实践参考。  关键词:专业教学;职业精神;实践途径]  党的十九大报告提出,建设知识型、技能型、创新型劳动者大军,弘扬劳模精神和工匠精神,营造劳动光荣的社会风尚和精益求精的敬业风气。作为劳动价值和劳动精神最直观的体现
<正>伴随着低碳经济的时代到来,针对一些传统的材料以及工艺已不能满足发展要求,既节能环保、轻量化越来越成为TPE塑料企业所关注的热点,新型TPE材料势必将成为塑料企业的发
国家工程技术研究中心是我国为推动行业发展,促进科技成果向生产力转化的“产、学、研”平台,是国家科研基地的重要组成部分,是国家向科技强国转型的核心力量。对国家工程技
元杂剧大家纪君祥创作的《赵氏孤儿》讲述的是残酷壮烈的血亲复仇故事,王国维称该剧“即列于世界大悲剧中,亦无愧色也”;在日本,再现“四十七义士”为主复仇而后集体切腹的歌舞伎
藏羊是青藏高原的优势畜种之一,在青海省内分布广泛,随着多年的藏羊繁育和生产工艺技术进步,藏羊肉产业及其延伸出来的副产品产业取得了长足发展,已经成为促进青海省牧区经济
<正>植物日光性皮炎是由于接触或进食某些光敏性植物再经过光照后引起的光毒性反应,皮疹主要发生于面部、手臂等暴露部位,临床表现主要为非凹性水肿、瘀点、瘀斑、丘疹、水疱
[摘 要:现代科学技术的发展不但带动了国家企业的发展,还对高校圖书馆的管理有极大的作用。21世纪是一个信息化的时代,图书馆的管理也离不开网络技术,传统的高校图书馆管理模式已经无法再满足社会对需求了,因此,高校图书馆管理模式创新是必须要进行的。在网络环境下的图书馆管理模式的创新离不开网络技术的应用,但是在当前阶段的高校图书馆管理模式创新中还存在着许多问题,本文将详细讲述图书馆管理模式的现存问题,并列
[摘 要:中职学生核心素养是素质教育内涵的具体阐述,学生在中职学校的学习中逐步形成的适应个人终身发展和社会发展需要的必备品格和关键能力。英语作为一门基础的人文学科,有着较强的人文性和实践性,中职英语教学能够明显提升学生的英语运用能力,培养学生良好的综合人文素养,核心素养在英语课堂教学中的渗透可以提升英语课堂的有效性,改变以往以知识传输为目的的教学,把“课堂”真正还给学生。  关键词:中职学生核心素
从2007年起青海省海北州继续以农牧业增效、农牧民增收为目标,认真组织实施各项畜牧业生产措施,使全州畜牧业生产保持了又好又快的发展。为了进一步推进海北州畜牧业的健康、可