基于聚类算法的大数据样本集优化的研究

来源 :长春工业大学 | 被引量 : 0次 | 上传用户:kelusi09
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据已成为继云计算之后信息技术领域中研究热点之一。如何有效的分析和处理这些呈爆炸式增长的数据并提取其中有价值的信息,是当前亟待解决的问题。然而,现有的数据挖掘算法在处理如此巨量的数据信息时往往存在很大的局限性,不仅会消耗大量的物理资源,并且获得挖掘结果的质量也不高。针对这些问题,降低数据规模、对数据进行抽样分析是解决该问题的有效途径之一。当数据增加到一定规模时,其中所蕴含的知识和模式并不是成指数增长,而是逐渐趋于平稳,所以如何通过抽样算法在降低数据规模的同时保证原数据的分布特点,使更多的数据挖掘算法能够应用于大数据的分析处理,具有很重要的研究意义。本文首先对数据挖掘中抽样算法的国内外研究成果进行了汇总,通过对这些成果的深入研究,发现了当前数据挖掘中抽样算法的特性以及存在的问题。一方面,传统的抽样算法虽然能够解决数据规模问题,但是当数据集并不是均匀分布时,就可能导致抽样效率低、样本代表性差等问题。另一方面,也有很多数据挖掘算法是采取将抽样算法融入自身的算法改进中来应对大数据问题,然而这种算法改进只针对自身算法有效而不能适用于其他算法,存在一定的局限性。针对上述问题,本文提出了一种基于聚类算法的大数据抽样算法BKMS。首先对大数据的聚类方法进行了分析,然后对聚类算法中的K-means算法进行深入研究,针对K-means算法对初始聚类中心敏感的缺陷提出了一种改进策略。通过计算每个候选点临域内所有数据点的重心作为初始聚类中心,旨在选取的每个初始聚类中心相距较远避免算法陷入局部最优,使得聚类结果更加全面准确。同时引入MapReduce并行处理框架对算法进行实现,使算法更快更高效。在此基础上提出了抽样算法BKMS,该算法基于改进的K-means算法将数据进行分类,并引入最优样本容量的确定方法,在大数据环境下,对每一类别的数据分别进行抽取,在降低问题规模的同时能够保证数据信息的分布特点。最后对算法进行了验证分析,实验结果表明本文提出的抽样方法能够抽取到更具有代表性的样本集,并且具有更少的运行时间。
其他文献
随着计算机网络和通信技术的飞速发展,数字媒体技术已得到广泛应用,随之而来的数字媒体的信息安全、知识产权保护和认证问题也变得日益突出。图像认证水印技术正是基于这种问
在过去的几十年中,水声通信技术取得了很大的进步,从而使构建水声通信网络变得可能。水声通信网络是一门新兴的网络技术,它由许多水下传感器节点和水下机器人组成,在海洋数据
随着网络技术的飞速发展,远程监控系统的组网模式也发生着变化。无线Mesh网络是近年来兴起的新型无线通信技术。基于无线Mesh网的远程监控系统通过构建自组织的无线Mesh网络
本文主要针对软件质量保证的重要手段软件测试技术和敏捷开发方法进行分析研究。首先介绍了一些软件测试理论以及测试技术,选取了几个有代表性的测试模型进行阐述并分析了它
伴随着经济的快速发展,企业间的市场竞争日趋激烈,人才已成为实现企业自身战略目标的一个至关重要的的因素,从根本上来讲企业管理就是对人才的管理。只有通过建立透明、易查和全面的人力资源管理系统,才能实现企业人才的最佳整合以及高效的管理。目前市场上开发的人力资源管理系统版本虽然很多,但要找到一款符合企业实际情况的人力资源管理系统软件并不容易,大多数系统在提升人力资源管理的水平和工作效率、降低管理成本、系统
实时操作系统由于其调度的实时性、响应时间的可确定性、系统高度的可靠性等特点,被越来越多地应用在汽车电子、航空航天和工业控制等众多领域。但是,已有的实时操作系统内核
自从互联网技术被引入商业应用以来,伴随着计算机和通信技术的飞速发展,互联网已经渗透到人们工作和日常生活的各个角落。网络化软件就是一类以Internet为媒介,拓扑结构和行
我国农业信息化建设面临诸多挑战,如农业相关数据本身的多样性、用户知识结构的多样化、应用领域多样化、系统灵活性和可扩展性等,因此怎样设计一种框架结构能够满足不同用户
如今,用户交互式问答社区已成为网上信息获取和知识分享的重要媒介。诸如Yahoo! Answers、百度知道等问答社区网站每天发布有数以万计的问题。然而,随着问答社区数据量的增长
网络安全态势感知系统是在当前网络安全问题日益突出的环境下产生的,并逐步成为网络信息安全领域内研究的热点。网络安全态势感知系统要求从多个角度对大规模网络的安全状况