论文部分内容阅读
大数据已成为继云计算之后信息技术领域中研究热点之一。如何有效的分析和处理这些呈爆炸式增长的数据并提取其中有价值的信息,是当前亟待解决的问题。然而,现有的数据挖掘算法在处理如此巨量的数据信息时往往存在很大的局限性,不仅会消耗大量的物理资源,并且获得挖掘结果的质量也不高。针对这些问题,降低数据规模、对数据进行抽样分析是解决该问题的有效途径之一。当数据增加到一定规模时,其中所蕴含的知识和模式并不是成指数增长,而是逐渐趋于平稳,所以如何通过抽样算法在降低数据规模的同时保证原数据的分布特点,使更多的数据挖掘算法能够应用于大数据的分析处理,具有很重要的研究意义。本文首先对数据挖掘中抽样算法的国内外研究成果进行了汇总,通过对这些成果的深入研究,发现了当前数据挖掘中抽样算法的特性以及存在的问题。一方面,传统的抽样算法虽然能够解决数据规模问题,但是当数据集并不是均匀分布时,就可能导致抽样效率低、样本代表性差等问题。另一方面,也有很多数据挖掘算法是采取将抽样算法融入自身的算法改进中来应对大数据问题,然而这种算法改进只针对自身算法有效而不能适用于其他算法,存在一定的局限性。针对上述问题,本文提出了一种基于聚类算法的大数据抽样算法BKMS。首先对大数据的聚类方法进行了分析,然后对聚类算法中的K-means算法进行深入研究,针对K-means算法对初始聚类中心敏感的缺陷提出了一种改进策略。通过计算每个候选点临域内所有数据点的重心作为初始聚类中心,旨在选取的每个初始聚类中心相距较远避免算法陷入局部最优,使得聚类结果更加全面准确。同时引入MapReduce并行处理框架对算法进行实现,使算法更快更高效。在此基础上提出了抽样算法BKMS,该算法基于改进的K-means算法将数据进行分类,并引入最优样本容量的确定方法,在大数据环境下,对每一类别的数据分别进行抽取,在降低问题规模的同时能够保证数据信息的分布特点。最后对算法进行了验证分析,实验结果表明本文提出的抽样方法能够抽取到更具有代表性的样本集,并且具有更少的运行时间。