基于Spark的分布式大数据并行化聚类方法研究

来源 :湖北第二师范学院学报 | 被引量 : 0次 | 上传用户:sonic0824
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为提高异构复合存储数据库中分布式大数据的检索识别能力,提出一种基于Spark融合聚类的异构复合存储数据库中的分布式大数据并行化聚类方法,构建异构复合存储数据库存储结构模型,提取数据库中的分布式大数据的统计序列特征量,采用相空间结构重组方法进行分布式大数据的信息特征挖掘,在高维相空间中实现分布式大数据关联信息检测和特征挖掘。对提取的特征量采用Spark融合聚类方法实现并行聚类,结合自适应的学习算法实现数据聚类中心的自动搜索,提高聚类的收敛性。仿真结果表明,采用该方法进行异构复合存储数据库中分布式大数据聚类的
其他文献
市面上蜜蜡产地主要为波罗的海、缅甸,近年来出现一种外观似天然蜜蜡的合成树脂。本研究使用傅里叶变换红外光谱仪及Elementar vario cube元素分析仪测量了缅甸、波罗的海蜜
作为广州市首批区级融媒体中心,黄埔区融媒体中心定位打造成“全国一流融媒标杆”,并积极探索一条“专精特新”深度融合发展新路径。“推进媒体深度融合,实施全媒体传播工程,
该文介绍专家系统和人工神经网络在决策支持系统中的集成的合理性、机理和应用方法。综合应用专家系统、人工神经网络、数学模型和一般的决策方法,可以使复杂问题的决策变得较为容易和可行。该文也为计算机仿真技术在智能决策支持系统中的应用提供了一种方法,并揭示了对有关经济决策问题进行计算机仿真的特点。