基于FIUT的并行频繁项集增量更新算法

来源 :计算机应用研究 | 被引量 : 16次 | 上传用户:liongliong462
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对目前大数据快速增加的环境下,海量数据的频繁项集挖掘在实际中所面临的增量更新问题,在频繁项超度量树算法(frequent items ultrametric trees,FIUT)的基础上,引入MapReduce并行编程模型,提出了一种针对频繁项集增量更新的面向大数据的并行算法。该算法通过检查频繁超度量树叶子节点的支持度来确定频繁项集,同时采用准频繁项集的策略来优化并行计算过程,从而提高数据挖掘效率。实验结果显示,所提出的算法能快速完成扫描和更新数据,具有较好的可扩展性,适合于在动态增长的大数据环
其他文献
在逆问题的参数识辨中,测量信息包含的信息量直接影响参数的重构精度,如何度量测量信息中的信息量,对选取参数识辨所需的测量点个数具有重要的指导作用。根据贝叶斯方法,将体现先验信息的先验概率和反映测量信息的似然概率融合得到待识辨参数样本出现的概率,结合信息熵和最大熵计算评价因子,将评价因子用于描述参数识辨前带有误差的测量信息所包含的信息量。计算实例表明,该计算方法可以有效地描述误差环境中的测量信息,对实
针对传统聚类算法对流数据进行聚类时面临时间复杂度高、存储空间需求大以及准确度较低的问题,提出一种基于差异性采样的流数据聚类算法。首先利用差异性采样法对流数据进行采样并用样本点构造核矩阵,然后利用核模糊C均值聚类算法对核矩阵中的点进行聚类得到一个带有标记的样本核矩阵,最后利用带有标记的样本核矩阵对流数据中的点进行划分。同时利用衰退聚类机制,实时更新样本核矩阵。实验结果表明,相比于传统聚类算法,该算法
针对港口设备在损坏后的维修调度问题,即事后维修的调度问题,通过对港口设备的事后维修调度安排进行分析,建立维修设备的调度模型。模型中使用BP神经网络算法来量化港口待维修设备的权值,并利用遗传算法来最小化维修作业任务的总加权完成时间,获得优化后的维修调度顺序和相对应的维修时间安排。通过港口吊具设备的维修算例,展示了优化的调度模型在港机设备中的运用,模型明确了港机的维修顺序,并在保证维修任务完成的情况下