基于大数据多维分析的近似查询处理技术研究

来源 :贵州大学 | 被引量 : 0次 | 上传用户:yangl3255
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的蓬勃发展,大数据时代已然降临。越来越多的组织和机构希望从海量数据中挖掘有价值的信息,以支持商业决策和事务决断。多维分析技术可以从多个维度和层次对海量数据进行分析,能为企业提供有力的决策支持服务。进行多维分析时,通常需处理大规模数据集,这就要将数据不断加载到内存中,导致即使一个普通的聚集查询,也可能耗费大量的执行时间;并且在具体的业务分析中,常常只需要掌握大体的发展趋势,并不要求完全准确的结果。因此,可以将近似查询处理技术,应用到此类分析场景中。本文主要研究近似查询处理技术。首先针对大数据多维分析中聚集查询效率过低的情况,研究近似查询处理中的抽样技术,在此基础上,提出了基于聚类的分层抽样近似处理技术(CSSAQP);接着利用Hadoop平台和Hive系统设计了一个近似查询处理引擎,该引擎实现了随机抽样、分层抽样以及本文提出的抽样算法;最后通过实验验证了CSSAQP的合理性和有效性。
其他文献
近年来,随着我国人民生活水平的不断提高,文化意识也达到一个新的高度,少数民族地区的非物质文化遗产以何种科技手段保护与传承受到国内外学者的广泛关注。怎样以现代化、科学化、数字化,结合我国的基本国情来保护和传承少数民族地区的非物质文化遗产,己成为当代有志学者所必须面对的重要课题。贵州省地处中国西南部,是一个多民族、多元文化的省份,沉淀了丰富的少数民族文化,并形成了独具特色多元的少数民族文化艺术,是目前
目的:探讨内镜直视下扩张治疗尿道狭窄的疗效.方法:对128例尿道狭窄患者采用腔内泌尿外科技术治疗.结果:126例尿道狭窄采用输尿管镜、尿道膀胱镜直视下直接扩张,成功率为98.4
改革开放以来,我国的国民经济总量实现了长期的稳步提升,经济得到持续高速增长,2010年经济总量已经赶超日本,成为仅次于美国的世界第二大经济体。伴随经济的快速发展,一系列问题逐步凸显出来,其中最为引人关注的就是我国各地区经济发展差距的问题,而且这一问题仍有扩大趋势。根据我国土地、人口、就业、消费、财政收入、产业结构和GDP等一系列指标测度我国各地区的国民经济和社会发展,结果显示我国东部地区的综合发展