Hadoop在商业智能中的研究及应用

来源 :江苏科技大学 | 被引量 : 1次 | 上传用户:oldfly2005
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网信息技术的高速发展,全球进入大数据时代。伴随着这些急速膨胀的数据规模,决策者以及客户在海量数据中如何获取有效信息是当前需要解决的首要问题。商业智能领域的发展使得企业将数据转化为知识成为了可能,其中推荐算法的出现则构建了一条产品、信息与用户之间的有效通道。此外,Hadoop平台研究的迅速发展使得利用分布式技术处理大数据分析更为有效和方便。本文通过对当前个性化推荐算法的研究,利用灰色系统的理论知识,结合分布式平台处理大数据的方法,提出一种基于灰色关联分析的分布式协同过滤推荐算法。首先,本文对协同过滤推荐算法进行研究,主要介绍了基于用户的、基于项目的和基于模型的这三种协同过滤推荐算法,对这三种协同过滤推荐算法的实现进行研究;其次,对灰色系统中的灰色关联分析进行研究,详细介绍了不同的灰色关联度模型的特征和计算方法;然后,通过对Hadoop生态系统的重点探讨,研究分布式系统的存储和读写原理,分布式数据库的设计原理,并利用MapReduce研究分布式系统的并行化计算和调度机制。根据上述理论知识的研究,本课题将灰色关联分析和分布式理论结合,给出一种基于灰色关联分析的分布式协同过滤推荐算法,该算法解决了当前协同过滤推荐算法面临的评分矩阵信息因素不完全和不确定性,以及数据稀疏性和当数据规模较大时出现的计算瓶颈及可扩展性等问题。在文章最后,设计并实施Hadoop分布式系统和分布式数据库服务器集群,利用该集群实现了本文所提出的算法。实验表明,基于灰色关联分析的分布式协同过滤推荐算法可以有效地实现大规模数据的推荐,与传统的CFR算法相比平均绝对误差有一定的下降,而且通过增加Hadoop集群的数据节点可以解决数据可扩展性的问题,同时,该推荐算法的可行性也是Hadoop在商业智能上有效应用的体现。
其他文献
机器人已广泛应用于工业自动化的各个领域,成为人们关注的焦点。本课题使用OMRON公司的FH视觉控制器和NJ运动控制器,设计机器人曲棍球对决控制系统。该系统由FH视觉系统、NJ
近年来,随着电力电子技术的广泛应用,电能得到了更加充分的利用。但是,电力电子装置本身具有非线性的特点,会使电网的电压和电流发生畸变。由于这些高度非线性的设备在数量和容量上不断增加,使得电力系统谐波污染问题日益严重,已成为了影响电能质量的公害,对电力系统的安全、经济运行造成极大的影响。同时电力系统设备和用户用电设备对电能质量的要求越来越高,因此治理电力系统的谐波污染具有很重要的现实意义。有源电力滤波
机器人示教是实现机器人轨迹再现的主要方式,其工作原理决定了机器人作业的复杂程度。而采用人体运动跟踪技术,可以简化机器人的示教程序,提高工作安全性。本文研究了基于MEM
因传统火灾探测器探测方式的局限性,导致无法及时的在开阔的室外环境以及大面积的室内场所中对火灾进行有效预警。为解决在大空间环境下的防火、灭火等问题,提升火灾探测技术的
当今,由于海量数据的形成,迫切需要将这些数据转换成有用的信息和知识,促进了数据挖掘的应用,使这一技术迅速得到发展和完善。数据挖掘是数据库、人工智能和统计学等学科的研
不间断电源(Uninterruptible Power Supply)是一种能够提供优质电能并保证电力供应连续的电力电子装置,已经广泛地应用于众多领域。在众多不间断电源中,在线式UPS的性能最好,应用最为广泛。随着高性能控制芯片的出现,UPS的数字化控制成为一种发展的趋势。本文采用TMS320F2812作为系统的核心控制芯片,研究和开发数字化的在线式单相不间断电源。首先介绍了UPS电源的分类、发展
随着绿色能源的发展,电力用户对电能质量的要求不断提高。作为电网与用户的接口,整流器的性能对电能质量的作用至关重要。传统二极管不控整流器会引起网侧电流的畸变,从而带
在我国建设节约型社会的背景下,供暖收费过渡到按热量计量收费是大势所趋。现有的热量计量系统主要采用传统的水表技术,存在计量精度低、使用寿命短、待机时间短以及网络通信能力差等缺点,不能满足热量计量的高精度、高可靠性、及远程控制等要求。本文首先对超声波热量表的研究背景及国内外发展现状做了综述性分析,对亟待解决的关键问题进行了深入分析。其次,提出了一种基于渡越时间差法的高精度超声热量计量方法,深入系统的分
气液两相流是自然界和工业生产过程中广泛存在的流动形态。气水弹状流是气液两相流的重要组成部分,由于其流动状态复杂、参数多、变化大,对于弹状流流动特性的研究以及参数的准确预测一直是国内外科学研究的重点与难点。国内外对于弹状流流动特性的研究主要以现场实验与理论分析为主,并已取得很大的进展,而以现代计算流体力学技术为手段的研究尚属少数。本文将从两相流的流动机理出发,利用数值仿真技术,对水平管气水两相弹状流