论文部分内容阅读
在住房和城乡建设领域,随着各种信息化技术的广泛应用,所产出的浩瀚基层数据蕴涵了不同维度下所涉及的行业和发展信息,并且已经呈现出大数据特征,传统的信息处理技术已经无法适应需求,急需数据存储结构和数据处理模式的转变。与此同时,Hadoop作为开源的大数据存储和计算框架,逐渐成为大数据时代的代名词,已经被各行各业广泛认可与应用。然而,当前房地产交易大数据分析主要停留在理论研究,基于Hadoop的行业应用也因为数据维度和数据量等方面的不齐全还难以给出行业全面的决策支持。本文便是基于开源的Hadoop发行版本CDH对房地产交易大数据分析与应用进行研究。详细阐述了大数据集群测试平台部署,分析、设计和实现了房地产大数据报表系统及房地产大数据分析及可视化系统,形成了“一平台两系统”框架。首先,本文就大数据基础理论与系统开发的框架理论进行研究。大数据基础理论方面,研究了数据分析的角度和Hadoop生态圈的主流组件,并选取了Kylin作为多维大数据分析引擎;系统开发框架理论方面,对比分析了B/S和C/S的架构,研究分析了基于ASP.NET的Web Forms架构和基于Java的SSM架构。接着,本文按照“一平台两系统”的框架思路,部署了基于CDH和Kylin的大数据测试平台,并对基础环境进行了配置优化。详细阐述了房地产大数据报表系统与房地产大数据分析及可视化系统的分析、设计与实现过程,并给出了实际编码示例。最后,结合实际的测试数据,测试与展示了“一平台两系统”。结果表明:系统通过测试与展示,验证了其符合初期设计的要求,达到了系统设计的目标,对于相关决策支持有着实际意义和实用价值。