论文部分内容阅读
近年来随着通信行业和互联网行业的高速发展,人们日益享受到科技发展带来的便捷。与此同时,数据中心的规模也在迅速膨胀,并且数据中心的能耗已经不能忽视,在2012年我国数据中心耗电664.5亿度,已经占到工业总电量的1.8%,并且耗电量依然在高速增长当中。为了合理降低数据中心的能耗数,需有一套系统可以实时获取数据中心的能耗数据,基于采集到的能耗数据,该系统可以进行能耗查询,能耗分析等功能模块。通过实时提供数据中心的能耗信息,该系统可以为数据中心管理人员提供全面的信息支持。基于以上需求本文设计并实现了基于Hadoop平台的能耗系统,本文涉及到的工作主要包括三部分:1.本文设计并实现了基于Hadoop与关系型数据库的混合海量数据存储架构。Hadoop在大数据并行处理方面具有良好的性能,关系型数据库在快速查询方面具有优势,本文结合了两者优点构建了能耗系统的平台框架层。在Hadoop与关系型数据库之间使用Sqoop工具来实现二者的数据导入导出。2.依托于混合海量数据存储系统,本文设计实现了能耗系统的功能模块层。功能模块层包括能耗查询模块,用户可以自定义查询条件(时间、用能场所、能耗类型等)来查询所需的能耗数据;能耗分析模块,可对能耗数据进行多维度的分析;并行数据挖掘模块,对采集到的海量能耗数据进行并行数据挖掘,挖掘出更深层的有用信息;多租户管理模块,提高了能耗系统的资源利用率,同时通过数据隔离与应用隔离保证服务的可靠性。3.结合系统采集的能耗数据与计算机CPU利用率、内存利用率等硬件数据,本文提出了一个能耗模型,该模型可以用硬件数据来预测计算机能耗。计算机硬件数据是可以轻易获取的,而通过电表、传感器来获取能耗数据既有传感器部署成本又有其自身带来的能耗损失,使用能耗模型来推测数据中心能耗,大大降低了数据的获取成本。本文首先给出了能耗模型的推导过程,并通过实验来得到模型的参数。