PaaS平台统一数据管理的设计与实现

被引量 : 1次 | 上传用户:ybingh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算PaaS (Platform as a Service,平台即服务)平台将软件的部署、运行和维护作为一种服务按需提供给软件开发用户,成为近年来非常热的研究方向。Cloud Foundry (CF)是业内第一个开源的PaaS平台,赢得了学术界和产业界的欢迎与重视。在PaaS平台中,系统组件和托管于平台的应用随时都会产生数据,既包括实时的性能数据,也包括各自产生的日志数据。这些数据表征着用户访问、系统运行、异常产生等重要的状态信息。为了高效地监控PaaS平台,保证服务运行良好,需要对上述数据进行管理。目前,PaaS平台(以CF为例)在数据管理方面不尽完善,存在以下不足:部署在平台上的应用在重启、停止等情况下会丢失重要数据;数据源分散,采集方式不一;采集到的数据格式不一,存储方式不一;缺少数据清除和历史统计数据。本文针对这一现状,在深入学习CF平台运行机制的基础上,吸取New Relic在数据采集方面的成功经验,提出了PaaS平台统一数据管理系统设计方案,即通过采集插件将CF组件的数据集中存储并提供统一访问接口。基于设计方案,分别实现了数据采集、数据传输和数据存储各个子系统。本文主要做了以下工作:(1)研究CF组件运行机制,借鉴New Relic数据采集经验,进行采集插件开发,为CF平台增加数据收集功能;(2)整合分布式消息队列Kafka、实时分析框架Storm实现数据高效传输和实时统计,提供统一操作NoSQL数据库HBase的访问接口;(3)实现采集、传输和存储各个环节的数据流通,将各个子系统结合为一个完整的数据管理系统。最后,根据实现情况,设计实现了测试用例,对数据管理系统进行了功能测试,从测试结果看,达到了预期目标,各个子系统运行良好。
其他文献
人体动作识别在视频监控、人机交互以及游戏娱乐等产业中有着广泛应用。基于传统二维图像的识别方法容易受到复杂背景、光照变化、阴影和物体等因素的干扰,在实际环境中的应
随着海洋工程技术的快速发展,我国已从“浅蓝”迈向了“深蓝”。但由于深海环境具有复杂性和特殊性,难以身临其境地进行分析和研究,因此需要设计一套能够模拟深海环境的装置
每年三月份的总理记者招待会成了世界了解中国政治、经济、外交等政策的窗口。其中,口译在这场招待会中发挥着桥梁性作用,口译质量的高低直接影响了中国对外宣传的成效。而口
在过去几年中,移动互联网和智能手机的快速发展,给蜂窝网络中各种类型的数据应用带来了爆炸式的增长,预计未来十年网络容量的需求将增加几千倍。为满足未来网络服务的需求,需
党的群众路线是一个庞大的、复合的概念体系,是揭示社会发展的真正推动力量的历史观。在中国共产党带领人民进行革命、建设和改革的漫长路程中,最宝贵、最重要的经验就是始终
近年来,随着规模化、集约化养猪业的兴起,由于饲养管理水平低,饲料质量无保证,免疫抑制因素增多,多种病毒、细菌导致的混合感染在猪群中普遍存在,导致仔猪流行性腹泻呈高发多
随着近十年来计算机网络技术的高速发展,目前在世界范围内已经形成了覆盖全球的互联网络,并承但数十亿终端设备的接入、互通和数据交互。同时,随着互联网技术的高速发展,互联
当前我国中小企业面临的竞争已经从资源、渠道等方面转向人才竞争。企业对人力资源的管理必须转为更为科学合理的人力资源管理体系。通过有效的人力资源开发和管理提高企业的
本文对钢─混凝土简支组合梁交接面相对滑移引起的附加变形进行了理论分析。在建立相对滑移微分方程的基础上,得到了不同荷载情况下钢─混凝土组合梁因滑移效应引起的附加变形
当今社会发展迅速,人们的生活节奏加快,绘本这种以图画为主要表达语言的书籍形式越来越受到现代人们的喜欢。随着台湾绘本作家几米将绘本真正带入中国大陆,许多年轻的画师纷