海量数据分布式存储技术的研究与应用

被引量 : 37次 | 上传用户:king_casper
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着信息技术的蓬勃发展,互联网上业务不断地扩张,用户不断地增加,存储空间不断地增大,数据呈现出无法想象的增长趋势。然而存储容量往往同存储性能总成反比,传统数据库在应付海量数据时显得十分吃力,暴露出并发性低、扩展性差、效率低下等问题。因此,海量数据存储成为重点研究对象,基于MPP(Massive Parallel Processing)架构的并行处理分布式数据库就是其中的一个研究方向。本文对海量数据存储技术做了探索性的研究,选题自“十一五"国家科技重点支撑项目——安全可信的电信级生殖健康服务运营支撑体系关键技术研究,主要解决项目中数据量不断扩大带来的存取性能问题,为项目提供高并发性、高可用性、高扩展性的存储技术支持。本文的所做的研究工作主要包括以下几个方面:1、基于海量数据存储技术、关系型数据与NoSQL数据模型、分布式数据库存储和基于MPP架构的并行处理模式的理论,总结了海量数据存储的方案和应用到的新技术。2、分析了海量数据存储技术特点、比较了国内外常用的分布式海量数据存储技术的优缺点,设计了海量数据的分布存储模型,并详细阐述了SQL解析模块、数据切分模块、并行查询模块以及结果模块的实现方法。3、在海量数据存储模型设计和数据并行查询存储技术的基础上,自主研发了基于MPP架构的存储架构‘’DB Mapping"系统,实现了具有良好的扩展性和大规模并行处理的优势的海量数据存储解决方案。论文主要贡献是,提出了一种基于MPP架构的并行处理的海量数据存储方法,提出了从客户端发起请求到数据持久化的全程的数据存储方式,并融合了Map/Reduce的思想,将工作分发到各个数据节点,实现了数据的高可扩展性、高可用性、高并发性。并通过搭建分布式数据节点进行仿真测试,验证了该海量数据存储方式的可行性。
其他文献
自中国共产党第十六次全国代表大会第一次正式提出“加强党的执政能力建设”至今已逾十年,十年来理论界在此方面的研究不断向纵深发展。党的执政能力关系国家长治久安,加强党的
近些年,中小企业的迅速发展,为我国创造了大量的财富,但中小企业规模小、信用低造成的融资困境仍是阻碍其自身的发展的重要因素。在市场激烈的竞争中,供应链整体的良好发展,
文章通过分析移动互联网企业开展资本运营战略的具体措施、面临的问题和实施资本运营战略的作用,指出移动互联网企业在提升核心技术和创新商业模式的同时,还必须适时加快发展
西南地区少数民族的古代先民是最早采制饮用茶叶的人群,各民族按各自的方式种茶、采茶、制茶、饮茶,由不同的角度认识、体验、感知着茶在社会实践中的功能和意义,并赋予茶各种各
近年来,我国互联网技术取得了突飞猛进的发展,一方面,电子商务等的广泛运用为人们的生产生活带来极大便利,另一方面,互联网技术的发展使得网络经济成为我国商业竞争的新平台
根据汽车工厂焊装车间的实际运行情况,结合电气设计规范要求,对汽车工厂工频焊机等焊接设备提供通用的设计方式及变压器负荷计算,并对焊机的需要系数取值、变压器负荷情况进
随着我国金融市场开放的广度和深度的不断扩大,商业银行之间客户争夺的加剧,尤其是在零售业务中竞争更加激烈,各商业银行都在积极开展以“客户为中心”的服务营销竞争。如何
摘 要:清水江文书是随清代以来贵州“苗疆”区域开发过程中,在清水江流域中下游地区出现并遗存下来的汉文民间文献。随着清雍正年间开辟“新疆”,贵州东南部清水江流域经历了
环境设计专业的教学理念和教学方法要求高校密切关注市场及企业的发展动态,积极探索校企双方双赢的合作模式成为关键。工作坊教学模式成为安徽财经大学环境设计专业在校企合
轧钢机械在正常工作状态时,有一些故障会影响其工作状态,针对这一情况,必须建立对故障原因的判断体系,并利用合适的方法来确认是哪种问题,从而使轧钢机械避免出现更多类似的