论文部分内容阅读
随着信息化水平的提升，中国的航天科技发展日新月异，航天信息业也取得了跨越式发展。在对时空的探索中，航天数据有着至关重要的作用，它是分析的基础，实践的基石。当前航天数据高速、海量的发展趋势对数据的存储、查询和分析都提出了更高的要求。本文介绍了基于Hadoop的试验数据管理平台，该平台采用HDFS分布式文件系统和HBase分布式数据库综合存储的方式提供航天试验数据的云端存储和计算服务。本文设计了HBase+HDFS的综合存储方式来适应不同的数据类型和不同的用户需求，并在HBase和HDFS上实现一致的查询和计算服务；通过中间层以SQL语句的方式访问HBase，采用多线程实现HBase上数据的高速导入、查询和计算；对HBase和HDFS设计统一的缓存层，并制定有效的缓存策略，提高数据查询速率。最后通过实验对试验数据管理平台的功能和性能进行验证，结果表明该平台可以满足项目需求，提供高效的云端存储和计算服务。