面向长周期天文数据归档的存储布局优化

来源 :天津大学 | 被引量 : 0次 | 上传用户:jbue520
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着观测能力的不断提升,天文观测获取的数据量呈爆炸性增长,大量优异的天文学研究成果建立在这些海量的历史观测数据之上。因此,建立一个长周期天文观测数据归档系统对于天文学研究有着重大的意义。然而这些海量的天文观测数据给归档系统带来了不可忽视的能耗和性能问题。其中,存储布局的优化是能够减少能耗并提高性能的有效方式。由于归档系统数据请求往往是针对天球面上的某一区域,观测现场的时间集聚存储布局方式在能耗和性能查询方面往往开销很大。采用空间集聚存储布局是优化归档系统能耗和性能的有效方式。但是,如何在保持较高的存储容量利用率的同时将邻近天区的观测数据聚合到同一个存储设备上并且实现不同存储设备数据量的负载均衡是一个具有挑战性的问题。
  针对该问题,本文为归档系统开发了存储布局转换工具AstroLayout。在将观测现场产生的天文数据加入到归档系统时,AstroLayout可以根据原始观测数据生成一种新的适用于归档系统的空间集聚存储布局GpDL,并完成从源存储布局向GpDL存储布局的数据复制。本文提出的GpDL布局创新性地将图划分算法引入到长周期天文数据归档系统的空间集聚存储布局生成方案中来,先用HEALPix对天球面进行了初始的细粒度划分,然后根据数据分布的密度使用图划分算法将邻近的微小区域聚合成数个子区域,实现了不同子区域数据量的负载均衡。在数据复制的过程中,AstroLayout兼容硬盘、光盘、磁带等多种目标存储设备,还提供了断点续传、超时检测、文件校验等功能以增强工具的可用性。
  实验表明,GpDL在保持了高达91%的存储容量利用率的同时,为归档系统节省了资源并提升了数据查询速度,与TaDL(观测现场的时间集聚存储布局)、AmrDL(一种基于自适应网格思想实现的空间集聚存储布局)和SrpDL(一种基于SparkRangePartitioner思想实现的空间集聚存储布局)相比,GpDL有效地减少了相同数据请求下的能耗和查询等待时间。
其他文献
作为一类重要的混杂系统,切换系统具有重要的理论研究和实际应用价值。实际系统中存在不确定参数、未知控制方向、随机干扰、量化输入及不可测状态等因素,往往会使系统的性能恶化,甚至导致系统不稳定。另一方面,连续变量动态和离散事件动态的相互作用使得系统动态行为更加复杂,控制器设计和稳定性分析问题亟待解决。近年来,切换非线性系统的控制研究虽然取得了丰硕成果,但针对不同幂次情形的研究结果还相对较少。本文将利用增
一致性问题作为多主体系统协同控制中的一个基本问题,已引起了越来越多的关注,其中一个很重要的原因在于很多实际问题,例如无线传感器网络中的时钟同步及节点定位、分布式编队控制、分布式优化等问题,都可以通过适当的变换转成一致性问题。不论是理论,还是实际应用,对于一致性问题的研究,都具有重要的意义。  针对理想环境(不考虑时延、噪声等情况)下一致性问题的研究,通过利用拉普拉斯矩阵或随机矩阵的性质,已经得到了
近年来,多自主体系统的协作目标定位与巡航控制问题已经持续成为国内外不同学科领域研究者的关注点,这是由于其在国民经济、军事应用以及人民生活等领域具有广泛的应用背景。在一些具体的应用任务中,如网络系统的自主体定位,蜂窝网络中的手机定位,目标巡航跟踪,安全监督等研究中,所有的自主体必须定位目标的位置,在更复杂的任务中,自主体甚至还需要巡航跟踪目标。当目标的位置未知时,这给目标巡航控制律的设计和系统的稳定
社会经济的飞速发展进一步带动了科学技术的进步,同时信息化技术也向生活生产中的各个领域渗透。社区作为社会的重要基础结构,以其自身的综合性发展构成了整个社会的信息化发展,社区的信息化进程直接反映了整个社会的信息化进程。建立和谐信息化社区是建设和谐社会的重要基础,随着“互联网+”的信息化推进以及城镇化建设进程的加快,社区功能的提升和发展要求我们要以更加便捷的方式管理和解决社区中的信息化服务问题,传统的管
[db:内容简介]
再制造是废旧产品回收再利用的有效途径之一,有助于降低成本、减少资源浪费和环境污染,具有巨大的经济效益和社会效益。伴随废旧产品回收产生的逆向供应链与传统正向供应链结合,形成了闭环供应链,实现了系统利润最大化。本文针对零售商主导、第三方和零售商主导混合回收模式的闭环供应链系统动力学模型进行深入研究,对影响收益相关因素进行优化,使制造商、零售商和供应链的收益最大化。  为提高供应链的利润,应用博弈论理论
学位
很多领域的实际应用问题都可建模成四个甚至更多目标的优化问题,这类问题称为超多目标优化问题,而两个和三个目标的优化问题称为多目标优化问题。与多目标优化问题相比,超多目标优化问题的求解更加困难。主要原因在于:1)随着目标个数的不断增加,Pareto最优解的数量呈指数级增长,而现有的支配方法选择压力往往不够,无法从大量的Pareto最优解集中高效地筛选出真正有潜力的代表解集;2)由于目标个数的增多,导致
Ad-hoc检索任务主要是用户通过一个查询指定其信息需求,而后信息检索系统会搜索可能与用户需求相关的文档返回给用户。随着深度学习的发展,研究人员提出了许多神经网络匹配模型并在ad-hoc检索任务上取得了显著的性能提升。现有的神经网络匹配模型将查询或文档中的单个词项或n-gram片段的向量嵌入作为一个匹配单元,先将每个查询匹配单元与文档中所有的匹配单元进行局部交互计算相关性特征(例如,cos相似度)
云计算的计算资源共享模式带来便利的同时也引入了云计算安全问题,云计算服务商成为了云计算用户数据的管理者,用户数据存在被云服务商窃取的隐患。本文主要针对数据库管理系统在云环境的安全性进行研究。  可信计算可以用于解决云服务商的不可信任问题,利用安全的硬件在隔离环境下执行应用程序。本文的研究主要基于IntelSGX技术,该技术提供硬件层面的内存隔离,和远程安全认证等保护机制,且SGX目前支持在多种虚拟
重摄影(Computational Rephotography),在同一场景下,利用历史时刻的参考图像或其他信息,在当前时刻重新获得一张与历史参考图像在同样视角的图像,以捕获观测场景在时间维度上发生的变化。其在历史研究,环境监测,变化检测等任务中具有巨大的应用价值,也是计算机视觉中的重要问题。本文主要着眼于实际工作中现有方法的痛点,结合相机即时定位和重建(SLAM)技术,来进一步优化和完善重摄影方
学位