通用小规模Web集群作业系统的设计与实现

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:windlam
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来随着信息技术的快速发展,其在科学计算中所发挥的作用与日俱增。高性能计算逐渐成为理论分析与科学实验的得力助手和有效工具,大型工作站、服务器、集群技术等被广泛运用其中。集群技术凭借计算方面的高性价比优势,得到广泛认可。然而在研究工作中存在诸多小规模的高性能科学计算的需求,其任务逻辑相对简单但同时要求较高计算资源,且仿真频次高类型多,通常还存在多人协作的问题,常规的集群高性能方案不能很好地满足其场景。针对这类场景,兼顾高性能与高扩展低成本等需求,一个轻量的集群作业管理系统成为必要。为了满足集群系统在小规模高性能作业上的应用需求,本文设计并实现一个基于Web的轻量通用型集群作业管理系统。本文首先对科研工作中普遍存在的小规模高性能仿真进行了详尽的场景分析、需求分析,总结出包括任务作业的管理、集群状态监控、用户管理等核心功能。然后,本文从物理部署、分层逻辑、运行流程三方面介绍了总体架构方案,分析总计系统架构中的关键点。提出任务模板理念,通过模板复用达到多任务类型的快速扩展支持,大大减少了重复性复杂操作,保证了良好的扩展性。介绍了系统数据存储与消息协议、任务调度、通信中间件、Web服务等模块的具体设计方案,并通过图表以及关键代码等方式,对核心模块的实现逐一介绍,展示了用户前端的实现效果。最后,在真实部署的软硬件环境下进行相关测试,测试表明系统运行正常,满足预期功能需求,具有良好的界面交互。本文通用Web集群作业管理系统为众多小规模科研场景下的高性能科学计算需求提供了轻量级低成本方案。支持快速新增任务类型,合理的任务调度与管理,使得多机集群最大程度发挥计算能力。灵活的Web框架增强了易用性,同时对于功能维护与扩展也提供了更好的支持,在辅助理论分析与科学实验的科学计算中具有广泛的应用场景。
其他文献
随着计算机、通信、电子技术的进步,嵌入式系统和以太网技术的融合将成为嵌入式技术未来的重要发展方向。基于ARM的嵌入式系统由于具有低功耗、高性能、低成本、可以进行多任
Wireless networks technologies are on a rapid increase in demand nowadays. Wireless networks are characterized by fixed spectrum assignment policy that is impos
HEVC(High Efficiency Video Coding)是继H.264/AVC之后的新一代视频压缩标准,旨在全面提高视频压缩效率,以更好的适应高清、超高清视频的编码及传输。HEVC在经典的混合编码
随着互联网和电子商务的蓬勃发展,网络信息安全显得愈发重要。在“互联网+”的大背景下,人们的衣食住行都会发生在网上。在如此大背景下,信息安全问题引起了人们的高度关注。
当前,随着网络上低层防御措施的加强,以往通常发生在低层的攻击,如分布式拒绝服务(Distributed Denial of Service,DDoS)攻击等,逐渐向应用层转移,以高层服务器资源作为攻击目标。
自从1998年推出蓝牙技术后,蓝牙凭借其体积小、功耗低、语音数据共传、全球通用、抗干扰等优点,在移动产品、医疗产品和家用电器产品中获得了迅速的发展。蓝牙虽然具有诸多优
虚拟现实技术与人机交互技术,使得体育运动可以在计算机上开展。基于这类技术的自行车运动互动系统,可以将自行车运动从室外搬到室内,并将其过程用计算机来模拟,其应用范围包
当今这个多元化的社会使得人们对信息的需求越来越强烈,Ad Hoc网络因其特有的特点也成为人们的重点研究对象,它的路由协议更是其中的重点和难点,许多学者专家都对它进行了大