集群技术是分布式计算的一个重要发展方向,目前,国外对它的研究非常深入,但国内还处于起步阶段。对于该领域的研究具有非常重要的意义,因为它与国家经济建设的众多部门都有密切关系,在提高生产力、促进经济发展上具有很大的潜力。现在随着技术的发展,集群的规模变得越来越大,已有集群的规模达到了上千节点,在这种大规模集群环境下如何对集群资源进行有效的管理,如何对并行计算任务进行调度是重要的研究方向。因此,本文将重点研究集群的资源管理和任务调度。 首先,在研究了现有集群资源管理系统的基础上,本文设计实现了一个集群资源管理系统,该系统采用了分层分域的体系结构,避免分布式体系结构中网络消息过多的问题,减轻了集中式的单节点瓶颈问题,提高了获取资源信息的实时性,具有良好的可扩展性,适用于不同规模的集群环境,并且可以用于多集群。 然后,本文对DAG并行任务调度算法进行了研究,以调度长度最小(即执行时间最短)和减少所需的处理机数目为目标,设计了一个基于动态关键任务复制的多处理器分配算法。并且将该算法的调度结果和集群资源管理系统中的资源实时状态信息相结合,设计了一个基于负载均衡的集群资源分配算法。 最后,对并行任务调度和资源分配进行了仿真实验,对集群资源管理系统进行了性能测试。