随着数字信息化时代的发展,全球数字信息资源日益庞大,大数据已经渗透到各行各业,成为非常重要的生产因素。由于海量数据的高效处理要求与处理成本之间的矛盾关系,从而产生了大数据服务提供商为用户提供便捷和较低成本的大数据应用计算服务模式。服务商依据现有的大数据技术建立大数据平台,目前主流的大数据平台主要是基于Hadoop技术构建的。对于大数据应用而言,Hadoop发展至今已经较为成熟,尤其是在高效并行计算方面有着特殊的性能,但其仍有不足之处。在Hadoop的实际应用过程中,首先对于多服务共用同一 Hadoop平台而言,服务商不能有效的将多服务进行有效管理和维护;其次,在现有的服务调度技术方面,没有高效的服务调度策略既能够实现平台资源利用最大化,同时又能够最大程度的满足计算服务的需求,这样不仅会使得服务商无法获得最大收益,而且也会导致平台资源利用率有所降低;此外,在平台执行服务过程中,没有实现平台资源与服务状态监控一体化,没有将服务执行过程与资源消耗以可视化的方式呈现,随之产生的是对平台与服务的监管力度不够,排查问题较难,不能做到异常情况的实时预警。综上,建立基于Hadoop平台的服务调度管理系统是解决当前Hadoop平台在实际应用中所面临问题的有效手段。针对以上问题,从平台服务商角度出发,建设一个基于Hadoop平台的服务调度管理系统。本系统主要包括四个模块:服务管理维护模块、服务调度优化模块、服务定时执行模块以及服务可视化监控模块。从服务提交到系统开始,根据服务管理需求对服务的状态、属性等进行管理。针对已存在的服务调度器的缺陷问题,以奖惩共存收益模式为基础提出一种能够同时满足资源、服务以及收益需求的服务调度器。并结合服务调度器所生成的现有调度策略及当前平台资源使用情况,提出一种未来剩余可用资源预测模型,将满足剩余资源的服务加入调度策略中,实现服务商收益最大化。在服务执行前,基于服务执行要求和调度策略对服务进行人工或自动定时执行,增加服务执行的灵活性。最后,将采集到的服务器资源数据、平台资源数据以及服务执行状态数据以可视化的方式呈现到系统界面。本系统解决了当前Hadoop平台在实际应用中所面临的主要问题,加强了对多服务的管理与维护,对众多离线服务进行了合理调度,最大程度满足了服务质量需求,达到了平台资源利用最大化及服务商收益最大化的目标。此外,系统对服务器资源、平台资源以及服务执行过程进行了可视化监控,能够及时掌握资源变化情况,做到异常情况的实时预警。系统按照服务的提交、调度、执行及服务过程和资源可视化监控的流程进行了设计与建设。整个系统的实现充分提高了服务的管理与执行效率,节约了资源成本,是十分有意义和价值的。