数据中心混部技术是指将以在线服务为代表的延迟敏感型应用与以数据吞吐率为目标的批处理应用混合部署于数据中心相同的资源平台,通过批处理应用充分利用延迟敏感性应用请求波动导致的资源碎片,提升数据中心的资源利用率。Spark是混部场景下,批处理应用的主要运行支撑平台。如何在资源动态波动的背景下,通过合理的作业调度,在保障延迟敏感性应用服务质量的前提下,提升Spark批处理应用的执行效率,是数据中心混部场景面临的主要技术挑战。针对上述问题,本文提出了一种面向混部场景的Spark作业调度策略,在保障延迟敏感型应用服务质量的前提下,最大化Spark批处理应用达到软实时要求的比例及其资源利用率。本文的主要贡献总结如下:(1)量化分析了Spark批处理应用执行时间的可分类的特征。基于具有代表性的Spark批处理应用,量化分析输入数据规模和资源配置对应用执行时间的影响,分析结果表明,在相同的输入数据规模与资源量配置下,Spark批处理应用间的执行时间具有明显的差异;且在不同的输入数据规模或资源配置情况下,Spark批处理应用执行时间的分类具有稳定性。由此,验证了Spark批处理应用执行时间具有可分类性。(2)提出了一种考虑应用特征差异的Spark批处理应用执行时间预测方法。该方法首先利用斯皮尔曼相关系数和均值漂移聚类算法(Mean Shift)对Spark批处理应用执行时间进行分类;针对每一类Spark批处理应用,采用主成分分析法(PCA)和梯度提升决策树(GBDT)算法对Spark批处理应用执行时间进行预测。最后当即席Spark批处理应用到达之后,先判断其所属应用类别继而使用相应的预测模型来预测其执行时间。实验结果表明,与采用统一预测模型相比,本文提出的基于分类的Spark批处理应用执行时间预测模型可使得预测结果的均方根误差和平均绝对百分误差平均降低32.1%和33.9%。(3)提出了一种面向混部场景的Spark作业调度策略。该策略基于Spark批处理应用执行时间预测结果,以最大化Spark批处理应用达到软实时要求的比例和资源利用率为目标,利用二次搜索粒子群(TSPSO)算法优化设计面向混部场景的Spark批处理作业调度策略。实验结果表明,与Spark常用的FIFO、Fair和DRF作业调度策略相比,本文提出的调度策略可使得Spark批处理应用达到软实时要求的比例、内存资源利用率和CPU资源利用率平均高出25%、32.5%和23.9%。