随着大数据处理系统在内存计算方向上的发展,内存资源受限所导致的内存压力问题成为了研究的热点。现有的大数据处理系统为了共享中间数据和协同工作,提供了共享执行器(Executor)的工作方式,所有作业被提交到同一个系统框架中共享执行器的数据和资源。有些任务对内存需求小,而有些任务对内存的需求大,造成很大的内存压力。内存压力过大会导致数据系统花费大量开销执行垃圾回收,甚至系统崩溃。同时高内存压力会影响共享执行器中的全部任务,让原本执行时间较短的任务的执行时间变得异常,成为其所属作业中的慢任务(Straggler),拖慢作业执行时间。针对分布式数据处理系统中共享执行器的内存压力及其导致的慢任务问题,提出了一种减缓分布式数据处理系统中内存压力的调度机制,用于提高大数据处理系统的效率和稳定性。首先,调度机制分析了目前主流的大数据处理系统为用户提供的编程接口,基于编程接口对内存数据的操作特点,结合大数据处理系统对任务的管理和执行方式,提出了任务的四种粗粒度的内存占用模型,并定义内存占用增长率作为通用且统一的标准来区分四种内存占用模型和衡量任务对内存压力的影响;然后,调度机制基于内存占用增长率,在内存压力大时挂起对内存压力影响大的任务,保证对内存压力影响小的任务顺利执行完并避免成为慢任务,在有任务执行完成或者内存压力减小后及时恢复挂起的任务,防止挂起的任务出现潜在的饥饿问题,最终减少所有任务的执行时间,保证系统的时效性。减缓分布式数据处理系统中共享执行器的内存压力的调度机制集成在了Spark中。通过典型案例测试,优化后的系统中共享执行器的内存压力减小,并且可以有效增强系统的稳定性,避免慢任务的产生,并且总体的执行时间有1.3倍到2.9倍的性能提升。