深度学习技术的问世让人类的生活越来越便捷,其使用具有许多参数的深层结构来实现模型的高精度。随着信息的高速发展,人类所产生的数据也以爆炸式地增长,单个节点无法在短时间内完成对海量数据的训练,于是分布式深度学习也应运而生。参数服务器是目前分布式深度学习广泛使用的通信拓扑结构,其将集群分为工作节点和服务器节点,工作节点需要进行计算和与服务器节点进行网络通信,服务器节点负责接收工作节点的参数和将参数进行聚合。因为工作节点中,计算与通信是串行的,因此存在着资源的不充分利用。针对基于参数服务器中资源不充分利用的问题,分别提出了基于非抢占式优先级与抢占式优先级的计算与通信相重叠的策略,在简单的计算与通信相互重叠的策略上更进一步的优化。在基于梯度优先级的策略中,将反向传播计算完成的梯度赋予不同的优先级别,网络层数越低其优先级越高,然后在进行梯度推送时,将根据优先级高低来将梯度推送到服务器节点,这样优先级高的低层梯度可以更早地推送到服务器节点进行聚合,然后可以更早地进行下一轮的迭代计算。在根据优先级推送梯度时候,可分为非抢占式与抢占式中断两种策略,非抢占式的策略只能等待当前梯队推送完毕后才能继续推送下一梯度,抢占式中断策略则可以通过高优先级的梯度中断低优先级梯度来更快地将高优先级梯度推送到服务器节点进行聚合。针对提出的两种不同通信策略,通过对开源分布式深度学习库Big DL进行代码修改来验证两种通信策略的效果。采用在三个常见深度学习模型进行实验,并对实验结果在集群可拓展性与执行时间上进行分析,可以看出,基于梯度优先级的策略在集群可拓展性与执行时间上相比默认的策略都有了明显的提升。