目前,物联网、边缘智能和边缘计算等技术在网络边缘上生成了大量数据,而这些日益增多的数据需要在越来越复杂的深度学习算法上进行训练,以检测、分类和预测未来事件。这个趋势在未来还会继续扩大,为了加快深度学习算法的训练速度,分布式计算正变得越来越重要。然而分布式训练在主节点与计算节点间进行着频繁的梯度交换,这使得训练承受着巨大的通信开销,并且限制了分布式深度学习的训练效率。为了降低分布式深度学习的通信开销并提升其训练效率,梯度压缩算法开始受到关注,并逐渐成为该领域的一个重要的研究方向。本文通过对基于自适应压缩框架的梯度压缩算法（AdaComp）进行研究和分析发现,虽然AdaComp算法在解决分布式深度学习的通信开销问题上取得了不错的效果,但其通信量依然很大,不能适应边缘节点有限的通信带宽和算力,因此需要进一步降低分布式计算节点之间的通信和计算开销。本文针对AdaComp算法,层层递进地提出了相应的改进方案,具体研究工作及创新点包括以下三个方面:首先本文提出了一种基于选择的梯度压缩算法（SGC）,该算法的核心思路是根据梯度数量制定选择策略,从而在模型中有选择性地压缩符合要求的层,而不符合要求的层则不进行压缩。相比于AdaComp,SGC通过降低模型压缩的频率,有效地提升了分布式训练的速度,而且由于模型的压缩程度略微下降,训练的准确率也有所提升。其次本文提出了一种基于自适应概率的梯度压缩算法（ProbComp-LPAC）,该算法的核心思路是采用概率公式来选择并压缩梯度,并在模型的不同层中使用不同的压缩率。ProbComp-LPAC包含两个压缩算法,分别改进训练速度和训练准确率。相比于AdaComp和SGC,ProbComp-LPAC更好地提升了分布式训练的速度,而且训练的准确率也更高。除此之外,相比于惰性聚合量化压缩算法（LAQ）,其更好地提升了训练的准确率。最后本文还提出了一种适用于梯度压缩算法的选择上传方法（SUM）,该方法的核心思路是根据当前梯度对总体损失函数的贡献制定选择上传策略,从而判断当前计算节点是否需要上传本次训练的梯度更新。相比于ProbComp-LPAC,SUM通过降低各个节点之间的通信频率,在保持训练准确率基本不变的基础上,进一步提升了分布式训练的速度。而相比于LAQ,SUM在训练准确率和训练速度上均有优势。