在深度学习领域,增加训练样本数量或增加模型参数数量是极大提升深度学习应用解决现实问题准确率的重要手段。单个GPU无论在计算能力还是内存大小方面都无法满足大规模深度学习训练的需求。为了使用更多的计算能力并且缩短训练时间,使用大量GPU节点的分布式训练已经成为解决大规模深度学习问题的关键方法。拥有极高带宽与极低延迟特性的RDMA网络,例如InfiniBand与RoCE,在需要大量数据通信的大规模分布式训练过程中可以发挥重要的作用。已有深度学习框架大部分是基于传统的TCP/IP技术实现数据通信,在向RDMA网络移植时,有不同的技术方法可以选择:IPoIB、MPI以及RDMA Verbs。在这三种方法的选择上,需要在易用性以及性能方面做出权衡。不合适的决策可能导致复杂且难以维护的代码实现。本文提出了修改模块化的深度学习框架MXNet使其可以在RDMA网络上运行的移植与应用方法。我们将深度学习训练过程的通信部分划分为三个层次,分别是点对点通信,Allreduce通信以及端到端训练。依据这种层次划分,我们提出了增量式的移植与优化方法,使得性能的提升更有据可循,包括动态切换、用户管理的注册缓存池和轻量级队列等。实验结果表明我们的方法在使用100个GPU时并行效率可以从IPoIB版本的53%提升到96%,接近线性加速。而且对比于MPI版本,我们的移植方法仅需要修改最底层的数据通信部分,所需改动量小,却能够对上层应用模块保持透明,使得很多例如自动恢复、松散的一致性模型等高级特性得以保留。