机器学习是大数据处理的常用工具之一。然而,依靠单个计算节点的计算能力处理大规模的数据集,不能在可接受的时间范围内将模型训练到满意的精度。通常采用多个计算节点来实现数据并行训练。每个计算节点迭代式地处理部分数据集,每次迭代都要通过网络与其他计算节点同步模型的信息,保证训练的正确性。由于模型规模通常在数百兆至数千兆字节之间,每个计算节点每次迭代都要交互等同于模型大小的数据量,例如模型的参数或者梯度,使得分布式机器学习成为通信密集型和计算密集型的应用。为了支撑人工智能驱动的业务,各个大型公司,如谷歌、微软、亚马逊等,纷纷建立了GPU集群,专门用于模型的训练。由于GPU集群的造价昂贵,这些集群通常由多个用户共同使用,集群当中同时运行着由不同用户提交的众多分布式训练任务。由于集群可用资源的碎片化原因,一个分布式训练任务通常分布在多台GPU服务器上,而一台GPU服务器又同时支撑了隶属于不同分布式训练任务的计算节点,各个分布式任务之间不可避免的要竞争有限的网络带宽资源。根据微软的数据统计,集群中的GPU利用率通常只在50%左右,最低可达34.39%,这意味着一半以上的训练时间里,GPU处于空闲状态,等待网络的通信,使得通信成为分布式机器学习的主要瓶颈之一。该通信瓶颈主要来源于两个维度:（1）底层网络缺乏有效的管控手段,例如,在网络边缘侧缺乏有效的手段来调度出入网络的流量,无法提高网络资源的利用效率,在网络内部缺乏有效的拥塞控制机制,无法提升网络的传输性能;（2）上层任务的训练算法所采用的通信策略不够高效,导致通信代价增加。本学位论文从上述两个维度入手展开研究,主要分为三部分工作:1.网络边缘的流量调度研究。对分布式机器学习应用的流量进行调度时,需要充分考虑机器学习模型开发过程的需求。一个机器学习开发流程包含数据预处理、特征工程、模型设计及超参优化等操作,每个操作的配置发生变化都可能会影响模型的最终质量。开发一个满足需求的高质量模型通常要求对上述操作进行不同配置,然后训练模型,根据训练反馈的结果再调节这些配置,以搜索一个配置能够训练出高质量的模型。其中,超参配置的搜索空间庞大,是整个开发流程中最消耗时间和资源的操作。因此,本文将该类问题分为两个子问题进行研究。首先研究加速超参搜索的流调度问题,然后研究能够加速整个开发流程的流调度问题。对于超参搜索,本文研究发现为超参搜索服务的一组协作任务（cojob）具有明显的阶段性特征,并通过原对偶方法设计了排序调度的方案,最小化cojob的阶段完成时间,并实现了一套网络调度系统Grouper。对于整个开发流程,本文研究发现机器学习开发流程中重复训练模型时只需要每次训练的前期性能反馈即可判断是否停止训练这一规律,提出任务进度感知的流量调度算法来最小化前期训练时间,并实现了一套网络调度系统JPAS。2.网络内部的拥塞控制研究。在分布式训练过程中,计算节点之间除了同步模型之外,还需要传输一些控制信息,比如控制包、心跳包等,用来监测及控制分布式训练的状态。这些控制信息数据量比较小,所需带宽也比较小,但是对网络的延迟比较敏感。通过本文的集群实验发现,模型相关的大量数据会在交换机处建立很长的队列,导致这些控制信息经历很长的排队延迟,这些延迟也会增加训练的通信代价。若网络拥塞进一步严重,发生频繁丢包,导致控制信息不能在规定时间内完成,那么分布式训练的控制机制会认为有的节点死掉并停止训练。本文针对上述的实验现象,设计流感知的显式拥塞控制方案,让网络内部的交换机队列维持一个很小的长度,一方面为模型同步提供高吞吐量,另一方面为控制信息提供低延迟、低丢包率,减少通信代价并且防止训练任务停止。3.通信高效的分布式训练算法研究。由于任务的动态到达/离去、资源的动态分配以及底层网络容量的差异,各个计算节点之间的链路速率通常是异构且动态的,现有分布式训练算法通常忽略了网络的实际情况,假设节点之间的链路速率是静态、同构的,导致这些算法在实际应用时,使计算机点频繁通过低速链路进行通信,造成很高的通信代价。本文提出一种新颖的去中心异步分布式训练算法。该算法中各个计算节点通过点对点的方式进行通信,并且根据网络的情况自适应选择对端节点进行通信,使任务的计算节点能够在高带宽链路构建的网络拓扑中进行训练,本文通过理论分析及集群实验证明了训练的收敛性及训练效率。