卷积神经网络是一种多阶段全局可训练的神经网络模型,最近这几年广泛使用在图像识别、自然语言处理等相关领域,具有模型简单、识别效率高等优点。卷积神经网络采用串行的方法来实现的时候,存在训练时间长,伸缩性差的缺点。随着解决问题的复杂化,需要规模更大,复杂度更高的训练数据,采用串行方法实现的卷积神经网络在处理海量数据的时候存在劣势,效率低下。本文的研究工作主要为卷积神经网络的多粒度并行优化策略。其中,本文介绍了基于分布式集群和GPU架构进行并行加速的方法。然后通过并行优化的结构来进行多粒度并行的卷积网络的训练。实验验证该优化结构具有良好的并行效果,相比较于单机串行训练的卷积神经网络和普通的集群并行架构,取得了良好的加速比结果,同时提升了并行效率。(1)采用分布式集群进行粗粒度的并行计算。利用MapReduce将整个训练集分成若干小的数据块,分别分发保存到每个节点中。每个节点保存一样的卷积神经网络模型,采用数据并行的方式每个节点使用预先划分的数据块进行训练,map任务进行前向传播计算和反向传播计算,计算结果是各个权值和偏置的局部变化值,reduce任务进行每个权值和偏置的局部变化值的汇总,最终结果得到全局变化值。若干次迭代之后,最终完成卷积神经网络的训练。(2)采用基于集群和GPU的多粒度并行优化框架。当进行粗粒度的网络密集型计算的时候,分布式集群的方式并行计算,可以分解大规模任务,分散数据集合;当进行细粒度的计算密集型并行计算时候,采用GPU通用计算方式进行并行计算。(3)对任务调度、负载均衡和数据传输通信开销方面进行过程分析以及提出相应的优化的策略。在任务调度过程中,采用任务调度线程池来对不同的操作任务进行管理,降低线程的创建开销和销毁频率,提升并行效率。负载均衡器监控系统当中的任务执行情况,对节点中剩余计算能力和提交请求的任务队列进行监控,然后进行决策。然后负载均衡器会指挥任务调度线程池来执行调度任务,达到负载均衡的效果。同时针对数据传输并行过程中传输通信时间的开销问题,采用计算时间来掩盖数据传输时间的方法,来减少数据传输时间对训练时间所产生的影响。