云制造是近几年提出的一种新的制造模式,旨在通过互联网向消费者提供按需制造服务。服务组合是云制造的一项重要技术,同时也是云制造中必不可少的研究问题。云制造服务组合通过对许多较小粒度的服务进行组合来满足消费者的复杂需求,从而构建较大粒度的增值服务。目前,遗传算法,粒子群算法和蚁群算法等元启发式算法常用于解决云制造服务组合问题。然而,元启发式算法需要复杂的设计流程和参数调整,并且缺乏对动态环境的自适应性。深度强化学习（Deep reinforcement learning,DRL）的出现为解决云制造服务组合（Cloud manufacturing service composition,CMfg-SC）问题提供了一种新的方法。DRL作为一种无模型的人工智能方法,使系统能够通过智能体的训练学习寻找最优服务组合解决方案。本文探讨了DRL在CMfg-SC中的可能应用,提出了一种考虑物流服务质量的云制造服务组合模型,并采用深度强化学习算法PD-DQN解决云制造服务组合优化问题。本文首先构建了云制造服务组合模型,包括单个复合任务模型、制造资源服务和物流服务模型以及服务质量属性计算方式。其次依据云制造服务组合模型建立马尔可夫决策过程<状态空间,动作空间,奖励函数,状态转移函数>。最后采用PD-DQN算法解决云制造服务组合问题,为了提高算法的学习效率,其中PD-DQN算法在深度Q网络模型的基础上引入优先经验回放策略,并采用竞争结构构建神经网络。为了验证PD-DQN算法解决CMfg-SC问题的效果,本文进行了一系列实验。实验结果表明,PD-DQN算法能够有效解决大规模云制造服务组合问题,同时,针对动态环境下的CMfg-SC问题,PD-DQN算法具有鲁棒性和自适应性。除此之外,PD-DQN算法对不同规模的CMfg-SC问题均能有效的学习到最优/次优服务组合方案,具有较好的可扩展性。最后,本文采用Wilcoxon秩检验对PD-DQN分别和DQN、Q-Learning进行分析,当组合规模为30³⁰时,进行15组实验分析得到统计量分别为114和120,证明PD-DQN能够有效解决CMfg-SC问题。