随着第五代移动通信的商用化以及第六代移动通信的发展,为了进一步应对移动用户数量及其相应的无线数据流量指数增长的需求,由于毫米波大规模MIMO技术可以提供更大的带宽和更高的频谱效率,从而将可实现的数据速率性能显著提升到每秒多千兆比特的水平,因此被认为是最具有前景的技术之一。随着基站天线数和用户数呈密集式增长,系统的无线资源会变得相对有限,资源的不合理分配会对毫米波大规模MIMO系统性能造成影响并带来挑战。因此,在资源受限的情况下研究毫米波大规模MIMO系统的资源分配算法是具有十分重大意义的。本文的研究目标是在无线资源受限的情况下,采用深度强化学习对系统的子信道和功率资源进行联合分配,提高系统容量。首先,本文在毫米波大规模MIMO系统框架下,将非正交多址接入（Non-Orthogonal Multiple Access,NOMA）技术引入系统中,建立了毫米波大规模MIMO-NOMA系统模型,并通过设计用户分组算法来降低系统中存在的多用户间干扰。针对系统的子信道和功率资源,本文根据不同约束条件提出了毫米波大规模MIMO-NOMA系统联合子信道和功率资源分配模型,刻画了不同约束条件对系统可达和速率的影响。其次,由于建模后的资源分配问题具有非凸性和Np-hard性,本文充分利用了与传统优化技术不同的具有自适应和自主决策能力的深度强化学习技术,提出了基于深度Q网络（Deep Q Network,DQN）的联合用户分组与子信道及功率分配算法。实验结果表明,该方案有很好的收敛速度并最终能实现更好的系统的可达和速率性能。最后,由于传统的DQN算法对量化的功率进行分配会造成系统性能损失并存在收敛速度慢的问题,因此,本文充分利用Dueling DQN的竞争网络结构能够加快收敛速度和深度确定性策略梯度（Deep Deterministic Policy Gradient,DDPG）能够有效处理连续动作空间问题从而降低高维动作空间的特性,设计一种新的高效的基于Dueling DQN-DDPG联合用户分组与子信道及功率分配方案。实验结果表明,该资源分配方案能够加快收敛并最大化系统可达和速率。