调制方式自动识别主要应用于频谱监测、电子对抗、认知无线电和自适应通信等非合作通信场景。通信技术的快速发展使得电磁环境日益复杂,导致信号调制方式识别的难度增加。传统的调制方式识别方法难以满足现代通信的要求,本文将深度学习技术应用到调制方式识别算法的研究中,提高复杂电磁环境下调制方式识别算法的性能。本文首先研究了深度学习中三种经典的神经网络模型（CNN、Res Net、Dense Net）在调制方式识别中的性能,并分析网络的超参数对调制方式识别准确率的影响。实验数据表明,如果单独使用上述三种神经网络进行调制方式识别,在低信噪比下的识别准确率均不够理想。为了进一步提高调制方式识别的准确率,同时考虑到一维卷积神经网络更适合处理信号这种序列类型的数据,本文联合Res Net和Dense Net,在SISO系统下,设计出一种基于一维卷积的调制方式识别网络模型DRN。该模型充分融合Res Net的恒等映射思想以及Dense Net的密集连接结构,即通过Dense Net中的密集连接方式将6个基于一维卷积的残差块连接起来,组成一个新的网络模型。同时采用了批归一化、加入Dropout层、采用Adam优化器等神经网络优化方法,进一步提高模型的性能。实验结果表明:所提出的调制方式识别模型具有很好的鲁棒性,以较低的计算复杂度达到了93.7%的识别准确率。在非合作MIMO系统下,由于接收端未知发射天线数目,而且接收到的是多根发射天线的混叠信号,无法直接采用SISO系统下的算法识别信号的调制方式。针对上述问题,本文首先通过盖氏圆盘算法估算出发射天线数目,接着使用盲源分离算法中的固定点算法（Fast ICA）分离出混叠的MIMO信号。使用Fast ICA算法分离出的信号存在幅值误差和相位旋转,而CNN在数据发生旋转、倾斜时,效果会变差。胶囊网络（Caps Net）在一定程度上克服了CNN的不足,所以本文提出一种联合DRN和Caps Net的网络模型来识别分离后信号的调制方式。该模型主要使用的是Caps Net的编码器部分,具体是将Caps Net编码器中的第一层卷积层替换成DRN的卷积部分,并且整个网络基于一维卷积。实验结果表明:该算法在高信噪比下识别准确率可以达到99.51%,且具有很好的泛化能力。