调制样式识别是非协作通信过程中重要环节,是完成解调进而获取信息的前提,常用于电子侦察、电子干扰和频谱监管等,有着重要的军用和民用价值。近年来,机器学习发展迅速,受到广泛关注。机器学习有着强大的分类性能,因此本文主要研究基于机器学习的调制样式识别算法。首先,为了提高基于模式识别和单分类器的调制样式识别算法性能,针对16APSK、32APSK、16QAM、32QAM、BPSK、QPSK和8PSK信号识别,研究了基于集成学习的调制样式识别算法。提出了多个高阶累积量组合的特征参数,仿真结果表明,所提出的特征参数优于传统的基于两累积量比值形式的特征参数。为了提高单个分类器识别率和泛化能力,分别提出了采用集成分类器Adaboost的HOCAB算法和采用随机森林(RF)的HOCRF算法。仿真结果表明,采用了集成学习的HOCAB算法和HOCRF算法的识别性能优于采用决策树的HOCDT算法,HOCRF与HOCDT的运算时间几乎一样多,远低于HOCAB算法。其次,为克服基于统计模式识别的调制样式识别算法性能对特征参数的依赖性,利用深度学习强大的信号特征提取能力,研究了基于深度学习的调制样式识别算法。分别研究了基于LSTM网络和CNN网络的LSTM算法和CNN算法。两种算法都以信号数据作为输入,利用神经网络自动提取特征,达到智能分类。为了充分提取信号的空间特性和时间特性,提出了CNN网络与LSTM网络并联的CLP算法。利用CNN网络和LSTM网络分别提取信号的空间特征和时间特征,并进行两路特征的融合以及分类。对16APSK、32APSK、16QAM、32QAM、BPSK、QPSK和8PSK信号识别的仿真结果表明,CLP算法识别性能优于CNN算法和LSTM算法。为更好提升信号识别,提出了基于集成异构神经网络的调制样式识别算法(HNBagging)。将CNN算法和CLP算法的网络模型作为基分类器,采用随机森林作为学习器,对各个基分类器的输出进行学习整合。对7种信号识别的仿真结果表明,HNBagging算法的识别性能优于CLP算法。最后,为了缓解深度学习算法性能对样本数量的依赖,同时打破训练集和测试集独立同分布的假设,提出了基于模型迁移的调制样式识别算法。以CLP算法网络模型为基础,迁移整个CLP算法网络模型、仅迁移CNN网络模型或仅迁移LSTM网络模型,分别得到TCLP算法、TCLP-C算法和TCLP-L算法。三种迁移算法借助辅助数据训练CLP算法网络模型,迭代至一定次数后,将模型迁移至目标域,利用目标域的少量数据精调网络模型,得到最终的分类识别网络。对16APSK、32APSK、16QAM、32QAM、BPSK、QPSK和8PSK信号识别的仿真结果表明,在少量样本情况下,TCLP算法和TCLP-C算法的识别性能比CLP算法好得多,TCLP-L算法的识别性能略优于CLP算法。