矿井信息化、智能化的发展与无线通信技术密切相关。在矿井中存在多种不同的无线通信系统并且每种通信系统采用的信号调制方式各不相同,因此要形成安全可靠的矿井通信网络系统,就必须实现不同通信系统间的信号调制方式识别。本文主要针对矿井无线信道环境研究了基于信号特征提取的调制识别方法和基于深度学习的调制识别方法,对矿井衰落信道下的 BPSK、QPSK、8PSK、16PSK、16QAM、64QAM、256QAM、4PAM和GMSK九种常用的调制信号进行识别分类。基于信号特征提取的调制识别算法,本文通过分析信号高阶累积量与矿井小尺度Nakagami衰落的关系,计算出信号经过衰落信道的高阶累积量值。进而选取信号的四阶、六阶和八阶累积量作为特征参量并构造特征值向量。分别设计了决策树、支持向量机（SVM）和全连接神经网络作为目标分类器,实现了对矿井衰落信道下的九种调制信号识别。仿真结果表明,基于决策树模型的识别效果比SVM和全连接神经网络差,SVM和全连接神经网络的识别效果比较接近。在低信噪比下,三个模型的识别率都比较低,并且不易区分64QAM和256QAM信号。针对基于信号特征识别方法存在的缺陷,本文进一步提出基于深度学习的调制识别方法。分别设计了基于卷积神经网络（CNN）、长短期记忆（LSTM）网络和CLDNN（Convolutional,Long short-term memory,Fully connected Deep Neural Networks）模型,并将这些网络模型应用于矿井信道环境下的调制识别领域,通过分别研究CNN和LSTM模型的层数对识别率的影响,进而设计出了性能较好的CLDNN模型。仿真结果表明,相比较单一的网络模型,基于组合神经网络模型的识别率更高,与基于信号特征的调制识别方法相比,提高了低信噪比下的识别率。本文进一步提出了基于注意力机制改进的AM-CLDNN网络模型,通过不同规模的训练数据集进行对深度学习网络模型性能测试。其结果表明,基于注意力机制改进的AM-CLDNN模型效果最优,并且有效的提高了低信噪比下的识别性能。这说明注意力机制模型和深度学习算法的结合使用,能有效提高复杂信道下的调制信号识别性能。