无线通信技术的研究、发展与应用,为社会生产力的提高和人类文明的进步做出了无可争议的贡献。然而实际的通信环境复杂多变,无线信道的衰落特性导致信号在传输过程中失真畸变,严重损害了通信系统的性能。单载波频域均衡(SC-FDE)技术具有抗衰落能力强、对载波频偏不敏感、峰均比低等特点,是实现可靠无线通信的良好选择,对其关键技术的研究具有重要意义。本文主要研究SC-FDE系统在双衰落信道环境下的信道估计技术与均衡检测技术,基于机器学习技术与理论,提出了相关算法的改进方案。在对传统信道估计算法的研究的基础上,本文提出了一种基于复值神经网络的信道估计算法(HC-CENet)。所提出的全复值的网络模型利用循环神经网络对信道状态进行跟踪,同时通过深度神经网从载荷数据中进一步获得估计增益,能够在双衰信道中获得较小的估计误差。在网络构建过程中,本文对复值循环神经网络的随时间反向传播算法(CVBPTT)、复变激活函数、复值神经网络参数初始化及复梯度下降优化算法等实现细节进行了推导和讨论,对全复值神经网络在信号处理中的研究与应用有一定参考价值。在快衰落场景中,多普勒频移导致SC-FDE均衡块内码间干扰,严重影响系统性能,本文提出了两种基于聚类算法的解决方案。本文首先提出了一种判决反馈均衡结构(FF-RISIC),同时对线性MMSE均衡残留干扰和快衰落干扰进行消除。通过对快衰落信道下均衡后符号星座图分布规律的分析,本文提出了 一种基于高斯混合聚类的判决算法(GMMD),GMMD能够进一步提高FF-RISIC的性能。同时,基于GMMD,本文提出另一种有效抗衡快衰落干扰的最大似然符号检测算法(GMMD-PMLD)。GMMD-PMLD不需反馈迭代,但在快衰落信道中能获得与判决反馈方案相近的性能。本文研究和提出的算法均已通过仿真验证。对信道估计算法的仿真表明,HC-CENet在不需要信道二阶统计特性、信噪比等先验信息的条件下,能够获得与LMMSE估计方法相当的均方误差性能,并在快衰落环境中拥有更好的跟踪能力,同时在高信噪比下获得比同等规模的实值神经网络更好的估计性能。在增加少量复杂度的情况下,FF-RISIC算法能够有效对抗信道快衰落,获得了比现有快衰落判决反馈均衡算法更好的性能表现。GMMD-PMLD同时兼顾了性能和实现复杂度,在高信噪比下增益明显。