正交时频空调制技术（Orthogonal Time Frequency Space,OTFS）是一种二维调制技术,其基本思想是通过二维的傅里叶变换,将时频域上的快时变信道转换为时延-多普勒域上的时不变信道,从而可以对抗信道动态时变性引起的衰落。相比于正交频分复用技术（Orthogonal Frequency Division Multiplexing,OFDM）技术,OTFS受快时变信道的影响小,更适用于高速移动场景,因此受到了学术界的关注。本论文对OTFS接收机中的信号检测和信道估计这两项关键技术展开了研究。本文首先阐述了OTFS的研究背景,指出了OTFS对于解决未来高速移动场景中通信问题的重要性。之后介绍了快时变信道和OTFS系统发射机、接收机的结构,最后对OTFS中的等效信道矩阵特性进行了介绍和分析,其稀疏性可以被利用在信号检测技术和信道估计技术中。其次,针对OTFS信号检测算法中的消息传递（Message Passing,MP）算法复杂度较高的问题,提出了基于深度学习的GAMP（Generalized Approximate Message Passing）算法。具体地,本文结合深度学习中的深度展开思想,将低复杂度的GAMP算法中的每一次迭代展开为一层神经网络,通过学习网络中的阻尼因子来改善检测性能,优化后的阻尼因子可以直接用于原GAMP算法而不额外增加算法的复杂度。为了验证基于深度学习的GAMP算法的有效性,对其进行了仿真,结果表明该算法的性能优于经典的阻尼GAMP算法、MMSE（Minimum Mean Square Error）算法和MP算法。最后,本文研究了OTFS多址接入中的信道估计技术。首先阐述了基于脉冲导频的信道估计算法和基于压缩感知的信道估计算法,并通过仿真比较出了后者在信道估计上的性能优势。随后针对压缩感知中性能最优的OMP（Orthogonal Matching Pursuit,OMP）算法存在原子索引偏差从而导致信道估计性能损失的问题,利用深度学习方法可以用于信道估计中降噪从而降低其归一化均方误差的优势,将残差网络（Residual Network,Res Net）内嵌在OMP算法中,提出了基于深度学习的OMP算法。该算法通过将原子选择问题建模为分类问题,利用数据驱动的方式降低噪声对原子选择的干扰,从而优化OTFS接收机中信道估计的性能。仿真结果证实了基于深度学习的OMP信道估计算法的有效性。