空间调制是一种仅使用少量射频链路的新型多天线技术,能够兼顾频谱效率、能量效率和系统复杂度,具有相当广阔的应用前景。关于空间调制的现有研究大多基于信道状态信息已知的理想假设。经典的空间调制检测算法,如匹配滤波检测、最大似然检测等,均依赖于接收机信道状态信息。但是在实际场景中,获取精确的信道状态信息的难度和训练开销都很大。例如,在复杂通信场景下信道建模困难;在无线传感器网络或物联网中,应尽可能地减小能量受限的通信节点的导频开销。基于上述挑战,本学位论文以提升空间调制多输入多输出系统的传输可靠性为目标,借助机器学习算法、链路自适应技术,研究和设计了低训练开销的半盲检测方案和零训练开销的差分盲检测方案。本文的主要贡献和创新点归纳如下:(1)提出了机器学习辅助的空间调制信号半盲检测方案,利用有限长度的训练序列,在不进行显式信道状态信息估计的情况下恢复发送信号,提升了检测的误比特率性能。所提方案将信道相干时间内的传输分成了两个阶段,即训练阶段和数据传输阶段,通过在线训练的方式获得信道输入-输出关系的映射函数。首先通过理论推导证明了广义空移键控系统的盲检测问题和聚类问题的近似等价性,进而通过改进的K均值聚类算法求解盲检测问题。其次,为了解决广义空移键控系统中激活天线数目增多导致的K均值聚类检测算法性能下降的问题,通过将半盲检测问题看作多分类学习问题,提出了多分类K近邻半盲检测算法和多分类支持向量机半盲检测算法。仿真结果显示,三种基于机器学习的半盲检测算法以较低的复杂度降低了误比特率。(2)提出了基于聚类学习的自适应空间调制半盲传输机制。联合考虑时分双工空间调制多天线系统的上、下行传输,借助自适应天线选择技术,设计了基于聚类学习的自适应空间调制半盲传输机制。在所提传输机制中,系统的上、下行通信均采用改进的K均值聚类算法进行半盲检测。根据信道互易性,基于上行传输的聚类检测结果,获得下行传输自适应设计所需的信道状态信息。以通信系统整体的角度来看,该传输机制以非常低的系统训练开销,实现了传输可靠性的提升。仿真结果显示,与未进行自适应设计的方案相比,所提方案的误比特率性能增益显著;所提方案的误比特率性能接近理想信道状态信息已知的最优方案。(3)提出了基于波束切换的差分波束空间调制信号盲检测方案。针对时分双工多天线系统的上行传输场景,考虑准静态信道,提出了差分波束空间调制盲检测方案。差分波束空间调制利用波束切换,将信息比特映射到波束空间中的波束索引和波束激活顺序上。首先依据集合封闭性设计差分波束空间调制符号。然后描述了基于奇异值分解的差分波束空间调制传输的详细过程。最后推导了差分波束空间调制信号盲检测的简化公式,并对比分析了差分波束空间调制的理论和实际频谱效率。仿真结果显示,与差分空间调制相比,所提差分波束空间调制信号盲检测的误比特率性能增益显著。