为适应未来发展的需要，移动通信系统要求能够支持高达每秒数百兆甚至千兆比特的高速分组数据传输。在频率资源日趋紧张的情况下，采用多天线发送和多天线接收的多入多出（MIMO）无线传输技术，充分挖掘利用空间资源，最大限度地提高频谱利用率和功率效率，成为未来移动通信研究的关键所在。正交频分复用（OFDM）和正交频分多址接入（OFDMA）技术由于其很强的抗多径能力、简单易行的快速傅里叶变换/快速反傅里叶变换（FFT/IFFT）实现及易于采用MIMO技术，得到广泛的研究与应用。但是，OFDM和OFDMA存在峰均比高、频偏敏感的等缺点难于满足移动台普遍需要的高功率效率。单载波分块传输（SCBT）和单载波频分多址接入（SC-FDMA）技术同样具备OFDM和OFDMA的优点，并且保持了发送信号低峰均比。本论文在SCBT和SC-FDMA框架下，针对无线MIMO通信系统信道估计与信号检测理论方法开展研究。 首先，本文研究了时变频率选择性MIMO信道环境中SCBT系统的低复杂度信道估计。针对MIMO-SCBT系统，提出了一种采用双边导频段的低开销时隙结构，双边导频段由理想周期自相关Golay互补序列构造得到，不同发送天线的导频具备相移正交特性，并且具有恒模低峰均比特点。采用这种时隙结构和相移正交导频，可获得最小均方误差（MMSE）意义上的最优最小二乘（LS）估计。基于Golay互补序列的特殊生成式和循环矩阵的性质，本文提出了一种称为快速周期Golay相关（FPGC）的高效周期相关算法。随之，根据低导频开销的时隙结构和FPGC算法，得到了两种快速估计信道冲激响应的格形（Lattice）结构，即串行Lattice和并行Lattice结构。在时变频率选择性衰落信道环境中，仿真结果验证了MIMO-SCBT系统双边信道估计的最优性能。 紧接着，针对时变频率选择性衰落信道中的MIMO SC-FDMA系统，提出了一种采用双边梳状导频的低开销时隙结构和时域信道估计（TD-CE）方案，双边导频段也由Golay互补序列构造而得。不同发送天线的双边导频段既有相移正交又有序列正交性质。这个信道估计方案可以获得MMSE意义上的最优LS估计性能。进一步地，根据Golay互补序列的特殊生成式和循环矩阵的性质，将上述的FPGC推广到左循环移位的FPGC（FPGC-L）和右循环移位的FPGC（FPGC-R），用来实现相移正交和序列正交导频的周期相关。结合FPGC-L和FPGC-R，提出了一种在时域中高效实现MIMO信道估计的对称Lattice结构。对比采用Chu序列的频域信道估计（FD-CE）方案，利用这种Lattice结构后，TD-CE的计算复杂度可以显著降低。通过仿真，将TD-CE与FD-CE进行了对比。仿真结果表明，在高速信道中，对于信道估计均方误差和平均误码率（BER），TD-CE都具有优势。 随后，针对多用户MIMO SC-FDMA系统，提出了一种低峰均比（PAPR）且同时获得发送分集与空分复用增益的块级空时分组码（BL-STBC）。结合集中式与分布式（DM）子载波映射的特点，为空频分组码（SFBC）设计了部分分布式（PDM）子载波映射。在线性MMSE准则下，利用BL-STBC的代数性质和一种特殊置换矩阵Jc，导出了低复杂度的空时频多用户检测算法。通过仿真，对比了不同码的平均BER和PAPR性能。仿真结果表明，在中低速信道中，与采用PDM子载波映射的SFBC相比，采用DM子载波映射BL-STBC的平均BER性能具有优势，并且两者的计算复杂度相当。此外，对比SFBC SC-FDMA和SFBC OFDMA信号，BL-STBC SC-FDMA信号的PAPR明显低。 进一步，根据多元统计理论，对SC-FDMA系统频域均衡（FDE）进行了性能分析。利用独立分布的多元随机变量概率分布和Laplace变换数值求逆方法，推导出了MMSE频域均衡（MMSE-FDE）和迫零（ZF）频域均衡（ZF-FDE）输出信号与干扰加噪声比（SINR）的累计分布函数（CDF）近似闭式。利用这些闭式，进而获得了QPSK调制SC-FDMA系统的平均BER近似表达式。通过对比FDE输出信号SINR的CDF与平均BER性能的仿真和分析结果，验证了SC-FDMA系统FDE的性能分析方法。此外，理论分析和仿真结果证明了SC-FDMA系统的平均BER性能明显优于OFDMA系统。 在上述研究工作基础上，我们开发了无线MIMO通信实验系统，进行关键技术验证。实验系统采用前述的多项技术，如SCBT体制、无线帧结构、导频结构、信道估计、空时发送方案和空时检测方案等。该实验系统具有低峰均比、低复杂度均衡、易于结合MIMO技术等优点。实验系统中的基带信号处理平台采用现场可编程门阵列（FPGA）、数字信号处理器（DSP）与主处理单元（MPU）等相结合的软件无线电架构。实验系统支持多种无线互联网业务应用，包括文件传输、视频会议和视频点播等。本文给出了在室内环境中的多种测试结果，如MIMO信道冲激响应、空时联合检测器输出信号星座图以及误块率等。实测结果表明频谱利用率超过3．3bps/Hz。