近年来，由于多媒体、Internet等数据业务的迅猛增长，要求未来的无线通信系统能够提供更高的数据传输率，以满足人们日益增长的数据业务的需求。目前有多种技术可作为未来无线通信系统中的候选关键技术，其中多输入多输出(Mulitple-Input Mulitple-Output，MIMO)技术，由于能够在功率及频谱带宽保持不变的情况下，成倍地提高通信系统的容量和频谱利用率，从而为未来宽带高速无线数据通信技术的发展指明了方向。本论文首先对MIMO无线通信系统中信号检测与信道估计研究的现状进行了系统的总结，并指出了目前该领域仍有待解决的若干重要问题，然后简要地概述了本文所进行的主要研究工作和取得的创新性成果。在论文的第二部分，针对独立的Rayleigh平坦衰落信道环境中的垂直-贝尔实验室分层空时(Vertical Bell Laboratories Layered Space Time，V-BLAST)系统，在对信道矩阵作修正的选主列QR分解(QR-Decomposition，QRD)的基础上，联合球形译码(Sphere Decoding，SD)算法和逐层检测算法，本论文提出了一种基于信道质量的自适应分组检测算法。在该算法中，可通过分组门限的选择，在系统检测性能和复杂度之间取得十分灵活的折中。更有意义的是：该自适应分组算法从概率意义上将SD算法和逐层检测算法统一了起来。在论文的第三部分，主要研究了空间相关平坦衰落信道环境中数值稳健的低复杂度V-BLAST检测算法。首先，利用Householder变换，并结合WY表示形式，本论文提出了一种基于修正的Householder QRD(Modified Householder QRD，M-H-QRD)的V-BLAST检测算法。理论分析表明：在空间相关信道环境中，与标准的V-BLAST检测算法及排序QRD(Sorted-QRD，S-QRD)检测算法相比，M-H-QRD检测算法具有稳健的数值特性，特别地，在有限字长(Finite Word Length，FWL)精度下，M-H-QRD检测算法需要更少的字长就可达到与S-QRD检测算法同等的差错平层；同时，在中低信噪比范围内，该算法的性能十分接近标准的V-BLAST检测算法，但所需的计算复杂度与标准的V-BLAST检测算法相比，下降十分明显。在这些结论的基础上，考虑到具有较少收发天线数的V-BLAST系统通常具有更高的实用价值。因此，以M-H-QRD为基础，针对具有较少收发天线数的V-BLAST系统，本论文提出了一种基于M-H-QRD的V-BLAST迭代检测算法。仿真结果表明：迭代检测对V-BLAST系统的性能提升十分明显，同时又保留了M-H-QRD数值稳健性的优点。论文接下来研究了时变平坦衰落信道环境下Alamouti空时编码系统中的半盲信道估计及Alamouti空时码(Space-Time code，STC)的译码问题，本论文提出了两种联合译码与半盲信道估计算法。其中一种算法利用线性插值首先对信道估计进行初始化，然后根据期望最大化(Expectation-Maximization，EM)算法，以迭代方式，实现了Alamouti空时编码系统的联合译码与信道估计，并且研究了数据帧长对该算法性能的影响。另外一种算法联合Kalman滤波与框式约束ML(Box-Constrained ML，BCML)检测算法，实现了时变信道的即时追踪与AlamoutiSTC的译码。最后研究了时变频率选择性MIMO信道环境中的符号检测及信道追踪问题，本论文提出了一种带自适应信道追踪的、计算复杂度可控的序列检测方法，即Γ-H-MLSE方法。该方法对于将MLSE(Maximum Likelihood Sequence Estimation，MLSE)算法的思想推广到实际的多天线通信系统中具有一定的参考价值。