在无线信道中实现对多媒体业务(包括语音、数据和图像等)的支持已经成为通信系统发展的必然趋势，高速无线数据接入业务与用户数量的迅速增长，需要更高速率、更大容量的无线链路的支持。决定无线链路传输效能的最根本因素在于信道容量，然而单纯以增加带宽、功率的方式来扩展信道容量是不切实际的。多天线信息理论揭示了多输入一多输出(MIMO：Multi-Input Multi-Output)技术所具有的远远超越于传统单天线系统的高效传输性能，为空时编码技术的产生与应用奠定了坚实的理论基础。 本文针对MIMO无线通信系统中的若干问题进行了研究，并取得了如下成果： 针对酉空时码最大似然检测的高复杂度问题，提出了一种具有树形结构的酉空时星座，及其最小平均失真设计准则与相应的迭代设计算法。利用这种星座结构，可以通过树形搜索替代最大似然检测对整个星座的遍历计算，因此能够有效地降低译码复杂度。在树形酉空时星座的基础上，提出了邻接子树的概念与邻接子树联合译码算法。这种改进的译码算法能够有效地避免单纯树形搜索过程中，子树根判决错误时造成的错误译码，因而能够获得明显优于树形搜索译码算法的差错概率性能。同时由于邻接子树联合译码过程中避免了对大量非邻接子树叶子节点的计算，因此仍然具有相对较低的译码复杂度。对于具有循环相关特性的酉空时信号集，我们提出了一种子树交叠树形星座设计方法。利用信号集合的循环相关性，依照一棵子树中子树根与叶子节点之间的相对位置关系，仅需要通过序号的延拓即可生成树形星座。同时，可以通过提高子树叶子节点集合之间的交叠程度来改善其译码性能。 利用多元统计分析理论的研究结论与一种逐层递推的分析方法，对基于判决反馈结构的分层空时检测算法的差错概率性能进行了分析。推导了非相关平坦Rayleigh衰落信道中，使用多进制PSK调制方式时，ZF-DFE(Zero Forcing-Decision Feedback Equalization)与MMSE-DFE(Minimum Mean Square Error-Decision Feedback Equalization)算法的符号错误概率性能的近似解，并且通过计算机仿真验证了上述理论分析结果。 提出了一种结合最大似然检测的分层空时检测算法。这种算法通过对排序分层的分组最大似然检测与组间判决反馈相结合的方式，避免了对全体分层直接进行最大似然检测时的高复杂度。由于每个分组内部的分层通过最大似然检测能够获得更好的分集阶数与检测性能，因而由于判决反馈引起的误差传播问题能够得到较好的抑制，相对于传统的分层空时检测算法能够获得显著的性能改善。本文