多入多出(MIMO)技术和正交频分复用技术(OFDM)作为提高数据传输速率的重要手段得到人们越来越多的关注，已经被认为是新一代无线宽带通信系统的革命技术。本文主要对MIMO中的VLST技术和OFDM技术做了研究，主要工作如下： 首先介绍了MIMO信道容量和MIMO空时信号处理技术，分析了移动无线信道的传播特性，实现了频率选择性多径衰落MIMO信道建模。 对垂直分层空时码(VLST)检测方法尤其是VLST迭代检测方法作了研究，提出一种低复杂度的迭代检测算法——准最大后验概率(QMAP)检测算法。QMAP算法利用VLST系统的QR分解--干扰删除结构，递推的计算后验概率。在树图搜索时仅保留对输出贡献大的路径。这使得算法保持较高的性能，又有较低的复杂度。针对QMAP算法在高阶QAM调制的情况下复杂度仍然很高的缺点，提出多级映射QMAP算法，使复杂度进一步降低。 载波干涉OFDM(CI／OFDM)发送符号调制到所有的OFDM子载波并通过CI扩展码加以区分，从而在不损失吞吐量的情况下获得频率分集。本文实现了一种CI／OFDM与VLST结构相结合的VLST-CI／OFDM系统，并推导出该系统的MMSE检测算法。VLST-CI／OFDM系统既可以获得VLST结构的复用增益，也可以获得CI／OFDM特有的频率分集增益，性能优于普通的VLST-OFDM系统。而VLST-CI／OFDM系统的PAPR性能也优于VLS-OFDM系统 对小波包分多址(WPDMA)系统的过饱和多址进行研究。给出了两种过饱和WPDMA系统：最小尺度过饱和WPDMA系统和正交过饱和WPDMA系统。由于小波包具有非常整齐的树型结构，将针对树型结构的低复杂度的最优检测算法作为两种过饱和小波包分多址系统的多用户检测方法。根据正交过饱和WPDMA系统中多址干扰的特点，给出分组排序串行干扰删除多用户检测方法。过饱和小波包分多址系统可以提供比正交多址系统更高的容量，而性能损失可以接受。