正交频分复用(OFDM)是一项很有前途的技术，可以看成是多载波调制(MCM)和频移键控(FSK)调制的结合，是新一代无线通信传输的主要候选技术。多天线OFDM系统采用阵列天线实现空间分集，利用了时间、频率和空间三种分集技术，使无线通信系统对噪声、干扰和多径的容限大大增加。本学位论文研究了多天线OFDM系统智能天线技术的一个热点问题：波束成形。本文首先研究了基于参考信号的OFDM波束成形系统。此类波束成形系统使用的参考信号通常是导频子载波，但由于一些OFDM系统导频资源很有限，导致系统性能难以继续提高。因此，本文提出了利用导频子载波和虚拟子载波的波束成形算法。并且，在多径无线信道中，从收敛性、功率谱、误帧率等多个角度全面分析了这一算法对系统性能的影响。结果表明，基于导频子载波和虚拟子载波的波束成形算法能在不影响频谱利用率的条件下使OFDM波束成形系统性能得到明显改进。基于特征分析的OFDM系统波束成形算法对减少系统复杂性和提高系统性能具有很大的潜力。在这种波束成形系统中，判决特征信道的个数是首要的和关键的问题，它直接决定了接收机采用解调模块的数目。本文在分析该算法基本原理的基础上，首先提出了“有效特征信道阶”的概念；其次，结合有效特征信道阶是与噪声和多径信道路径幅度相关的特点，提出了基于恒虚警率(CFAR)的信道阶检测算法；最后，利用多径随机信道模型，对这一算法进行广泛的仿真实验，结果证明这一算法具有优越的性能，对提高系统性能很有利。基于波达方向(DOA)的波束成形算法是目前被广泛使用的一类波束成形算法，具有很好的性能。但是，该类算法的良好性能总是基于DOA的精确估计基础上的。实际上，由于环境噪声和其它干扰源的影响，要得到精确的DOA估计往往比较困难，这将导致算法的鲁棒性下降。为此，本文提出了基于扩展贝叶斯滤波的鲁棒波束成形算法。在该算法中期望信号的波达方向被看成一个由若干样点组成的随机变量，利用后验概率对这些样点的最小畸变响应(MVDR)波束成形权值进行加权来取得优化的权值，并对小概率样点进行重采样，有效地提高了波束成形系统的鲁棒性。空时编码OFDM(STC-OFDM)系统具有容量大、传输速率高等优点，在未来的无线通信中具有很好的应用前景。但这一系统的主要缺陷是共信道干扰(CCI)严重。波束成形技术可以利用角度分集来抑制CCI。本文利用基于扩展贝叶斯滤波的波束成形来抑制STC-OFDM系统的CCI，与传统的共信道干扰抑制算法相比，取得了更好的效果。