智能天线作为第三代(3G)移动通信中的关键技术之一，通过识别信号来波方向(DOA)实现空分多址(SDMA)，为提高系统容量和性能提供了有效途径。本文重点研究了两类用于DOA估计的子空间算法：多重信号分类(MUSIC)和旋转不变子空间(ESPRIT)算法，通过仿真证明了算法的有效性。 本文一方面针对信号的一维DOA估计，在智能天线工作原理及自适应波束形成技术基础上，研究了传统MUSIC算法、求根MUSIC算法和基本ESPRIT算法，通过仿真比较了它们的性能；针对二维DOA估计，研究了DOA矩阵法、二维虚拟ESPRIT算法。结合阵元复用原理和DOA矩阵法求解角度信息时运算量较小的优点，本文将二维虚拟ESPRIT算法进行了改进。仿真表明，改进的二维虚拟ESPRIT算法提高了对方位角的估计性能且阵元利用率和算法效率都得到了提高。此外，本文就DOA估计时信源数未知的情况，研究了信源数过估计和欠估计对MUSIC算法性能的影响，仿真比较了三种用于信源数估计的准则：AIC、MDL和HQ准则。 本文另一方面研究了空间平滑技术和矩阵分解(MD)两类解相干算法。通过分析MD算法性能与其重构阵列接收数据矩阵时所选择子矩阵个数的关系，本文提出了一种改进MD算法(IMD)，IMD算法不需要所有的子矩阵，而是选择部分子矩阵重构接收数据矩阵，因此降低了算法在矩阵奇异值分解时的复杂度，并保证了估计性能。同时，结合空间平滑技术与二维虚拟ESPRIT算法，实现了相干信号的二维DOA估计，仿真证明了该算法的有效性。