基于传感器阵列的高分辨到达角(Direction-of-Arrive, DOA)估计是现代阵列信号处理中的重要研究方向。多数的DOA估计算法均针对理想均匀线阵或均匀网格平面阵设计。随着现代电子技术的发展，非线性阵列由于其在实际应用中更加灵活，且在一定条件下系统性能更好，逐渐成为DOA估计领域的研究热点。本文针对特定的非线性结构阵列，从快速算法、非均匀阵列噪声、宽带信号处理等几个方面，对相应的DOA估计问题进行了研究。主要研究内容和成果如下：1、研究了基于流形分离技术的稀疏均匀圆阵快速DOA估计方法。通过引入流形分离技术，避免了波束空间变换所带来的性能损失。利用传播算子法代替奇异值分解，降低了计算量。仿真分析表明，对于阵元数目较少或阵元稀疏的均匀圆阵，该方法与传统的波束空间变换类方法相比，性能明显提高，与基于特征分解的类似方法具有基本相同的性能。2、基于非均匀噪声下的随机性最大似然方法，研究了一种非均匀噪声稀疏均匀圆阵二维DOA估计方法。首先采用改进的相位模式方法构造非均匀噪声稀疏均匀圆阵的波束空间似然函数，并在分析非均匀噪声稀疏均匀圆阵的波束空间似然函数特点的基础上，修改了Burg的逆迭代算法以适应稀疏均匀圆阵下非均匀噪声自相关矩阵的估计，最后，经过推导非均匀噪声下似然函数的梯度与近似Hessian矩阵，实现了基于MVP(Modified Variable Projection)方法的非均匀噪声下目标二维到达角估计。与稀疏均匀圆阵Root-MUSIC以及传统的均匀噪声随机性最大似然方法相比，该方法对阵列噪声的均匀程度具有更好的鲁棒性，且计算量增加有限。3、提出了一种基于凸优化的Khatri-Rao子空间非线性阵列宽带DOA估计方法。该方法针对虚拟阵列导向矢量构造聚焦矩阵，利用凸优化工具，在尽量减少聚焦对噪声影响的同时，保持较小的聚焦误差。同时通过引入预处理步骤，增强了算法对非均匀噪声的鲁棒性。与FKR-RSS方法以及传统的RSS方法相比，该方法在估计精度，目标分辨力、多目标处理能力以及对非均匀噪声的鲁棒性方面具有明显的优势，而且其计算量增加有限。4、基于流形分离技术，提出了一种无需预估角的Khatri-Rao子空间非线性阵列宽带DOA估计方法。该方法将流形分离技术推广到Khatri-Rao子空间虚拟阵列，利用凸优化方法构造与到达角无关的宽带聚焦矩阵，无需预估角且估计性能良好。同时，采用Root-MUSIC算法避免传统算法中的谱峰搜索过程，降低了计算量。研究结果表明，与需要预估角的Khatri-Rao子空间宽带DOA估计方法相比，该方法无需预估角却具有类似的估计精度和目标分辨力，优于无需预估角的传统AMI方法；对于非均匀噪声的情形，该方法也具有良好的鲁棒性。5、提出了一种基于稀疏恢复的Khatri-Rao子空间非线性阵列宽带DOA估计方法。该方法利用组稀疏模型，构造各频点Khatri-Rao子空间虚拟阵列的稀疏表示，利用稀疏恢复算法实现了对宽带信号的DOA估计。同时，给出了一种迭代方法，以不断修正稀疏恢复算法的正则化参数，提高了算法性能。而且，这种迭代过程可以与网格细化相结合，故并不会带来明显的计算量增加。研究结果表明，无论信号功率谱是否平坦，该方法均具有良好的DOA估计性能，且能够处理频率点数少于目标数的情形。对于非均匀噪声环境，该方法也具有良好的鲁棒性。