本文主要针对深空探测自主导航应用过程中的非线性滤波算法进行研究。深空探测过程中，由于受到地面基站的影响，探测器飞行过程不能实时、全天候的跟踪控制，所以探测器星上自主导航控制的必要性就体现出来。而现在深空自主导航主要以光学自主导航为主。影响深空探测自主导航精度的主要因素，一方面是星敏感器、光学导航敏感器等硬件条件，另一方面是导航滤波算法。所以滤波算法对精度的提高起着至关重要的作用。针对系统的非线性问题，在传统非线性滤波方法——扩展卡尔曼滤波（EKF）的基础上，主要研究无迹卡尔曼滤波（UKF），粒子滤波（PF）等滤波方法，并对各个滤波算法进行分析比较、优化设计。针对无迹卡尔曼滤波采样点多，影响系统运算速度的问题，选用超平面无迹卡尔曼滤波算法（SUKF）。该方法通过选用平均点周围球面上的有限点，来逼近要估计的状态，减少了采样点个数以及方式，通过对比分析其性能优于无迹卡尔曼滤波（UKF）。然后针对粒子滤波的粒子退化、贫化、衰竭等问题，提出改进措施，并对粒子滤波重要性采样性函数进行设计。在此基础上研究基于扩展卡尔曼滤波的粒子滤波（EKF-PF）算法，基于无迹卡尔曼滤波的粒子滤波（UKF-PF）算法以及采用马尔科夫链蒙特卡洛移动重采样过程的MCMC-PF算法，在算法精度、实时性以及稳定性等方面，对多种非线性滤波算法进行对比分析。得出通过改善粒子滤波重要性采样函数和重采样过程，能够有效的提高系统的精度，在实时性方面也有一定的改善。最后分析了影响无迹卡尔曼滤波(UKF)和粒子滤波(PF)的其他因素,包括粒子个数,系统状态协方差阵、量测协方差阵，噪声模型对滤波精度的影响。