航天器的相对导航是指利用传感器测量信息估计两个以上航天器相对位置和相对姿态的过程。无论是在轨服务还是航天器编队飞行任务，由于采用相同的模型和传感器，所以相对导航原理具有一致性。为了保证此类任务的顺利实现，高精度的相对导航技术是关键所在。本论文以航天器相对导航技术为研究对象，对航天器的相对姿态、相对位置估计和非合作目标相对位姿估计等方面进行了深入研究，主要内容如下：对比分析了贝叶斯框架下几种非线性滤波方法的性能。从本质上来看，粒子滤波、扩展卡尔曼滤波、无迹卡尔曼滤波与容积卡尔曼滤波均属建立在贝叶斯滤波框架的基础上，粒子滤波是一种非线性非高斯滤波方法，随着粒子数目的增加，能够以任意精度逼近状态的最优估计值，而其他三种滤波方法均为次优近似高斯滤波器，论文主要从非线性变换、高斯加权积分与数值稳定等方面对三种高斯滤波方法进行了性能分析。首先，对比了三种滤波器对随机变量非线性变换的一阶矩和二阶矩的逼近精度。其次，从高斯加权积分的近似来对比滤波器精度，分析表明无迹卡尔曼滤波和容积卡尔曼滤波的估计精度要优于扩展卡尔曼滤波，并从另一个角度印证了容积卡尔曼滤波是无迹卡尔曼滤波的一个特例，两种滤波方法的估计精度相当。最后，由数值稳定性分析可知，随着状态维数的增加前者的数值稳定性要明显优于后者。仿真分析表明，容积卡尔曼滤波对高维系统的估计精度要略优于无迹卡尔曼滤波，且不存在滤波器不稳定的现象。提出了一种结合四元数与容积卡尔曼滤波的航天器姿态估计方法。在算法迭代过程中利用广义罗德里格参数与误差四元数切换来满足递推中四元数描述的单位模约束。该方法可以有效地避免姿态递推过程中的奇异问题，保证了容积四元数估计器具有精度与数值稳定性方面的优势，同时在滤波器初值设置误差较大的情况下保持较快的收敛速度和良好的估计精度。进一步地，为了减少多传感器矢量测量时的滤波器的计算负担，给出了一种信息容积四元数估计器，其特点是不需要对量测协方差矩阵求逆，因此运算量与系统的状态维数相关而与量测维数无关，且初值设置较为简单。仿真结果验证了所提出的四元数估计器的有效性。为了提高姿态估计效率，提出了一种基于改进容积卡尔曼滤波的修正罗德里格参数估计方法。考虑修正罗德里格参数较四元数具有更高的计算效率，但存在无法全局描述姿态的缺点，采用其与自身的影子参数切换的策略，避免大角度机动时出现的姿态奇异现象，同时融合了龙贝格-马尔塔迭代算法进一步提高了修正罗德里格参数的估计精度。最后，将该方法应用于航天器的相对姿态估计中，利用航天器的相对视线方向以及两个航天器的共同矢量测量值作为测量输出，来进行航天器的相对姿态参数解算。与其他方法的仿真对比表明，所提方法实现了无奇异姿态估计，同时具有良好的估计精度。针对航天器相对导航模型建模不准确所造成的滤波精度下降问题，提出了一种融合高斯过程回归的高斯粒子滤波算法。利用高斯过程回归模型来预测系统状态输出与模型的不确定性，并结合高斯粒子滤波器得到一种不需要精确已知系统模型的新算法。所提出的改进高斯粒子滤波方法，有效地克服了地球非球形摄动导致的航天器相对运动模型不准确问题，避免了传统方法引起的滤波性能下降。仿真对比验证了改进高斯粒子滤波在航天器相对运动估计方面的优越性。对非合作的在轨操控任务中，追踪航天器与目标航天器之间无信息通讯，并且目标航天器的几何特征信息未知，针对该情形下的相对导航问题，提出了一种基于双目视觉的非合作目标相对运动估计方法。将特征点在目标航天器体系下的坐标扩展为系统的状态，并刻画了相机安装在非质心位置时姿态运动对位置运动的影响，通过引入耦合运动模型解决CW方程描述航天器相对运动存在误差的问题。进一步地，为了克服模型的严重非线性以及噪声统计特性时变问题，提出了基于Sage-Husa噪声估计器的自适应容积卡尔曼滤波方法。仿真结果表明，提出的算法能够适应测量噪声统计特性随时间变化的情况，且具有良好的相对运动估计精度。