随着空间科学技术战略地位的日益提高,旨在扩展系统能力的卫星编队飞行技术越来越受到重视。编队卫星系统中高精度编队控制等多项关键技术的性能均依赖于高精度的卫星相对导航技术。因此,分析不同编队卫星场景相对导航的问题特点,研究可精确、高效确定星间相对位置与速度的滤波方法,有针对性地改进和优化编队卫星相对导航性能,具有重要研究价值和意义。本学位论文依托编队飞行卫星相关研究背景,考虑编队卫星不同参考轨道对相对导航系统性能的影响,抽象具有不同运动模型和噪声/残差特性的滤波问题,提出具有针对性改进机制的新型自适应卡尔曼滤波方法,提高卫星相对导航滤波精度、效率及自适应性能。主要工作及创新如下:第一,针对圆轨编队卫星相对导航中线性时不变运动模型含有未知过程噪声协方差参数的特点,提出了一种基于误差协方差反馈调整的自适应卡尔曼滤波算法。仿真对比实验表明其算法估计精度高、计算量小,对滤波器过程噪声参数不精确的情况具有参数自适应能力。第二,针对近圆轨道编队卫星相对导航中非线性连续运动模型离散化和线性化过程引入不可预测近似误差的特点,提出了一种基于后验随机序列反馈的非线性连续离散自适应卡尔曼滤波算法。仿真结果表明其可有效抑制模型离散化和线性化近似误差对滤波精度及稳定性的影响,并且具有计算效率高的优势。第三,针对大偏心率椭圆轨道卫星相对导航中强非线性连续运动及离散测量模型的容积变换和数值近似过程引入不可忽略模型残差特点,提出了一种基于容积采样向量NIRK积分及误差自适应控制的连续离散容积卡尔曼滤波算法。仿真实验表明其可自适应抑制模型离散化和非线性变换残差的幅度从而提高算法估计精度及滤波稳定性。综上,本学位论文以圆形、近圆及大偏心率椭圆三种参考轨道编队卫星的相对导航问题为研究背景,抽象出线性时不变、非线性连续运动及强非线性连续运动/离散测量系统三种滤波问题理论模型,考虑其过程噪声或模型近似误差的不同特性,分别提出了针对问题特点的新型自适应卡尔曼滤波方法。编队场景数值仿真验证了本文新方法的状态估计性能,为相关领域应用研究提供理论基础及借鉴经验。