随着机器视觉,惯性导航和计算机科学技术的发展,利用视觉惯性里程计解决在非结构化的场景中,GNSS信号强拒止弱观测的条件下,载体连续、稳定和精确的定位和测姿问题,已经逐渐地成为导航领域的热点研究方向。但是,视觉惯性里程计的性能与场景特征、载体运动和传感器的精度相关,在工作过程中可能发生以下情况:相机视点变化引起的图像间的几何变换;场景中特征信息不足和光照变化;载体的高动态引起的运动模糊;相机探测器的噪声——这些因素将导致视觉里程计的位姿测量产生较大的累积误差甚至失效。惯性导航由于惯性测量单元的零偏不稳定性和噪声等因素,其计算的位置、速度和姿态同样将产生累积误差。因此视觉惯性里程计相对于其它的导航系统的精度和适用性受场景特征、载体运动和传感器性能的影响较大。本文考虑到双目视觉里程计具有两个单目视觉和一个立体视觉的位姿测量信息,为视觉惯性里程计提供了更多的观测维度,将这些信息与惯导统一的融合将提高视觉惯性里程计的位姿估计精度。而且多视觉测量信息能够提供更多的位姿测量冗余度,当某视觉位姿测量单元发散或失效时,其它视觉位姿测量单元与惯性导航信息融合仍可获得较高精度的稳定导航信息。本文的目的是研究一种双目视觉惯性里程计多位姿信息的冗余结构以及数据融合技术,使视觉惯性里程计具有更多的位姿测量冗余度和信息观测维度,在几何变换、特征稀疏、光照变化、模糊和噪声等情况下,具有更高的鲁棒性,精度和可靠性,实现载体稳定、精确和实时的自主导航。本文的主要研究内容包括:1.提出了多视觉位姿信息与惯导信息的融合算法。本文系统地分析了单目视觉里程计和立体视觉里程计位姿估计的互补性,提出了“双单目+立体”的双目视觉惯性里程计工作模式。使双目视觉惯性里程计具有尺度确定,位姿估计不受深度陆标点深度限制的优点。并且利用数量更多、三角化精度更高和几何分布更良好的陆标点信息,与三个视觉位姿计算单元的信息以及惯导运动状态进行平滑估计。通过数据集测试,“双单目+立体”工作模式相比于立体视觉工作模式的视觉惯性里程计平动精度提高了27.34%,转动精度提高了13.54%。2.提出了多位姿信息的故障诊断和故障处理的冗余结构。为了解决大尺度场景条件下,可能出现的场景特征不足、特征误匹配和视觉里程计前端位姿计算发散的情况,基于“双单目+立体”的工作模式,以IMU预积分计算的运动状态为故障监测基准,深入研究并设计了视觉位姿估计信息的冗余结构,一旦某视觉里程计单元出现故障,根据功能结构的状态机,可自动地初始化故障单元,并且以正常工作的视觉里程计单元与惯性导航系统实现信息融合,实现导航信息的输出。在大尺度场景条件下,视觉位姿信息冗余设计的视觉惯性里程计功能结构显著地提高了视觉惯性里程计的鲁棒性和可靠性。3.提出了IMU预积分辅助的图像特征匹配算法。本文通过IMU预积分预测的相机间相对位姿,根据图像间的对极几何约束,估计对应特征点在匹配图像中的区域,使对应特征的搜索范围局限在匹配图像中对应极线的邻域范围。结合IMU辅助2点自适应RANSAC算法,相比于经典的图像特征匹配与3点RANSAC算法处理时间,本文的图像匹配处理时间减少了34.02%,弥补了由于“双单目+立体”的工作模式前端增加的计算量,提高了双目视觉惯性里程计的实时性。4.提出了改进的IMU预积分目标函数模型。双目视觉惯性里程计的后端采用批量平滑优化方法融合三个视觉里程计单元和惯性导航的六自由度运动信息。为了保证惯导计算的运动增量和VO位姿计算增量的时间一致,采用IMU预积分的形式建立惯导的目标函数。不同于经典的在导航系IMU预积分模型,本文基于载体坐标系建立了IMU的预积分模型,并基于IMU零偏为慢变漂移的假设推导了其一阶形式,建立了基于载体系的INS目标函数,推导了目标函数相对于状态变量的Jacobian矩阵。基于载体系建立改进IMU预积分模型避免了载体系与导航系旋转矩阵的反复迭代,而且惯导部分目标函数的Jacobian矩阵也具有更简洁的形式。通过改进的IMU预积分模型,减少了后端最优估计的计算量。本文在室内场景和大尺度室外场景中多位姿信息融合的双目视觉惯性里程计的性能。室内场景利用EuRoC数据集,与OKVIS视觉惯性里程计对比,结果表明双目视觉惯性里程计的平动精度提高了18.37%,转动精度提高了10.52%;在大尺度场景下,利用高精度的GNSS/INS组合导航系统输出作为真值,对多位姿信息的双目视觉惯性里程计试验验证,结果表明:多位姿信息融合的双目视觉惯性里程计具有较高的鲁棒性,不变性、可靠性和实时性,在7.2km的运动距离条件下,平动精度为1.35%,转动精度为0.0020/m,数据更新率为10Hz。