论文部分内容阅读
近年来,基于视觉的微小型无人机地面运动目标跟踪已经成为无人机领域研究的热点之一,主要包含两方面的研究内容:无人机自身位姿估计和基于图像序列的目标跟踪。无人机自身准确的位姿估计是无人机实现自主飞行和运动目标跟踪的前提。基于单目相机和惯性器件融合的位姿估计由于成本低廉和传感器之间存在天然的互补性为当前解决无人系统位姿估计问题提供了极具吸引力的方案:单目相机是一种外部传感器,能够在感知外部环境信息的同时恢复场景的三维几何结构,但是三维结构的准确尺度未知;惯性测量单元作为机器人本体传感器,能够使得单目的未知尺度变得可观,在短时间内能够提供鲁棒、准确的位姿估计结果。尽管基于视觉惯导融合的位姿估计方法已经取得了较好的效果,但是如何将视觉和惯性器件两个不同源的信息结合起来,在计算能力受限的情况下实现鲁棒、准确的位姿估计仍然是一个难题。基于图像序列的目标跟踪作为计算机视觉领域一个核心的并且极具挑战性的研究课题,已经有几十年的研究历史,并且取得了非常丰硕的研究成果。然而,在微小型无人机目标跟踪过程中,仍然存在一些不可避免的难题有待解决。例如,在机载计算机运算能力有限的情况下如何实现实时的目标跟踪;无人机存在快速机动等情况;场景光照和目标视觉外观发生变化;频繁的目标尺度变化;跟踪目标在图像平面上出现旋转运动;等等。针对微小型无人机跟踪地面运动目标过程中遇到的两个难题,本文在以下几个方面开展了深入研究:(1)提出了一种基于滑动窗口的视觉惯导信息紧耦合融合的微小型无人机位姿估计方法。首先,利用李群李代数工具对无人机位姿估计过程进行了详细的推导和描述。本文提出了一种视觉惯导系统初始化方法,该方法能够准确的估计出视觉尺度、重力在世界坐标系下的方向、加速度计和陀螺仪的零偏、无人机的初始位姿和速度以及无人机初始高度。估计的初始值用于初始化本文所提出的基于视觉惯导紧耦合融合的位姿估计系统,实现了鲁棒、准确的微小型无人机位姿估计。在实际应用过程中,仅仅包含有一些最新的惯性器件测量信息和视觉测量信息的有限数量滑动窗口被用于无人机位姿估计,视觉惯导系统的实时性能够得到保证。同时,滑动窗口中保留的一些历史信息使得估计的无人机位姿更加准确,得到的运动轨迹更加平滑。(2)传统的目标跟踪方法已经能够以较高帧率对目标进行实时跟踪,但是当目标模型或模板存在着漂移,特别是跟踪的目标从相机视野中消失时,传统的目标跟踪方法经常会失败,并且不能重新搜寻、跟踪目标。为了克服传统跟踪方法的不足,本文提出了一种并行跟踪与检测框架。整个目标跟踪框架被分为两个独立任务:跟踪和检测,它们分别运行在两个不同的线程中。本文提出的跟踪框架包含有两方面优点:在跟踪子失败或者出现漂移时,独立的检测子能够帮助恢复或校正跟踪子;跟踪子得到的跟踪轨迹和检测子检测到的检测结果能够结合起来为检测子提供具有时空结构约束的训练样本。使用所提出的目标跟踪框架在TLD数据集上开展了目标跟踪实验,结果验证了所提出框架及算法的有效性。(3)目标发生尺度和旋转变化会为目标跟踪带来很大的挑战,本文针对该问题提出了一种具有尺度和旋转适应性的鲁棒目标跟踪算法。首先,针对跟踪过程中目标存在的尺度变化和旋转运动,提出了一种基于傅里叶-梅林变换和核相关滤波的目标尺度和旋转参数估计方法。然后,针对在目标跟踪过程中,有时不可避免的会出现跟踪失败的情况(如由于长时间半遮挡或者全遮挡等),提出了一种基于直方图和方差加权的目标搜索方法。当目标丢失时,通过提出的搜索方法能够快速的从图像中确定目标可能存在的区域,使得跟踪算法具有从失败中恢复过来的能力。本文还训练了两个核相关滤波器用于估计跟踪结果的置信度和目标平移。本文在目标跟踪标准数据集(online object trackingbenchmark,OTB)上开展了实验,结果验证了所提出算法的有效性和优越性。(4)当无人机位姿和目标在图像中的位置已知,同时满足目标位于地面上的约束条件时,本文提出了一种地面目标三维位置线性估计方法,能够有效的获取跟踪目标在三维空间中的位置。