视频拼接(Video Stitching)是数字多媒体处理中的一项重要技术,在智能监控、国防、交通等领域具有广阔的应用前景。它将多路具有重叠场景的窄视角的视频,拼接成一路宽视角的视频,拼接后的视频包含了几路视频中全部的场景信息。图像拼接是视频拼接的基础。图像拼接系统首先进行图像预处理,然后进行图像配准,最后采用图像融合技术获得清晰自然的拼接图像。图像配准是整个系统最重要的环节。传统的配准算法存在计算量较大、实时性差的缺点,另外,由于重叠区域过小造成变换矩阵求解误差增大,致使视频帧间产生抖动现象。配准算法实时性差和视频帧间的抖动仍然是目前亟待解决的问题。针对上述问题,本文展开了如下的研究工作：(1)由于SURF算法生成矢量描述符,计算量较大且描述符的维度较高,本文采用了FREAK特征描述符,FREAK算法生成128维的二值描述符,在Retina模型上抽取128对二值强度测试大大减小了特征描述的计算量,采用Hamming距离度量描述符之间的相似性节省了特征点的匹配时间。针对中心对称模型对图像几何变形过于敏感的缺点,本文提出了各向异性的特征描述算法,对Retina模型进行自适应的几何纠正。实验表明,改进的特征匹配算法准确率达到80%以上,该算法的运行速度较经典的SURF算法提高了10倍,实现了算法的实时性。(2)介绍了金字塔KLT算法,实现了对特征点的跟踪。采用了亚像素插值法使KLT算法的跟踪精度达到了亚像素级别。KLT算法较特征点匹配算法更加高效,对前一时刻检测的特征点进行跟踪,不再需要逐帧提取特征点。(3)介绍了随机抽样一致算法(Random Sample Consensus, RANSAC),输入匹配的特征点集后,可以获得最优一致集并求解变换矩阵。然后采用LMA算法求得最优变换矩阵。同时介绍了光照增益补偿算法和多频段融合算法,最终得到一幅过渡自然细节丰富的广视角拼接图。(4)实现了航拍视频实时拼接系统,采用Kalman滤波器估计出视频采集设备的主动扫描分量,实现了拼接系统的运动补偿。针对重叠区域过小造成变换矩阵误差增大的问题,本文依据变换矩阵之间的相互关系,采用对左、右路视频前后帧的配准代替左右路的配准,从而扩大了重叠区域的比例,消除了帧间的抖动。实验结果表明本文的系统实现了对无人机航拍视频的实时拼接。