论文部分内容阅读
基于视频流的图像拼接技术是提取一段视频中的若干关键帧,将关键帧重叠区域的图像进行特征点配准、边界缝合后生成一张完整的拼接图像,该技术在计算机图形学、视频监控、无人机航拍图像、遥感影像等领域展示了广阔的应用前景和价值。
随着计算机技术和信息化的快速发展,图像拼接技术可以准确高效地将视频流中的关键信息以图像的方式展现出来,满足实时性的要求。铁路交通监控视频就是其中的典型代表,通过研究图像拼接技术,及时发现安全隐患,保障社会生活的有序运行。但是由于视频数据量大,计算方式复杂,且图像容易发生畸变,目前仍存在许多问题。比如:视频关键帧的自动提取、图像特征点和特征区域的选取、图像融合平滑过渡等等。这些问题的解决,将会对基于视频流的图像拼接技术产生较大的推动作用。
因此,本文从视频图像拼接技术的具体需求出发,在研究一系列传统的图像拼接算法的基础上,结合目标检测和深度学习领域的关键技术,设计了一套基于视频流的图像拼接算法,主要内容可概括如下:
(1)设计基于目标检测的关键帧提取算法
针对视频关键帧的自动提取技术,通过卷积神经网络(CNN)在目标检测领域的应用,设计了一种基于目标检测的关键帧提取算法。其中包括选取SIFT特征点作为关键帧粗识别,利用卷积神经网络挖掘图像深度特征作为关键帧精识别,进而使用SVM分类器将图像特征进行分类,得到视频关键帧序列。根据平均关键帧率的大小作为评价指标,对关键帧提取算法效率进行对比分析,经过实验结果验证,本文提出的算法有效地减少了关键帧的数量,同时平均关键帧率也降低了40%左右,提高了关键帧提取的效率和准确度。
(2)提出基于重合区域极值检测的SIFT图像拼接算法
在基于特征点的图像拼接算法的基础上,提出了基于重合区域极值检测的SIFT图像拼接算法。对关键帧图像序列,排除非重叠区域的特征点,仅考虑重叠区域的极大值特征点对,利用重叠区域特征极大值提取法提取SIFT特征点,然后根据Harris角点对尺度变换的敏感性,在已提取出的SIFT特征点内检测Harris角点,舍去平滑区域特征点,接着采用BBF特征点搜索算法提高搜索效率,利用RANSAC特征点提纯算法去除无效特征点,最后采用基于渐入渐出阈值分界的图像融合算法消除拼缝,完成特征配准、图像变换以及图像融合。
(3)算法实现与性能分析
为验证本文提出的算法的有效性,设计了一个基于视频流的图像拼接原型试验系统,实现了铁路交通监控视频中的关键帧提取和车厢图像拼接。在条件允许的情况下,重点分析了图像配准中的BBF特征搜索率以及RANSAC特征提纯率和图像融合中的信息熵、互信息、平均梯度等一系列评价指标,结果表明:本文提出的算法不仅减少了拼接所需的关键帧的数量,缩减了时间消耗,图像配准的准确率和拼接质量也得到了较大幅度提升,改善了基于视频流的图像拼接算法效率。
随着计算机技术和信息化的快速发展,图像拼接技术可以准确高效地将视频流中的关键信息以图像的方式展现出来,满足实时性的要求。铁路交通监控视频就是其中的典型代表,通过研究图像拼接技术,及时发现安全隐患,保障社会生活的有序运行。但是由于视频数据量大,计算方式复杂,且图像容易发生畸变,目前仍存在许多问题。比如:视频关键帧的自动提取、图像特征点和特征区域的选取、图像融合平滑过渡等等。这些问题的解决,将会对基于视频流的图像拼接技术产生较大的推动作用。
因此,本文从视频图像拼接技术的具体需求出发,在研究一系列传统的图像拼接算法的基础上,结合目标检测和深度学习领域的关键技术,设计了一套基于视频流的图像拼接算法,主要内容可概括如下:
(1)设计基于目标检测的关键帧提取算法
针对视频关键帧的自动提取技术,通过卷积神经网络(CNN)在目标检测领域的应用,设计了一种基于目标检测的关键帧提取算法。其中包括选取SIFT特征点作为关键帧粗识别,利用卷积神经网络挖掘图像深度特征作为关键帧精识别,进而使用SVM分类器将图像特征进行分类,得到视频关键帧序列。根据平均关键帧率的大小作为评价指标,对关键帧提取算法效率进行对比分析,经过实验结果验证,本文提出的算法有效地减少了关键帧的数量,同时平均关键帧率也降低了40%左右,提高了关键帧提取的效率和准确度。
(2)提出基于重合区域极值检测的SIFT图像拼接算法
在基于特征点的图像拼接算法的基础上,提出了基于重合区域极值检测的SIFT图像拼接算法。对关键帧图像序列,排除非重叠区域的特征点,仅考虑重叠区域的极大值特征点对,利用重叠区域特征极大值提取法提取SIFT特征点,然后根据Harris角点对尺度变换的敏感性,在已提取出的SIFT特征点内检测Harris角点,舍去平滑区域特征点,接着采用BBF特征点搜索算法提高搜索效率,利用RANSAC特征点提纯算法去除无效特征点,最后采用基于渐入渐出阈值分界的图像融合算法消除拼缝,完成特征配准、图像变换以及图像融合。
(3)算法实现与性能分析
为验证本文提出的算法的有效性,设计了一个基于视频流的图像拼接原型试验系统,实现了铁路交通监控视频中的关键帧提取和车厢图像拼接。在条件允许的情况下,重点分析了图像配准中的BBF特征搜索率以及RANSAC特征提纯率和图像融合中的信息熵、互信息、平均梯度等一系列评价指标,结果表明:本文提出的算法不仅减少了拼接所需的关键帧的数量,缩减了时间消耗,图像配准的准确率和拼接质量也得到了较大幅度提升,改善了基于视频流的图像拼接算法效率。