论文部分内容阅读
360度全景图是近年来虚拟现实、计算机视觉技术领域中的一个新的研究热点。它是以图像拼接技术为手段实现的一种低成本的虚拟现实技术,该技术增强与用户交互的同时也增强了场景的渲染效果。全景技术是在感官上实现的一种伪3D的效果,传统的三维建模使用三维激光密集点云扫描系统进行三维重建。该方法广泛的用于逆向设计、产品检测等领域,尽管该方法具有准确度高、便携、可自动拼接等优点,但其有设备价格昂贵、采集数据较慢、纹理信息较差等缺点。本文采用基于图像的绘制技术生成全景图。它是将同一场景中的图像经有序的拼接后合成一张全景图,从而避开了复杂的绘制和建模,我们可以直接使用数码相机或摄像机所拍得的图像来生成全景图。不仅成本低廉,场景也更加真实。本文从全景图的概念、分类、应用、相机成像模型、图像变换模型和全景图生成的流程入手,详细介绍了全景图的相关概念和实现方法。在具体的实现中,改进了经典算法,提出了一些新的算法,优化了生成流程。在特征匹配阶段,将经典的SIFT算法中的描述子改进为基于排序结果的序号为描述子的算法取得了更好的效果,在特征精确匹配阶段,本文提出了基于距离约束的精确匹配算法,相对于传统的RANSAC算法更加简洁高效,针对图像多次拼接出现的“弯曲”现象,本文提出了将左、右图像轮流进行图像变换和本文提出的全局校正算法相结合的方法很好的解决了该问题。针对全景图的首尾相接问题,本文结合了图像的纹理信息提出了一种基于全局坐标约束的算法,使得图像的首尾能够完美的拼合。本文针对高清图像的拼接提出了一种基于对缩略图进行特征提取的解决方案,使高清图像的拼接效率得到了保障。本文根据摄影师的拍摄习惯和相机对图像文件保存的命名规则设计出一种拼接序列智能感知的算法,用户只需将一组图像作为输入就可轻松实现“一键拼接”。全景技术作为虚拟现实最直观、最低廉的实现方式已在多个领域得到了广泛的应用,其中街景服务是最具影响力的应用,在国内外已有多家街景服务供应商,与传统的地图服务相比,除了文字和二维地图信息外,还加入了当前视点对应的真实场景信息,同时在街景中还加入了车牌遮挡、人脸遮挡功能,更好的保护了公众的隐私。全景技术还在房地产、旅游景点、虚拟校园、工程汇报等领域得到了广泛的应用。根据投影模型的不同可将全景图可分为柱面全景图、球面全景图以及立方体全景图,柱面全景图是不包括顶、底信息的全景图,而球面全景图和立方体全景图都是全方位的。立方体全景图一般是由球面全景图转换而来,本文主要介绍了柱面全景图的生成算法,柱面全景图首先需对所有待拼接图像进行柱面投影变换,然后进行特征提取和特征匹配,根据特征点的匹配情况可得到图像变换模型,常用的变换模型有仿射变换模型、透视变换模型和多项式变换模型,用得到的模型对待拼接的图像进行图像变换,最后将两幅图像的重叠部分进行融合,将该组内所有图像都进行拼接后,再将它用处理成一张首尾相接的全景图。本文使用图像拼接的方式来生成全景图,在图像拼接中,一般通过对图像特征的提取和匹配来实现图像的拼接,在特征提取时,本文采用经典的SIFT算法提取点特征,SIFT特征点对图像的尺度变化、旋转变化、光照变化保持不变,对仿射变化也有一定的不变性,是广泛采用的点特征提取算法之一;在匹配过程中,使用特征向量之间距离的最近邻和次近邻之比来判断特征点是否匹配。本文在此经典算法的基础上,首先将描述子排序,将原描述子在排序后序列中所占的位次作为新的描述子,匹配的判定还是采用最近邻次近邻方法,实验结果表明该方法具有更强的鲁棒性。尽管如此,仍不能保证所有的特征点匹配对都是正确的匹配对,但大多数匹配点对都是正确的匹配点对,正是基于这一点,本文提出了一种基于距离约束的精确匹配算法,可从所有的匹配对中找出所有正确的匹配对,剔除错误的匹配对。此时可用正确匹配的特征点对生成图像变换模型并进行相应图像的图像变换。再经过拼合和融合后一次拼接就顺利完成了。在全景图的生成过程中,往往需要多次拼接,随着拼接次数的增加,拼接之后的图像往往表现出较大幅度的“弯曲”,针对此问题,本文提出了一种将图像每列(行)的中心位置拟合到同一中心位置的方法实现了图像的校正。全景图必须是一张首尾相接的图像,为实现全景图的首尾相接,本文通过计算每张图像中心区域的纹理信息,从中选出纹理信息最少的一张图像切分成两张图像,切分后的两张图像分别作为全景图的首和尾,由于这两张图像本身来自同一张图像,因此将这两张图像的场景对齐后,无论是从光照效果上,还是场景的连续性上都表现出很好的一致性,从而实现了首尾相接。在拍摄全景图的原始图像时,一般情况是将相机固定在三脚架上,然后顺时针或逆时针旋转一定角度后进行拍摄,因此全景图中的场景是按照顺时针或逆时针次序保存的。基于这样的规律,本文通过保存图像的文件名的排序结果作为图像相邻的依据。因此在特征匹配时,只需与相邻的图像进行匹配,从而提高了效率;随着相机分辨率的提升,人们对全景图的分辨率也提出了新的要求,针对这样的要求,本文根据SIFT算法的尺度不变性提出了一种高清图像的拼接方案,首先将原始图像下采样,并记录下下采样尺度,然后对下采样的图像进行特征提取和特征匹配,再将特征点和匹配对还原到原始尺度下。应用该方法可实现高清图像的快速拼接。