论文部分内容阅读
图像匹配作为计算机视觉的基础问题,在位姿估计、三维重建、图像检索中都有着广泛的应用。然而,图像匹配过程中容易受到各种外界因素的影响。基于传统手工特征的图像匹配算法运算速度快,但面对恶劣光照、视角条件时鲁棒性较差,基于深度学习的图像匹配算法受到训练数据集数量与区分度的限制,在实际应用中效果不佳。本文针对现有两类方法的局限性,研究并实现一种基于深度局部特征的图像匹配算法,并面向Web AR场景提出图像识别方案验证了算法的实用性。综上所述,本文主要工作如下:(1)针对现有图像匹配算法的局限性,本文提出一种基于深度局部特征的图像匹配算法。对图像匹配流程中关键点检测、描述符生成、异常点过滤等步骤采取不同的处理方式,将传统手工特征与深度局部特征相结合,提高图像匹配算法对光照、视角、旋转的鲁棒性。在2020 CVPR发布的IMC-PT数据集使用mAA等多项评价指标完成测试,结果表明,本文提出的图像匹配算法相比经典手工特征算法SIFT和2019最新提出的深度特征算法D2Net均有优势,并在可视化匹配结果中表现出面对不同光照、视角变化时的准确度和鲁棒性。(2)针对图像拍摄时背景中无关匹配点造成干扰的问题,本文提出一种基于轻量级网络的显著性检测模型。显著性检测算法可以在图像中定位和分割出主体部分,从用户高分辨率图像中提取感兴趣区域,去除无关杂乱背景。实验结果显示,本文提出的轻量级显著性检测模型体积相比于最新的RAS模型,体积缩小了 94%,从而使模型可以在终端浏览器部署与运行,用于终端侧预处理从而加快后端服务器图像特征提取和匹配的速度,提高工程中对服务器计算资源的利用率。(3)基于上述两点算法,本文设计并实现基于云边端协同的Web AR图像识别系统,图像识别是完整Web AR流程中至关重要的一步。该系统基于轻量级显著性检测模型设计终端侧预处理模块,基于图像匹配算法设计边缘端和云端的图像识别模块,通过KubeEdge框架实现云边协同,在实际场景中验证了本文提出的两种算法的实用价值。给Web AR场景下的图像识别问题提供了新的解决思路。