基于深度学习的单目图像新视图合成

来源 :武汉大学 | 被引量 : 0次 | 上传用户:zhaominjie88
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视图合成作为计算机视觉领域的一项热门的研究,在虚拟现实、场景三维展示、2D视频转3D视频等领域应用广泛,为传统的图像和视频媒体提供了更为生动的信息展示方式。作为其中的关键性技术,深度估计为视图合成提供了场景的几何信息和从已知视图中采样的依据,其质量直接决定了视图合成的效果。
  传统的基于多视图立体几何的深度估计方法依赖于特征点匹配算法,在真实世界中复杂的自然场景下拍摄的图片经常会出现光照不一致或者部分区域纹理缺失的问题而影响匹配算法的精度,且多视图方法需要用到多张图片,在实际应用时不一定能获取同一场景的多张图片。现有的基于深度学习的深度估计方法利用海量的数据对场景进行理解,能够在一定程度上弥补光照或纹理问题而带来的精度损失问题,且可以作用于单张输入图片,但这些方法估计的深度图往往缺乏场景的纹理细节信息,并且输出结果的分辨率较小,在进行上采样将其用于高分辨率视图合成时,深度图像的物体边界不够精细,会影响视图合成的效果。
  本文对基于深度学习的视图合成进行了比较系统的分析和研究,针对现有工作的局限,提出了从深度图细节增强和边界优化两个方面进行改进的算法,主要贡献为:
  (1)提出了一种基于多细节尺度输入的深度估计方法。通过借鉴图像增强领域的多尺度图像细节增强,为深度估计网络的输入图片计算多个尺度下的细节图片和增强后的图片,并将这些图片联合作为网络的输入。通过增加细节图片和增强后的图片作为输入,网络可以提取更关注于图像细节的特征并自适应地选取特征,输出包含更丰富纹理细节信息的深度估计结果。
  (2)提出了一种基于多层次约束的网络损失函数。通过借鉴图像风格迁移领域的思想,对重建图像的颜色、内容、纹理等多个方向进行约束,使得深度估计结果符合多方面的要求。
  (3)提出了一种利用RGB图像引导的基于深度学习的深度图上采样方法。通过对原始图像进行编码下采样,并与低分辨率的深度图一并输入解码上采样网络,输出高分辨率的深度图像。此外,利用边缘检测算法检测RGB图像的物体边界并按照一定的阈值转化为边界权重作用于损失函数,使得网络更加关注边界区域的上采样效果,输出的高分辨率深度图边界更加清晰。
  本文利用定性和定量分析,通过多方面对比实验验证了所提出方法在深度估计和视图合成优化上的有效性。
其他文献
本文主要研究基于采样数据的事件驱动系统及其应用。首先基于推广的连续离散分析方法给出了在不同通讯条件下保证事件驱动系统指数稳定的充分条件,而后分别将其应用到一类本质非线性系统的输出反馈控制,一类多输出非线性系统的观测器设计以及多智能体系统分布式优化等问题中。主要工作可以总结如下:  第一章介绍了课题的研究背景。分别说明了事件驱动控制,输出函数未知的非线性系统镇定问题,非线性观测器设计及分布式优化与控
四旋翼飞行器是一种结构简单、体积较小、易于操控、能够垂直起降的无人航空器,它凭借着这些优点被广泛应用于民用和军事领域。四旋翼无人机能够稳定飞行需要依靠它的飞行控制系统,因此对飞控系统的研究具有重要意义。对于这个欠驱动、多变量、强耦合的非线性系统,可能还会受到各种环境因素的影响,提高四旋翼控制系统的稳定性、鲁棒性和抗扰性是很有必要的。本文基于自抗扰控制技术,设计了四旋翼姿态和位置的自抗扰控制器,实现
中医在我国医疗体系处于重要地位,几千年来为民族繁荣和人民健康做出了巨大贡献,特别在最近的新冠疫情(COVID-19)中,中医诊疗技术发挥了重要作用。在“人工智能+”的大背景下,智能中医技术的研究能为中医打开智能化发展的新格局。中医知识体系庞大且错综复杂,医师严重依赖大量临床经验。将中医知识库融合多源体征信息,嵌入中医领域知识,再进行全过程高效、客观的健康管理是智能中医研发的必然趋势。  本文的研究
学位
本文探讨了生命科学领域的一个热点问题—-疾病标志物识别,并且采用计算机科学领域网络分析方法解决该问题,这种交叉研究使其在理论和应用层面上都具有巨大的研究价值和科学意义。生物体是存储并加工信息的复杂系统,而该系统的核心是其组成成分准确地行使各自的功能并且相互协调合作,疾病的产生和发展往往是分子之间调控机制异常导致的,因此,设计有效的数学分析方法发现疾病相关的分子调控机理(疾病标志物),对疾病深入了解