面向异源相机数据的高质量单目场景深度推断

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:xiaolingzijiangsu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
获取稠密的高质量场景深度图像是感知和重建三维场景的一个关键环节,也是计算机视觉领域的一个研究热点。利用单幅图像来获得高质量场景深度信息的方法即为单目场景深度推断。由于该类方法本身是一个不适定问题且可利用的图像信息较少,因而难度更大、更具有挑战性。目前单目场景推断方法根据不同相机数据类型:退化深度图像、彩色图像,可以进一步分为单目深度恢复和单目深度估计两种。其中单目深度恢复方法往往存在模型刻画不精确、目标函数非凸等问题,而单目深度估计方法由于缺乏图像几何约束往往需要大量的深度标签。因此,为了解决基于异源相机数据的单目场景深度推断存在的问题,本文提出了基于稀疏诱导先验的图像分解模型以及结合场景先验知识和网络结构优化的无监督单目深度估计方法,来获取高质量的场景深度图像。其主要研究内容如下:1.基于稀疏诱导先验图像分解模型的单目深度恢复方法。现有的单目深度恢复方法往往不能刻画深度图像在不同区域的本质属性,并且往往不能保证模型目标函数的凸性,从而导致复杂的求解过程。因此,本文提出了一种基于稀疏诱导先验的图像分解模型,该模型从信号分解的角度出发,将深度图像分成平滑区域和深度跳跃区域。然后对于不同的区域分别使用最小二乘多项式和稀疏诱导先验进行拟合,来更加本质地刻画二维深度信号特征。本文提出的基于Moreau包络(envelope)的稀疏诱导先验虽然是非凸函数,但可以证明当满足0<α≤μ条件时,模型的整个目标函数关于每个变量的凸性。提出了基于近端梯度(proximal gradient,PG)与交替方向乘子法(alternating direction method of multipliers,ADMM)混合的模型优化算法,并给出相应的收敛性证明。最后,针对于算法计算量问题,提供了一种加速算法,使得程序测试时间缩短为原来的1/20。在Middleburry数据库上,关于处理深度图像噪声、低分辨率和深度值缺失退化问题的实验结果表明所提出的方法可以达到比其他方法更好的效果,相应的误差指标最高分别减少了 30.5%,21.3%,22.0%,验证了模型和算法的有效性。2.结合场景先验知识的无监督单目深度估计问题研究。目前基于监督学习的单目深度估计方法通常需要大量的真实深度标签作为训练数据。相对地,无监督单目深度估计方法通过利用立体匹配对(双目数据)或者单目视频作为训练数据,然后进行单目深度推断,克服了上述方法的不足。但由于缺乏真实深度标签的监督,其深度推断的数值结果和视觉效果往往不如基于监督学习的单目深度估计方法。为此,本文提出通过结合基于自然场景的先验知识,包括人工设计的先验和可学习的先验,利用注意力机制和矩形卷积分别从不同维度和方向获取特征相关性信息。同时设计了融入几何关系的损失函数来更好地指导网络的训练,并提出了一种可学习近端算子模块通过模仿基于变分模型的近端算法来增强网络初始估计深度图像的边缘和细节。在KITTI数据库上的定性和定量实验表明所提方法取得比现有无监督学习方法更优的深度估计结果。其中3.3实验部分的误差指标最高分别减少了 8.7%和10.5%;而3.4实验部分的误差指标最高减少了29.4%,并且在Make3D数据库上的实验结果的误差指标最高减少了 21.5%,从而表明所提方法拥有更好的泛化性能。3.基于无监督单目深度估计的深度图像精细化以及网络结构优化问题研究。由于目前的网络结构中往往存在大量的池化和下采样操作,导致特征信息的丢失,使得当前基于单个网络得到的深度推断结果通常不能令人满意。并且目前的无监督单目网络其结构设计往往存在局限性,即通常在训练时无法充分利用双目信息。为此,本章节主要包括两个方面的工作,一方面提出了一种基于级联网络结构的图像精细化方法,这种由粗到细的级联网络结构能够充分获得各个水平的互补特征,提高网络的特征表达能力。另一方面,提出了一种单目网络和双目网络相结合的新的网络结构,它可以同时允许单目或者双目图像测试。并设计了一种新的蒸馏机制通过借助于双目图像训练数据的信息来辅助单目图像深度估计,使得单目无监督深度估计网络能够学习到更加精确的几何知识。在KITTI数据库上,通过大量的定性和定量实验表明所提方法比现有的无监督学习方法的效果更好,并且优于一些基于监督学习的深度估计方法。其中,和监督学习方法相比,4.2和4.3实验部分的误差指标最高分别减少了 10.6%和20.4%,从而验证了模型的有效性。
其他文献
《关于全面加强新时代大中小学劳动教育的意见》指出,要广泛开展以劳动教育为主题的实践活动,在实践活动开展的过程中进一步强化劳动教育实施的保障能力与组织领导。在新时代背景下,对学生开展劳动教育,是实现立德树人根本任务的客观需要。如何引导学生体验劳动教育的重要意义,如何实现学生劳动理念的转化,又如何让学生感受劳动的真实魅力与充分认识劳动教育的真正内涵,这些问题直接关系到学校立德树人根本任务的落实。
期刊
通过分析1例长期使用洋地黄后出现ICD电风暴患者的诊治过程,并结合相关文献,阐明洋地黄中毒引起ICD电风暴的原因。强调在使用洋地黄过程中,要注意根据患者年龄、肌酐清除率和合并用药情况对剂量做适当调整,争取做到个体化用药。临床医生应严格掌握洋地黄的药学知识,熟悉洋地黄中毒的诱因、表现及处理方法,确保安全有效用药。
自拥有记载以来,人类疾病的历史,同样是人类对细菌的抗争史。作为我们每天都会接触到的棉织物,在人体皮肤温度和湿度适宜的环境下极易成为微生物的温床,因此研究抗菌材料并将其应用于棉织物具有重要意义。银具有无机抗菌材料中最为优异的抗菌效果,因此,本文通过原位合成法制备得到Ag系复合抗菌材料,该抗菌材料对细菌广谱抗菌、稳定且高效,具有潜在的应用价值。本文首先制备出PMANa(聚甲基丙烯酸钠)聚合物,然后以该
未来通信系统存在功耗较大、频谱短缺与传输安全等问题,星地融合网络因其在功耗、频谱效率和总体部署设计等方面具有独特的优势,被认为是解决上述问题的可行架构方案.本文针对该网络中的能效最大化问题提出了一种安全波束成形算法.假设卫星下行链路存在多个窃听者且发送端仅知晓窃听统计信道状态信息,本文在发射功率受限、用户信干噪比限制和窃听信干噪比概率约束的情况下,研究了蜂窝用户的能效最大化问题,提出了一种鲁棒混合
人工神经网络是对生物神经元之间互相连接和大脑若干功能的模仿,经过适当的数学描述进而建立起来的简单数学模型,按不同的连接方式可以组成不同的网络。由于神经网络具备强大的学习能力,大数据处理能力,以及良好的泛化能力,如今已经成为许多领域的研究热点。为了提升网络的计算速度,降低网络占用的内存,使用更经济的稀疏网络,神经网络的结构优化已经成为了一个热门研究课题。对于输出层,我们对传统的一对一输出方法(即是o
传统的工程优化设计分析研究通常利用物理实验获得少量实验数据,探究系统运行规律,存在设计周期长、实验成本高等不可忽视的缺点。随着数值计算方法飞速发展,计算机技术显著提高进步,数值仿真技术被逐渐应用到工程实际中,且因其强大的计算推导能力、可靠性、准确性,将逐步替代物理实验。但为了保证工程优化设计优化与分析结果的可靠性与准确性,仿真模型更为精细化,模型的保真度与复杂度同步提升,导致快速发展的计算机技术仍
无论从企业层面还是从普通消费者的层面来讲,产品外观设计在现代工业零部件或消费类产品概念设计阶段均占有越来越重要的作用。产品外观概念设计,包括产品总体外形设计以及该产品外表面的美观装饰,通常主要借助计算机辅助工业设计(简称CAID)的方法来完成。对于设计师来讲,CAID技术已成为一种能快速完成各种工业产品零部件外观创新设计和展示产品功能的有效方法。传统的CAID技术采用全局纹理映射方法实现从二维图形
近年来,云平台已经成为学者和服务提供商部署计算应用的主流平台。得益于云平台中IaaS(Infrastructure as a Service)层的诸多优点,如动态可扩展、按需部署、可靠性高、性价比高等优点,吸引了众多来自学术界和工业界的用户。随着技术的发展与革新,例如宿主机资源均衡的改善、服务负载周期性变化等,IaaS层也涌现出一个新场景下亟待解决的重要问题:能效问题。如何提升IaaS层计算设施的
随机矩阵理论主要研究随机矩阵特征值(或奇异值)的统计性质.它作为概率论的一个重要研究领域在机器学习、运筹学与控制论、计算数学等方面发挥着重要的作用.本文第三四章研究了随机矩阵特征值(或奇异值)的偏差不等式.随着人工智能的发展,机器学习方法可以有效地分析工业生产中的复杂数据,并对生产效率和成本控制提供有力指导.本文第五章研究了机器学习在盾构机(TBM)中的应用.第三章分为三部分研究随机矩阵最大特征值
随着数据密集型时代的到来,盾构机的运行监测日趋完善,所记录的实测数据不仅包含了装备作业过程的海量信息,也蕴含了装备内部及其与外部环境的相互作用机理,通过一定方法对这些数据进行深度挖掘与刻画对于提升装备的设计、分析、运行与维护水平具有重要意义。盾构机实测数据由来源于监测系统的运行实测数据和来源于地质勘探的地质实测数据组成,具有运行实测数据未赋予明确的地质工况标注且重叠分布、运行实测数据参数与装备性能