基于深度学习的单目深度估计算法研究

来源 :中国科学院大学(中国科学院长春光学精密机械与物理研究所 | 被引量 : 0次 | 上传用户:kusotang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
单目深度估计是指通过单幅RGB图像对图像对应场景里的每个像素点到相机的距离信息进行估计。作为三维空间视觉的底层任务,为机器人避障、自动驾驶、虚拟现实等研究提供最基本的深度信息。当前的深度探测设备主要包括激光雷达系统、毫米波雷达系统、飞行时间相机系统、双目相机系统、多目相机系统和结构光相机系统等,单一的深度探测设备存在或造价昂贵、或精度易受外界环境影响、或测距短、或算法计算量大等缺点,使用多个深度探测设备进行测距又很难兼顾成本与有效距离。单目深度估计仅需要一个RGB相机,通过算法进行像素级的深度估计。由于单目深度估计具有极低的硬件成本,因此其具有良好的发展和工程前景。当前在自动驾驶和机器人避障等领域,深度精度仍然是首要考虑的要素,且有监督的方法精度要高于无监督方法。鉴于此,本论文基于深度学习方法,针对有监督的单目深度估计算法展开一系列研究。围绕提高网络模型的估计精度以及轻量化模型等技术难点,开展了理论分析、方法研究、技术实现、实验验证等工作,主要研究内容如下:(1)基于多尺度U型网络的单目深度估计网络研究针对如何更好的融合局部深度信息与全局深度信息,更好的利用全局与局部的诸如形状、颜色、纹理等特征帮助网络进行深度估计,提出了一个基于密集空洞金字塔的混合尺度Unet网络框架。将用于图像分割领域的Unet++网络结构引入单目深度估计领域,在Unet++网络框架下重新设置了网络的卷积层数,并将解码器部分进行密集连接。通过选择合适的空洞半径大小,在编码器与解码器中间的过渡器部分构成了一个基于不同特征层的密集空洞金字塔,以更好地连接网络深层和浅层中的特征。在KITTI数据集和NYU Depth V2数据集上进行测试,所提方法优于大部分同类型方法,且在平方相对误差、均方根误差指标中表现突出,可以较全面的融合全局和局部信息,提高网络预测精度。(2)基于边缘约束的单目深度估计损失函数研究针对稀疏的深度真值图导致预测深度图模糊的难点,提出了一种强边缘约束损失函数。强边缘约束损失函数由加权的尺度不变性损失函数、点对排序损失函数和鲁棒有序深度损失函数构成。在点对排序损失函数中,提出了一种跨边缘点对采样方法,使用Sobel算子对图像边缘进行提取,通过边缘线中像素点的灰度梯度,与图像的任意坐标轴方向将该像素点附近区域分为四部分,通过在四个部分区域中随机选取任一像素点,构成三组点对,其中点对连线保证穿过边缘轮廓线。设置轮廓线中的像素点个数,得到对应的点对集合。在权威数据集上,对不同网络模型进行测试,证明了所提损失函数的先进性。并将使用强边缘约束损失函数训练的网络模型在自采数据上进行评估,取得了较好的效果。(3)基于语义信息的变换器型单目深度估计网络研究针对如何在不影响检测精度下轻量化模型的难题,提出了一种基于分割引导的类Unet-Swin Transformer深度估计网络模型。考虑到Transformer具有通用的建模能力,基于Swin-Unet框架,在跳跃连接部分嵌入了卷积残差模块,在不影响网络退化的前提下增加网络的深度,令网络更好的学习映射关系。在网络解码器部分,提出了一种最近邻引导模块对补丁进行上采样。最近邻引导模块通过输入RGB图像对应的语义过滤图像,得到前景和背景的掩模图,以此对特征图进行引导滤波,再送入卷积层进行卷积,最终使用最近邻函数进行上采样。在KITTI数据集和NYU Depth V2数据集上的大量实验表明,所提网络先进、有效,在缩减计算量和网络存储体积的前提下,仍然提高了网络的估计精度。
其他文献
<正>你想改写自己的人生脚本吗?如果有一支情绪温度计,“非常好”是10分,“非常差”是1分,你给自己打几分?蛤蟆先生打了1~2分,因为他觉得整个人都不好,甚至糟糕。爱冒险、喜欢耍酷的蛤蟆先生,是《蛤蟆先生去看心理医生》一书中的主角。蛤蟆先生一向是大家的开心果,他拥有一座从父辈那里继承来的大庄园,但没人会料到,一向大大咧咧的他会得抑郁症。他在朋友的建议下去看了心理医生,咨询过程中,他回溯了自己的童年
期刊
目的:探讨分析强脉冲光联合硫酸羟氯喹治疗玫瑰痤疮疗效观察及对生活质量的影响。方法:按随机数字表法将2020年7月-2021年5月六安市中医院收治的89例玫瑰痤疮患者分入对照组(45例)与治疗组(44例)。对照组采用硫酸羟氯喹片+盐酸米诺环素胶囊+医用冷敷贴治疗;治疗组在对照组基础上联合强脉冲光治疗。对比两组治疗前后症状积分和生活质量评分、临床疗效以及不良反应。结果:相比对照组,治疗组总有效率更高(
<正>"其实特别不愿意回忆这件事,太痛苦了。6年来,四任法官,数十次开庭谈话,来一次法院,心里的伤疱就撕开一次,血流不止。"韩某说完,陷入了短暂的沉默。外人看来,韩某斯文帅气,顶尖大学硕士毕业,有着很好的工作,有漂亮的妻子,可爱的孩子,着实令人羡慕,但谁又知道他的内心深处埋藏着一个如此令人心痛的故事。韩某说,他出生的家庭并不
期刊
机器翻译是人工智能和自然语言处理研究中的一个重要研究领域,其目标是通过模型将源语言的语句自动转换为目标语言的语句,且保证二者具有相同的语义信息。近年来,神经机器翻译模型成为了该任务的主流模型。该模型基于序列到序列的框架,通过编码器将源语言的语句编码为固定维度的隐藏状态向量,之后解码器依据给定的源语句隐藏状态按照自回归的方式从左至右逐字地生成目标语句。神经机器翻译模型在多种翻译任务上都取得了巨大的成
目的 基于氧化应激介导的内皮间充质转化(EndMT)探讨槟榔碱(Arecoline)诱导人脐静脉内皮细胞(HUVECs)损伤的作用机制研究。方法 采用槟榔碱干预复制HUVECs损伤模型。实验设对照组、槟榔碱高剂量组和槟榔碱低剂量组。采用CCK-8检测不同浓度槟榔碱对HUVECs存活率的影响,细胞成像分析检测HUVECs形态学变化,采用MitoSOX探针检测线粒体活性氧(ROS)水平,采用免疫荧光及
<正>2020年9月,中共中央办公厅、国务院办公厅印发《关于加快推进媒体深度融合发展的意见》(以下简称《意见》)。那么,什么是深度的媒体融合形态?这需要从全媒体传播生态层面进行分析与理解。结合互联网发展加速重构媒体格局的新形势,从系统论视角审视,全媒体传播体系应当由新型主流媒体/网络平台、数据/内容、传播者/服务者、用户/群众等要素构成。与此前相比,传播系统的基本要素没有太多改变,但是重心及要素之
期刊
随着信息化和机械化设备的普及以及计算机存储能力的提升,越来越多的高维特征数据得以保存。这些高维数据在为多领域应用提供海量信息的同时,也造成了维度灾难问题。另外,高维多标签数据是当前机器学习领域的研究热点之一,多标签数据是指一个样本同时与多个语义相关联,它广泛应用在文本、音频、基因等领域。本文利用特征选择技术对高维多标签数据进行降维并分类。特征选择技术不仅可以抽取高维特征中的关键特征用来训练分类器并
<正>5年前,我在北京有过一段实习经历。那时候每天挤公交上下班,周末只想在出租屋里瘫,偶尔出门看景看展,觉得北京又好又难,留在北京是件美妙且悲壮的事。所以大学毕业后,权衡再三,我去了杭州发展,北京成了我不想再踏足的城市,不是不喜欢了,是怕触景伤情,因为内心深处总有一个声音在跟我说:你是北京的逃兵。我不愿再去北京,就像中年男士不愿再回忆校园初恋一样,不是遗忘,是青春年华里的错过总会变成白月光,不宜多
期刊
随着社会进步和经济发展,人们对于建筑的要求越来越高,建筑行业蓬勃发展,建筑工程的质量和数量规模都有了新的突破。为了满足社会各界的要求,企业需要更加关注工程质量,提高核心竞争力。本文主要分析了建筑工程管理的意义,探讨了控制工程质量的措施,希望能够给业界提供参考价值。
<正>小程最近十分苦恼,前段时间因为不小心把额头磕了一个伤口,后来伤口虽然愈合了,但是疤痕消不下去。这让小程怀疑自己是疤痕体质。那么,疤痕不易消失就是疤痕体质吗?疤痕体质具有遗传性疤痕体质是指皮肤受到外伤后,皮肤的结缔组织对创伤反应超过正常范围所出现的疤痕增生。具有疤痕体质者可因为外伤、预防接种或者做手术产生疤痕,有时候疤痕的产生与皮肤张力、自身免疫力、遗传也有关。
期刊