基于双目事件相机的深度信息获取研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:engineer2007
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来随着智能驾驶、机器视觉、增强现实等领域的快速发展,深度信息感知成为国内外热点研究课题,其中双目立体视觉作为一种基于视差原理的深度信息获取方法被广泛应用。然而在高速运动、高动态范围和复杂光线场景下,由于传统相机存在延迟和动态模糊等问题,给立体匹配过程带来了巨大的挑战。事件相机作为模仿人类视网膜的新型传感器,具有快速捕捉亮度变化、动态范围大等优势,有助于解决高速运动和复杂光线带来的匹配问题。但事件相机输出的数据是携带亮度变化、位置和时间信息的“事件”,其特殊的成像模式与基于图像帧的立体匹配算法无法兼容。为解决此问题,本文基于双目事件相机提出了两种基于神经网络的双目事件深度获取方法。(1)基于循环神经网络的双目事件深度获取方法。本方法基于长短期记忆网络模块设计了一个端到端的孪生事件立体匹配网络,利用长短期记忆网络和卷积神经网络分别提取事件时序特征和空间上下文信息,既保证了事件的稀疏性,同时也更好地保留了事件的时间特性。为了评估所提方法,搭建了专用双目事件相机光学实验平台,并在数据集上进行训练测试。实验结果表明,使用该网络在高速运动和复杂光线下依旧能得到深度信息,并且该网络的特征提取方法得到的结果优于传统的事件转图像帧的方法。(2)基于事件点时空关系神经网络的双目事件深度获取方法。本方法利用预定义的几何先验将每个事件的局部时间信息和空间信息显式地结合起来,并利用多层感知器进行表征归纳,以此保留事件数据的几何细节,使网络可以利用事件的时空特性获取高精度的深度信息。考虑到事件序列中存在大量的噪声,本方法利用设计的事件注意聚合模块来聚合每个像素学习到的事件特征。该模块可以自动学习聚集输入事件特征,而不是简单的将特征进行累积,提高方法对噪声的鲁棒性。最后,将得到的特征输入基于transformers模块的立体匹配网络进行端到端的监督训练。实验表明,该方法在公开数据集上的匹配精度优于其他基于事件的立体匹配算法。
其他文献
地球是人类的家园。地球的自转运动以及其绕太阳的公转运动是地球运动的重要形式,与人类的生活休戚相关。地球自转是天文学与地球科学相互交叉、相互渗透的一个分支学科。对它的研究除了具有重大理论意义外,还具有明显的实用意义,例如:对地球自转速率变化和地极移动或地极摆动(极移)的研究,关系到确定地面观测站在宇宙空间的精确位置,以及地球参考系在准惯性空间的指向,这是地面精密测绘和空间飞行器跟踪所需要的参数;板块
苹果(Malus domestica Borkh.)是蔷薇科(Rosaceae)苹果属(Malus)多年生木本植物,是世界上主栽果树之一,同时也是我国最主要的果树树种之一。苹果在生长发育过程中会遇到各种生物和非生物胁迫的影响,其中干早胁迫和盐胁迫会导致植株出现氧化胁迫反应,从而抑制植株的生长发育、降低果实品质。非生物胁迫相关基因在响应植物对干旱、盐害等逆境胁迫过程中,发挥着至关重要的作用。已有研究
在过去的二十年中,双极电极(BPE)被广泛应用于化学和生物分析、材料合成、和催化剂筛选等领域。在化学和生物分析及催化剂筛选领域,BPE上的电信号通常用电致化学发光(ECL)、电致变色以及荧光反映出来。其中,ECL以其低背景干扰、操作简单、高通量和可视成像能力等突出优点,是目前应用最广、也是最受欢迎的一种检测方式。而通过对双极电极的阴阳两极进行一定的修饰,可调节双极电极上的电化学信号,从而使得ECL
X射线通导测一体化卫星有任务多样,参数众多,接口丰富等特点。因此传统卫星不能满足X射线通导测一体化卫星的需求。而软件定义卫星是以软件为手段,将传统卫星上由分系统实现的通信,载荷等功能软件化,便于通过软件实现卫星的在轨重构,以此适应不同的任务需求。软件定义卫星的设计理念是将卫星硬件和卫星软件解耦合,设计模块化的硬件,有助于实现软件定义卫星的快速集成与装配,为卫星的产品模块化生产,灵活性配置,快速响应
高光谱图像异常检测技术是高光谱遥感图像处理领域的热门研究课题,相关研究已成功应用至环境监测、稀有植物保护、军事伪装和隐藏识别等领域。然而,受成像平台误差、大气环境等因素的影响,高光谱图像存在背景成分复杂、数据冗余、先验信息欠缺等问题。为缓解或者克服上述问题对异常检测性能表现带来的影响,本文深入分析了高光谱遥感图像的数据特性,设计了两种基于对抗学习的高光谱异常检测算法,分别从无监督特征提取和半监督背
伴随遥感技术的发展,遥感图像被广泛应用到变化检测、遥感解译等领域。但是,遥感图像匮乏、质量不佳以及多样性不足的问题限制了遥感解译等后续研究的性能提升。众多研究表明,数据增强是解决上述问题的有效手段。该方法通过学习训练样本的数据分布,合成逼真的遥感图像,达到数据扩充的目的。因此,本文基于生成对抗网络,构建了两个用于遥感数据增强的图像生成模型,可以生成富有变化的高质量图像,并大大缩短生成时间,为遥感解
神经网络是一门十分重要的机器学习技术,它是人工智能领域目前最为火热的研究方向之一。基于神经网络的人工智能技术依靠其强大的特征提取能力,在计算机视觉、自然语言处理等领域都取得了十分普遍的应用。然而,为了增加神经网络的推理准确率,网络结构发展日趋复杂,层数和节点数量日益增大,伴随而来的是参数量和计算量的急剧增加,这对硬件平台的数据带宽和计算能力有较高的要求。基于神经网络计算处理高度并行这一特性,GPU
结构域作为蛋白质三维结构中重要的组成部分,对蛋白质的功能具有直接影响。准确识别蛋白质结构域对蛋白质结构解析至关重要。传统的试验方法测定蛋白质结构域,虽然准确、可靠,但是成本高、效率低。对蛋白质不连续结构域预测研究有助于蛋白质三级结构测定和功研究,对疾病发生机制理解和开发新的药物具有重要的意义。基于序列的研究方法很少考虑到不连续结构域检测问题,基于结构的方法虽然大多都能考虑到不连续结构域边界划分,但
时间敏感网络是目前国际产业界正在积极推动的通信技术,它是以标准以太网为网络基础,通过高精度的时间同步、流量整形、路径控制、资源预留和业务调度等一系列关键技术,为实时敏感业务提供可靠的数据传输保障,被广泛的应用在工业控制、车载网和航空航天等领域,因此对时间敏感网络进行研究是一项具有重要意义的工作。本文在研究了时间敏感网络中的关键技术以及标准协议的基础之上,通过对IEEE802.1 Qbv协议和保护带
随着系统级封装(SiP)技术在航天领域的普及,越来越多的星载计算机等航天电子设备已搭载SiP技术封装的多片结构系统,然而由于晶体管特征尺寸减小带来的单粒子效应加剧现象,也导致航天电子设备的可靠性问题成为航天领域研究的重中之重。得益于成本低、效率高、灵活性强等优势,计算机仿真模拟技术可以在较高的精度上模拟高能粒子入射芯片的过程,相比于受限因素较多的空间搭载实验和地面模拟试验,是验证芯片辐射可靠性强有