基于双岔深度网络和图卷积网络的全景图显著性预测研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:jlcclb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着虚拟现实应用的发展,理解人类如何在沉浸式虚拟环境进行视觉探索有着重要的价值。虚拟现实环境中的全景图显著性预测是计算机视觉领域一个重要的研究方向,它不仅能帮助研究人员更好地理解人类在虚拟环境中的视觉行为,还能广泛应用于众多领域,如设计虚拟场景内容,发展新的压缩算法等。当前的显著性模型在预测虚拟环境中的全景图显著性时,其预测的全局显著性和局部显著性与真实标注的显著性的差别较大。另外,全景图显著性模型在训练时也未能对立方体投影生成的多张直线映射图进行语义信息整合。针对以上两个问题,本文做了以下两方面研究:(1)已有的显著性模型在预测全景图显著性时,全局显著性往往只能粗略地分布于等矩形图像赤道附近的区域,而局部显著性则容易出现较多冗余信息,因此本文提出了一个全局-局部双岔深度网络的全景图显著性模型。该模型的网络分成两个深度子网络,分别用于预测全局和局部显著图。在全局深度子网络中,利用多个多尺度上下文模块和一个多层解码器来整合网络中高层的特征,从而提取等矩形图像的上下文特征;而局部深度子网络仅包含一个多尺度上下文模块和单层解码器,从而减少局部显著图的冗余信息。最后,利用线性组合方法融合全局和局部显著图,并生成最终的融合显著图。在两个基准数据集进行测试中表明该模型能够有效减少全景图冗余的显著性信息。(2)利用立方体投影可将全景图分成多张扭曲性较小且具有语义关联性的直线映射图。然而,常用的全景图显著性模型在训练时只是将直线映射图独立地输入到网络,而未能整合多张图像的语义信息,导致模型未能有效地预测全景图各个区域的显著性。针对这个问题,本文提出了一个新的基于图卷积网络的全景图显著性模型。该模型利用图内全局推理模块,把单张直线映射图不同区域的全局特征映射到相应的图节点上,通过图卷积网络分别在节点和通道方向提取图的上下文特征,从而更精细地预测全景图局部区域的显著性。同时,利用图间全局推理模块整合多张直线映射图的语义信息来提取全景图的全局特征。此外,在模型测试阶段,还利用多球体旋转投影和反投影方法将等矩形图像不同区域的事物转移到扭曲性较小的赤道附近,从而有效地预测全景图各个区域的显著性。实验表明提出的模型在四个显著性评估指标中都有不同程度的提升。
其他文献
近年来,自闭症对儿童以及青少年的健康成长影响越来越大。由于自闭症后期诊断治疗的难度大,在前期特别是婴儿时期进行超前的诊断和提前干预治疗显得极为重要。随着核磁共振技术的发展,通过大脑的核磁共振数据对自闭症进行有效的治疗也在不断被研究挖掘。目前,核磁共振对于诊断婴儿的自闭症问题仍然存在诸多挑战:(1)数据获取难度大数据量少;(2)数据类别间数量不均衡性强;(3)数据特征类目不够丰富;(4)不同个体大脑
人物解析是针对图像中人物身体和衣着的图像分割任务。主要应用在以人为主要参与对象的场景中,可用来辅助人物检索和人物行为识别,也可用于线上虚拟试衣和人物图像编辑以带来更好的网络购物体验和交互体验。相较于其他图像解析任务,人物图像中存在人体姿态多变以及多人相互遮挡问题,这使得人物解析需要更多地结合网络不同层次的特征。基于这些考虑,本文提出了两个辅助任务:人物前景预测和人物边缘检测,来从不同方面辅助人物解
随着社会经济和工程技术的发展,超高层建筑越来越普及,住宅类建筑的平面形式也随着建筑功能等需求发展为大深宽比平面或复杂平面形式。超高层建筑具有质量轻、柔度大、阻尼小、固有周期长等特点,导致结构对风荷载敏感,在结构设计中风致响应和荷载是主要控制性因素。在实际工程项目中,往往出现以规范公式计算得到的横风向风致响应偏高、超过相关规范限值的情况。结构抗风设计中常采用对平面角区进行凹、切角等气动措施来减缓结构
肺癌作为发病率最高的癌症之一,严重危害人类的生命健康安全,及时发现并诊断肺癌有利于为患者提供最佳的康复治疗方案。然而,临床上肺结核与肺腺癌均可表现为实性肺结节,容易导致误诊和漏诊,为实性肺结节的术前诊断带来了较大的挑战。随着深度学习技术的迅速发展,已有研究表明深度学习技术在应用于医学影像处理时取得了较好的效果。但是,在基于深度学习的计算机辅助诊断中,临床上获取的实性肺结节样本数据集普遍规模较小,极
环氧树脂具有优异的粘接、防腐蚀、成型性和热稳定性等性能,在力学、热、电气和耐化学药品性方面的性能非常优越。但环氧树脂是高度交联的,本质上硬而脆,不耐冲击,这就限制了其在高抗冲击等领域的应用。因此,本文想通过在相同条件下对比不同增韧剂与环氧树脂混合后的性能,以便能够为人们在高性能环氧树脂增韧体系的选择上提供一定的参考。另一方面,环氧树脂的应用十分广泛,尤其是近些年作为磁粉芯材料绝缘包覆剂有极其重要的
众所周知,Schr(?)dinger方程是一种重要的数学模型,它被广泛应用于量子力学,高能物理,光学,光孤子通讯等诸多领域.本文讨论一类具三阶导数和五次非线性项的非线性Schr(?)dinger方程的周期初边值问题.该模型源于光孤子通讯.本文对方程提出了一种非线性差分格式,证明了差分格式满足能量守恒律和质量守恒律,并且证明了差分格式解的存在性以及差分格式的收敛性和稳定性.首先我们构造了一个有限差分
城市历史街区中的新建博物馆承担着历史街区文化遗产保护的职责,对遗产进行在地性保护,并构建了文化宣传与发扬的窗口。然而,历史街区与新建博物馆在形态定位、建造工艺、资源利用、功能理念及运行管理等方面存在显著的差异,导致两者在进行总体风貌协调、空间环境营造以及功能服务建设时面临着诸多的挑战。外部空间作为维系历史街区与新建博物馆的媒介,集中反映了新旧空间耦合的冲突,也构建了矛盾解决的平台。外部空间设计的目
中国物流成本问题长久以来都较为显著,但在中国经济发展增速趋于平缓的产业结构下,物流业作为“第三利润源”应该通过降低物流企业和企业物流运作成本实现降本增效,最终达到降低社会物流成本的目标,进而推动经济快速发展。经济高质量发展是我国新时代的重要课题,物流业作为经济的支柱性产业,推进物流业的高质量发展对地区整体经济实现高质量发展有重要意义,使物流业在经济发展中提供更强劲的动力,加深物流业与经济在发展过程
随着电力系统呈现电力电子化的发展趋势,谐波/谐振问题发生了深远变化,成为了影响电网安全可靠运行的重要因素。谐波将导致电压波形发生畸变、引发谐振现象、降低电能质量,对电气设备、自动装置、测量仪器以及通信系统均产生不利影响,被认为是电网的公害。本文围绕宽频谐波检测算法和谐波保护展开学位论文工作,主要研究内容有:(1)为了分析基于人工神经网络(Artificial Neural Network,ANN)
微量矿物质元素硒是一种生物必需营养元素,对人体的生命活动起着至关重要的作用。富硒鸡蛋,因其硒转化率高、生产周期短、富硒成本低等优势,成为了最受欢迎的富硒食品之一。鸡蛋蛋清因其营养价值、功能特性和生物学活性而在食品领域有着广泛的应用。据报道,富硒可能影响食物的物质组成和功能活性,但目前关于富硒蛋清的基本成分组成和生物学活性的研究鲜有报道。因此本文以富硒鸡蛋蛋清(EW-2)为原料,以普通鸡蛋蛋清(EW