3D场景下的压缩多视点图像增强方法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:liyanhao1986
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
高效压缩是视频通信的前提,特别是对于面向未来交互式视频应用的多视点视频加深度(Multi-view video plus depth, MVD)数据而言尤为重要。MVD的高效压缩虽然给视频传输、存储带来了可能性,但是在编码过程中所产生的压缩失真具有不可逆性,这给终端用户的图像呈现、人机交互、图像绘制等均带来重大影响。如何能够在没有编码端原始高质量信号的前提下有效提升终端用户的MVD质量,是未来交互式视频在面向实际应用过程中亟待解决的挑战性难题。传统视频编解码器中的环路滤波能够利用图像空域信息进行质量提升,但是没有发掘MVD数据相互之间的作用机制,从而导致质量提升的空间有限,这给MVD的未来应用带来阻碍。本文针对上述挑战,建立了MVD数据在视点域、时域、空域等多个维度之间的相互作用机制,在非对称编码的框架下分别从信号滤波、交叉熵评估、图模型评估等不同的角度展开研究,取得了一些进展,具体包括:
  (1)提出了一种多视点多边滤波方案,探索了从不同时间维度的当前和相邻视点中选择的非局部候选区域来增强失真深度图像的方法;构建了利用基于候选区域聚集的宏超像素结构,刻画了交叉视点、空间和时间等多模态先验信息在物理和语义上的交叉关系;构建了多边滤波器模型,刻画了上述多模态先验信息之间的相互作用关系,挖掘了不同模态信息对深度图质量提升的贡献,抑制了各模态信息中的噪声干扰。实验结果表明,所提出的算法在PSNR和SSIM指标上可以分别获得2.63dB和0.032的平均增益。在主观评估中,即使在高压缩比、高失真条件下的深度图像目标轮廓也可以得到恢复。我们还通过面向实际交互式视频应用的虚拟视点绘制、3D点云重建等来验证我们的方案的性能。在这些验证中,图像中物体轮廓上的伪像可以得到有效地处理,而且3D点云重建中不连续的物体表面可以得到比较好的恢复。
  (2)提出了一种用于深度图像质量增强的多视点优化滤波器,研究了失真的先验信息在滤波当前视点深度图像中的作用机制,探索了视点内部和交叉视点的先验信息在滤波器设计中的表达模式,克服了传统方法中先验信息的失真无法为滤波器做贡献的难题;设计了基于超像素的熵相关系数作为视点一致性指标,有效评估了失真的MVD中交叉视点先验信息的贡献;研究了全局优化框架下利用内部视点和交叉视点的先验信息进行建模的方法,设计了具有相应数据准确性和空间平滑度的能量函数。实验结果表明,所提出的模型优于最新方法,在PSNR和SSIM指标上分别可以获得3.04dB和0.038的平均增益。对于主观评估,压缩深度视频中物体细节和结构化信息可以得到恢复。我们还通过一些实际应用验证我们提出的方法,包括验证流畅交互的虚拟视图合成和验证3D建模精度的点云重建。在这些验证中,交互式视频中物体轮廓上的振铃效应和错位的伪影被有效处理了,而且恢复了点云重建中不连续的物体表面。
  (3)提出了一种多视点图神经网络(MV-GNN),减少了多视点压缩彩色图像中的压缩伪像;设计了一种多视点图像的融合机制,充分利用了相邻视点有贡献的信息,并同时抑制了误导性信息;设计了一种基于GNN的融合机制,探索了GNN的聚合和更新机制在融合交叉视点信息中的新模式。实验表明,我们的算法在PSNR和SSIM指标上分别可以获得1.67dB和0.024的平均增益。在主观评估中,压缩图像中的块效应可以得到明显抑制,而且破坏的物体边界可以被更好恢复。实验结果表明,我们的MV-GNN优于其他最新算法。
其他文献
近年来,随着移动手机等智能终端的普及和移动计算技术的发展,位置服务(Location Based Service,LBS)越来越受到人们的青睐,它给人们带来方便的同时,也增加了隐私泄露的风险,攻击者可以很轻易地从位置信息中提取出用户的家庭地址、健康状况、收入等信息。目前用户位置隐私泄露的途径主要有两种:(1)某些组织或机构为了科研目的公开用户的位置数据,攻击者获取这些数据后,采用大数据等相关技术,挖掘出用户的隐私信息;(2)用户在接受位置服务时,受到攻击者攻击,导致隐私泄露。因此开展LBS中用户隐私保护技
【摘要】在大型水利水电工程项目管理过程中,其涉及的范围十分广泛,因此,必须从多个角度加以考虑。本文以大岗山水电站项目为例,具体分析与阐述了大型水利水电工程项目的管理方法。  【关键词】水利水电工程;项目管理;管理方法  1、引言  结构复杂、位置固定、形式多样、体积较庞大等均为大型水利水电工程的特点,同时,大型水利水电工程的施工周期较长、涉及到的资源种类繁多及用量较大、空间流动性较高。因此,大型水
期刊
随着城市交通拥堵问题日益严重,智能交通信号控制技术作为缓解交通拥堵最有潜力的方法之一,受到了国内外广泛的关注。由于交通系统具有复杂性、动态性和非线性的特点,基于对交通系统建模的传统自适应交通信号控制算法,已经不能应对日益多变的交通流。针对这一问题,有学者提出了基于强化学习的交通信号优化控制算法,因为强化学习方法不需外界环境的具体模型,通过不断地与外界进行交互,试错学习,实时调整策略,可以在复杂交通系统中取得很好的控制效果,成为近年来研究的热点。本文基于深度强化学习算法设计了城市智能交通信号优化控制算法,本
一直以来,异常用电行为导致的非技术性损失从经济和安全方面严重影响着电网的正常运转。异常用电检测作为降低非技术性损失危害的核心问题,受到持续关注。随着我国智能电网的全面建成,电网积累了海量的历史电气数据,为基于数据驱动的异常用电检测方法奠定了基础。尽管近年来,大数据分析与机器学习技术得到了长足的发展,然而基于数据驱动的异常用电检测仍然存在以下待解决问题:1)如何降低数据质量不佳的影响;2)如何在检测算法中融入电力知识和理论;3)如何让检测算法能够在数据案例不足的情况下对异常样本精准、有效地召回;4)如何保证
近年来,低成本的多旋翼无人机凭借其机动性强、可扩展性高等优点正迅速走向民用。然而,无人机有限的续航时间和通信距离限制了其服务范围。因此,在实际应用中,通常会利用车辆搭载无人机到达目标区域的附近,然后再出动无人机执行任务。高效的车辆和无人机协同能极大地提高效率、节省成本,因此引起了学术界的广泛关注。然而,现有的相关工作大多侧重于研究车辆-无人机协同进行物流配送的场景,缺乏对无人机巡检场景的关注。除此之外,现有研究大都只考虑车辆与单架无人机协同的模式,而多架无人机并行执行任务能显著地提高效率。
  鉴于
近些年来,随着生活水平的提升,人们对体育运动的参与度越来越高。但运动的开展需要专业教练的指导和点评,动作不规范轻则达不到锻炼效果,重则损伤身体机能。动作分析技术的出现,使得人们可以随时随地了解自身动作完成情况,获得专业的点评。传统的动作分析方法主要基于运动捕获设备,存在佩戴不方便、设备高成本、方案不通用等缺点。基于视觉的相关研究很多,但基本都局限在视频动作分析的某一环节,缺少一种从视频数据到人物动作分析结果的端到端解决方案。将现有技术应用到视频动作分析中,还需要解决诸如人物运动模糊、关键点遮挡、相似动作区
随着计算机视觉技术的不断发展,作为核心问题之一的图像语义分割也越来越受到学术界和工业界的关注。图像语义分割旨在将图像中的每一个像素划分到事先定义好的语义类别当中去。通过对该问题的研究,一方面有助于理解人类视觉机制,以辅助探索图像理解和场景感知等更高层次的视觉任务;另一方面也可为自动驾驶和图像搜索等广泛的实际应用场景提供理论与技术支撑。
  现有的基于图像级标签标注的图像语义分割算法将缺失的标注信息视为一个整体进行恢复,一般首先生成图像的像素级伪标注数据,然后再使用这些伪标注数据训练算法模型。虽然这些
【摘要】水利水电工程施工质量安全,一直都是人们关注的焦点,同时与国民经济发展、造福人们生活息息相关,随着我国社会发展的脚步越来越快,建设兴修水利水电工程的项目就自始没有停下,水利水电工程是一项利民大业,不仅能够有效消除水灾,还能够充分利用水资源改善能源短缺、水源污染环保等问题。随着我国相关政策的不断落实,对于水利工程质量安全的施工,提出了更多的要求。作为工程建设中必不可少的环节,施工质量安全不仅关
期刊
随着3D数据获取的便利,3D数据大量出现,对原始3D数据质量提升的需求也愈发迫切。网格数据作为3D数据的一种主流表达形式,其高质量的恢复显得尤为重要。3D网格数据的处理流程一般包括重建和去噪这两个阶段,即先从2D观测重建出3D网格,再对3D网格进行去噪后处理。本文的3D网格重建和去噪算法旨在研究如何提高这两个阶段所输出3D数据的质量。锐利边缘是保证3D网格数据高质量且细节丰富的关键特征。然而,在以往的3D网格重建或去噪任务中,它没有引起人们足够重视,甚至常被错误地以噪声处理。在3D网格重建任务中,需要解决
近年来,计算机视觉应用领域出现了从2D视觉到3D视觉的转变,3D视觉显著性检测作为这些应用的基础,引起了广泛的研究兴趣。与传统2D显著性模型不同,3D显著性模型挖掘了场景不同模态的线索,包括2D线索、深度线索和运动线索等,有助于提高显著性检测的性能。多模态显著线索之间存在互补和竞争关系,如何有效地融合这些线索仍然是一个挑战。因此,本文基于最常用的3D数据格式之一,即RGB-D视频,重点研究了显著性检测中多模态线索融合的问题。然后,为了进一步提高显著性检测模型的性能,本文选取了近几年兴起的光场数据,它相比于