基于卷积神经网络的立体视频质量评价方法研究

来源 :天津大学 | 被引量 : 0次 | 上传用户:starfox_vip
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,3D处理技术的发展推进了立体视频的商业化进程。然而,任何3D处理技术都会造成立体视频的质量下降、立体感缺失等问题,从而影响人类的观看体验。因此,如何根据立体视频的特点,构建更加符合人类视觉感知的立体视频质量评价模型,已成为计算机视觉研究领域的关键问题之一。目前,立体视频质量的评价方法主要包括基于特征提取的方法、基于稀疏表示的方法和基于深度学习的方法。卷积神经网络作为深度学习的重要技术理论,已经在计算机视觉领域取得了广泛的成就。因此,论文基于卷积神经网络主要开展了两个方面的工作。
  首先,论文提出了一种基于关键帧分析的快速无参考立体视频质量评价方法。该方法首先采用双目融合算法将立体视频融合为融合视频,然后利用关键帧提取算法提取融合视频的关键帧,最后通过微调卷积神经网络将关键帧特征映射为立体视频质量分数。该方法仅对融合视频的关键帧进行特征分析,大大缩短了算法的测试时间,解决了目前立体视频质量评价方法中普遍存在的耗时问题。
  第二,论文提出了一种基于两步训练双目融合网络的立体视频质量评价方法。首先,该方法提出一种新型的双目融合网络,该网络模拟了整个视觉通路中从双眼获取立体信息到质量判断的复杂融合、竞争与处理的过程。其次,论文对所提双目融合网络采用两步训练策略,即先利用小块分数训练局部网络,再使用MOS(DMOS)值训练全局网络,解决了目前立体视频质量评价方法中普遍存在的非对称失真评价效果不佳的问题。此外,所提卷积神经网络的输入为时空显著性特征流,而非原始立体视频。
  为了验证以上立体视频质量评价方法的可靠性与有效性,实验在NAMA3DS1-COSPAD1和QI-SVQA两个公开立体视频库上开展。实验结果表明,论文所提的两个客观质量评价方法与主观分数具有较好的相关性,在对称失真和非对称失真立体视频上都取得了较好的结果,具有较强的普适性能。
其他文献
随着摄像头的广泛铺设和互联网普及,针对室内场景的空岗判定、智慧家居和人流量统计等智能视频分析系统也快速发展,以上功能的实现都要建立在室内人员检测的基础之上。但目前对检测算法的研究主要针对室外行人,室外行人取材场景开阔,数据集中的图片大多采用平行机位拍摄,人体目标较为完整。而室内人员多是俯视拍摄,容易出现家具带来的遮挡问题,且室内人员姿态多样,致使同一个体在不同状态下也会呈现较大差异。这些原因导致主
随着计算机视觉技术的发展,三维模型在该方向的应用越来越广泛。由于三维模型的数量急剧增加,快速实现对三维模型的分类和检索是面临的一个较为棘手的问题。三维模型的表征方法有很多种,其中基于视图的图像表征方法在该领域方面有着很好的表现能力,在多个数据库和比赛中取得良好的成绩。  本文依据图像表征三维模型的方法,介绍基于全景图的三维模型表征方法,主要介绍:(1)提取三维模型的全景图表示三维模型,将网格化的三
物体检测是计算机视觉领域的基础问题之一,在自动驾驶、安全监控等领域有着广泛的应用。当前物体检测主要有两个发展方向,一是通过部署深度网络来实现检测精度的提升,不能保证实时的检测速度;二是通过设计轻量级网络提升检测速度,但检测精度相对较低。目前来看,单阶段物体检测器的检测速度尚可满足实时性的需求,但检测精度低是其相比于双阶段物体检测器的一个缺陷。与此同时,对于自动驾驶、安全监控等领域来说,视觉感知系统
数字多媒体时代的今天,各种立体图像或视频产品丰富着我们的生活,给我们带来身临其境的立体感。然而在立体图像处理过程中,创建、压缩、传输、重建、渲染和显示这些步骤都难免在原始图像上引入各种失真,导致立体图像或视频质量的下降。质量评价算法能够对立体图像或视频产品的质量进行评估。因此,建立一个准确有效的立体图像质量评价模型在数字多媒体时代显得至关重要。  本文首先提出了一种基于立体显著性的无参考立体图像质
空间谱估计作为阵列信号处理的一个重要分支,其目的是确定空间中入射源信号的来向。经典的DOA估计算法大都基于精准阵列流型,而没有考虑实际应用中不可忽略的互耦效应等因素,导致其实测性能大幅降低。因此,研究互耦情况下的测向算法具有重要的实用价值。此外,由入射源信号的统计特性,可将其分为圆信号和非圆信号。目前大多数算法默认入射源信号是圆信号,只利用其协方差非零的特点完成测向操作,导致可探测最大入射源数目少
随着5G新无线电接入技术(New Radio Access, NR)的不断发展,人们对大容量、低延时、高可靠、高速度、低功耗通信的需求更加迫切。在数字通信系统中,信道编码是5GNR的关键技术之一,而海量的信息数据传输对5G信道编码提出了更高的要求。低密度奇偶校验(Low Density Parity Check, LDPC)码作为5GNR的信道编码中数据信道的长短编码方案,将继续发挥不可或缺的作用
火灾早期,通常先有烟雾产生,随后才是火焰,因此烟雾检测能够提供比火焰更为及时的报警线索,对于确保人民群众的生命以及财产安全、推进火灾预防领域的发展意义重大。传统的烟雾检测方法通过监测空气中烟雾颗粒产生的物理变化来进行烟雾报警,比如温度、浓度等。但此类方法在时间和空间上均受到限制,从时间来说,烟雾浓度需达到一定范围才可以被传感器感知,这很可能导致最佳救援时机的错失;从空间上来说,一些开阔的室外环境也
学位
随着互联网技术的发展,海量图像数据不断涌入,人们对从海量数据中检索有效信息的需求不断增长。同时,近年来随着手机、平板等触摸屏技术的发展,基于草图的图像检索(Sketch-based Image Retrieval, SBIR)成为一种较为直观和有效的图像检索方式。相比于其他基于内容的图像检索方式,草图作为查询输入可以更好地描述关键信息,且更为直观和简洁。因此,基于草图的图像检索引起了研究人员的广泛
目标检测是计算机视觉中的一个主要研究方向,并且有很多实际的应用,比如无人驾驶、智能医疗等。传统的目标检测算法主要基于手工提取的特征以及可训练的浅层结构。近些年来,随着深度学习技术的快速发展,越来越多的研究人员趋向于用深度学习的方法解决计算机视觉任务。由于深度学习能够提取出更深层次、更高语义级别、更加鲁棒的特征,基于深度学习的目标检测算法在该领域取得了突破性进展。但许多复杂的应用场景既对目标检测系统
学位
随着显示器硬件制造水平的提高以及人们对显示器视觉质量需求的提升,数字显示器已经逐渐可以显示具有高比特深度的高动态范围内容,以提供更多、更细致的颜色表示,提高图像显示的视觉质量。然而,受限于图像采集设备,大多数图像视频以低比特深度形式存储。当这些低比特深度图像经过简单处理后直接在高比特深度显示器上显示时,图像的颜色平滑渐变区域会有明显的伪轮廓,降低了视觉质量。因此,研究合适的图像比特深度增强算法具有