提高三维视频深度编码性能的技术研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:cjl11082009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
三维视频(Three Dimensional Video,3DV)能够给观众带来当前场景的深度信息,从而更加接近人的现实感受,因此受到了广泛关注。多视点视频加深度(Multi-view Video plus Depth, MVD)具有良好的标准兼容性,并且利用基于湃度图像的绘制(Depth Image-Based Rendering, DIBR)技术能够在解码端任意视点位置合成虚拟视点,实现自由立体电视应用。因此,被运动图像专家组(Moving Pictures Experts Group, MPEG)选为新一代3DV视频编码标准的数据格式。相比于视频图像,深度图中含有大面积平坦区域,仅在物体边缘部分呈现出尖锐截止现象,并且深度图不直接用于观看,而是主要用于解码端的虚拟视点合成。由于新引入的深度信息也需要进行编码,并利用带宽有限的传输设备传输至解码端,这对于编码器的编码效率提出了更高要求。本文重点研究了3DV中深度信息的高效编码方法,主要研究内容如下:由于目前消费级显示器解码计算能力的限制,MPEG对编解码器处理的3DV数据量做出了限制。考虑到观众在观看双目视频时,最终感知的视频质量主要受到其中质量较强一路视频的主导,为了降低3DV的数据量并提高编码效率,本文提出,对于三个视点的情况,将左路和右路视点的视频与深度信息进行空间1/2下采样,解码端再进行上采样恢复至原始分辨率。由于中间视点将一直用于解码端的虚拟视点合成,因此不对其进行采样处理。此外,在编码中间视点时,将边路视点进行上采样用作中间视点的参考信息,以降低视点间冗余。所提方法在满足数据量限制条件的前提下,提高了3DV的编码效率。现有编码器中变换量化操作使得深度图中尖锐的物体边缘变得模糊,降低了虚拟合成视点质量。为了恢复深度图中的尖锐边缘信息,本文基于深度图的特性以及深度图与对应视频图像的相关性,提出了一种基于三边滤波器的边缘重建方法。所提算法结合深度图边缘两侧像素较为平滑的特点,对于三边滤波器中滤波参考像素集合的基准点选取方法进行了改进。同时为了避免引入新滤波像素值,提出利用中值滤波代替原有的加权计算方法。所提方法明显提高了深度图边缘的恢复质量和虚拟合成视点质量。现有编码器一般采用率失真优化(Rate Distortion Optimization, RDO)准则,通过对每一个宏块(Macro-Block, MB)遍历所有候选模式选取最佳模式。虽然提高了编码效率,但是却大大增加了编码复杂度。为了降低深度编码复杂度,本文提出了一种基于分级B预测结构的快速编码方法。该方法利用分级B预测结构中较高时间层(Temporal Level, TL)内编码帧与参考帧之间时间间隔短,时域相关性强,且编码帧中采用大尺寸编码模式MB比例高的特点,结合深度图由大面积平坦区域和尖锐边缘组成的特性,对处于不同TL内的编码帧分别制定了不同强度的候选模式精简策略,跳过不必要的小尺寸编码模式。所提算法在保证编码性能前提下,有效降低了编码复杂度。对于处于深度图平坦区域中的MB,由于采用不同编码模式产生的量化残差编码比特数经常为零,以及失真较小且相等,模式判决的结果主要由模式头信息编码比特数决定。为了进一步降低编码复杂度,提出了一种率失真性能不变的早期截止算法。所提算法中,所有候选模式按照其对应最小头信息比特数计算的固有最小率失真代价函数值升序排列。在完成每一个候选模式的率失真代价函数值计算之后,将更新之后的最小率失真代价函数值与下一候选模式的固有最小率失真代价函数值进行比较,以判断是否终止当前模式判决过程。所提算法使得编码复杂度大大降低,且编码率失真性能不发生变化。为了提高深度图I帧的编码效率,提出一种I帧MB模式跳过编码方法。该方法充分考虑了深度图像含有大面积平坦区域,且平坦区域内空间相邻MB编码模式之间存在较强相关性的特点。在此基础上,提出利用空间相邻已编码MB模式预测当前MB模式,并对MB模式与预测模式相等的MB进行模式跳过编码。另外,为了降低现有标准在编码平坦区域MB残差系数过程中引入的指示信息冗余,进一步提出帧内MB跳过编码方法。它可以同时跳过平坦区域中MB模式与残差系数的编码,进而降低编码冗余。所提两种方法位于MB模式选择之后的MB编码阶段,因此对重建帧质量没有任何影响。利用所提方法可以有效提高深度图像的编码效率。针对利用现有帧内编码算法编码深度图中含有边缘的MB效率较低的问题,提出了一种利用视频与深度图之间相关性的边缘跳过编码方法。该方法利用聚类算法从当前深度编码MB及其参考像素部分对应的视频区域获得边缘信息,以此作为当前深度编码MB及其参考像素的分割边缘信息,然后利用所得分割边缘信息将参考像素映射到当前编码MB作为预测值。为了滤除聚类方法获得的分类信息中存在的噪点或者毛刺对预测的干扰,提出了双向扫描滤波方法。利用所提边缘跳过帧内预测方法,可以跳过对边缘MB中复杂边缘的编码,甚至边缘MB完全被跳过不编码。所提方法不仅提高了深度图的编码质量,也明显提高了合成视点图像的主观质量。
其他文献
随着隧道挖掘、矿山开采、石油勘探、城市地下管线铺设、精确制导武器等领域技术的突飞猛进,迫切需要能够在高过载环境下对运动体角速度进行精确测量的陀螺。本文借鉴中国传
通过对高空探测高度的分析可知:降水、净举力和空气阻力、球炸率是影响探测高度的主要因素.针对各个影响因素,找出提高探测高度的方法.
阅读对于学生学习能力形成和语文综合素质的提高,十分重要.语文老师要在阅读教学中善于创设学习情境,优化教学方法,从而培养学生良好的阅读习惯,全面提升学生语文综合素质.
杭州市1998年冬季大雾频发,这是气象因素与环境共同作用的结果,加强环境管理,减少大气层中颗粒物的排放,降低大气中颗粒物的浓度,是控制冬季大雾频发的有效途径。
近些年,移动互联网和多媒体业务的广泛应用促进了移动无线通信系统的迅速发展。为了满足日益增长的通信速率和通信质量的要求,必须采用一系列新的技术手段,基于中继技术的分
当前的桶装水市场鱼龙混杂,产品质量不合格。食品级的PC桶在力学,热学和加工等方面性能优异,成为国家标准中唯一允许使用的纯净水循环濯装外包装。但是PC桶受到其原料成本的制约
在对油库、码头及同类工程调查基础上,对油轮要求上岸处理的含油污水量变化原因进行剖同轮上岸处理的含油污水量的因素众多,个性显著,为此,在预测时,除考虑该类项目一般规律外,应充
快慢车模式作为一种有效匹配乘客多样化出行需求的手段,能提升企业服务水平,降低运营成本,其核心问题是确定合理的列车停站方案。首先,针对快慢车越行特点进行分析,得出快慢