论文部分内容阅读
三维显示技术能够给用户带来真实的视觉感受,是当今显示领域的研究热点。近几年来,各大厂商推出了品种繁多的三维显示设备,从显示技术的层面上可以分为戴眼镜式和裸眼式两种。对于相同的显示设备而言,三维内容的质量决定了用户能否获得强烈的立体视觉感受。由于三维显示技术是一种全新的电视技术,传统的2D片源都无法在三维显示设备上进行观看,并且不同类型的显示设备对三维内容的要求也不尽相同。比如戴眼镜式的立体电视支持两路拼接的双目立体片源,而裸眼式的自由立体显示器则可以支持多视点的立体内容。而随着各类三维显示设备的普及化,用户希望能够看到更加丰富的三维内容。而受到录制设备成本和三维制作技术的限制,三维内容的匮乏是当前面临的最大难题之一。通过视点绘制算法从已有的媒体片源生成所需的三维内容可以有效地缓解三维内容匮乏的现状。本文在实验室现有的立体显示系统平台上,重点研究实时的三维内容生成算法,从技术路线上可以分为基于稠密深度图的三维内容生成算法,以及基于图像形变的双目立体转多视点算法,取得的创新性成果包括:1、为满足2D转3D内容生成的实时需求,本文提出了一种基于稠密深度图的实时2D转3D算法。该算法利用深度模型、冷暖色信息和图像关注度信息对参考视点的稠密深度图进行恢复,并通过后向基于深度图像的虚拟视点绘制(DIBR)技术绘制出无空洞的虚拟视点图像,最后将虚拟视点图像与参考视点图像拼接得到可用于戴眼镜式立体显示器观看的双目立体图像。该算法适用于大多数的自然场景,能够得到时域稳定且质量较好的稠密深度图,呈现较好的立体效果。经过实验验证,该算法在图形处理器(GPU)实现下能够以32.8fps的速率对全高清分辨率的视频进行实时转换。同时,本文基于现场可编程门阵列(FPGA)平台对该算法进行了硬件实现,经过实验验证能够以30fps的速率对全高清分辨率的视频进行实时转换。2、为满足双目立体转多视点内容生成的实时需求,本文提出了一种基于稠密深度图的实时双目立体转多视点算法。该算法利用可变支持窗口的思想,在动态规划算法的框架上对输入的双目立体图像进行立体匹配以获取稠密深度图。在虚拟视点绘制部分,该算法采用Shift-Sensor相机模型设计虚拟相机参数,通过DIBR技术绘制出带空洞的虚拟视点图像。对于介于输入参考视点之间的虚拟视点图像,该算法利用左右参考视点中遮挡信息的互补性对虚拟视点图像进行融合以修复大范围的空洞,再通过简单的插值算法填补剩余的细小空洞。在参考视点相机参数已知的情况下,该算法对于色彩鲜艳、纹理丰富的自然场景可以得到较高质量的稠密深度图,并能够在输入的参考视点之间绘制出较高质量的虚拟视点图像。经过实验验证,该算法在GPU实现下能够以20.9fps的速率渲染8路分辨率为640×360的虚拟视点视频。同时,本文基于FPGA平台对该算法的虚拟视点绘制部分进行了硬件实现,经过实验验证能够以30fps的速率输出全高清分辨率的裸眼3D视频。3、本文在基于图像形变的虚拟视点绘制算法框架下,提出了一种基于图像形变的实时双目立体转多视点算法。在算法流程上,本文通过两方面的改进来提升算法的性能和速率:一方面,本文引入了自适应分块的方法,在保证虚拟视点图像质量的同时可以降低算法的计算复杂度;另一方面,本文借鉴局部立体匹配算法的思想,通过稀疏立体匹配来获得稀疏视差。相比与特征提取算法,本文提出的方法能够实时地获取分布更为均匀的视差点集,同时能够保证较高的匹配精度。经过实验验证,该算法在GPU实现下能够以21.3fps的速率渲染8路分辨率为1280×720的虚拟视点视频。