实时三维内容生成算法研究与实现

来源 :浙江大学 | 被引量 : 0次 | 上传用户:liongliong545
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
三维显示技术能够给用户带来真实的视觉感受,是当今显示领域的研究热点。近几年来,各大厂商推出了品种繁多的三维显示设备,从显示技术的层面上可以分为戴眼镜式和裸眼式两种。对于相同的显示设备而言,三维内容的质量决定了用户能否获得强烈的立体视觉感受。由于三维显示技术是一种全新的电视技术,传统的2D片源都无法在三维显示设备上进行观看,并且不同类型的显示设备对三维内容的要求也不尽相同。比如戴眼镜式的立体电视支持两路拼接的双目立体片源,而裸眼式的自由立体显示器则可以支持多视点的立体内容。而随着各类三维显示设备的普及化,用户希望能够看到更加丰富的三维内容。而受到录制设备成本和三维制作技术的限制,三维内容的匮乏是当前面临的最大难题之一。通过视点绘制算法从已有的媒体片源生成所需的三维内容可以有效地缓解三维内容匮乏的现状。本文在实验室现有的立体显示系统平台上,重点研究实时的三维内容生成算法,从技术路线上可以分为基于稠密深度图的三维内容生成算法,以及基于图像形变的双目立体转多视点算法,取得的创新性成果包括:1、为满足2D转3D内容生成的实时需求,本文提出了一种基于稠密深度图的实时2D转3D算法。该算法利用深度模型、冷暖色信息和图像关注度信息对参考视点的稠密深度图进行恢复,并通过后向基于深度图像的虚拟视点绘制(DIBR)技术绘制出无空洞的虚拟视点图像,最后将虚拟视点图像与参考视点图像拼接得到可用于戴眼镜式立体显示器观看的双目立体图像。该算法适用于大多数的自然场景,能够得到时域稳定且质量较好的稠密深度图,呈现较好的立体效果。经过实验验证,该算法在图形处理器(GPU)实现下能够以32.8fps的速率对全高清分辨率的视频进行实时转换。同时,本文基于现场可编程门阵列(FPGA)平台对该算法进行了硬件实现,经过实验验证能够以30fps的速率对全高清分辨率的视频进行实时转换。2、为满足双目立体转多视点内容生成的实时需求,本文提出了一种基于稠密深度图的实时双目立体转多视点算法。该算法利用可变支持窗口的思想,在动态规划算法的框架上对输入的双目立体图像进行立体匹配以获取稠密深度图。在虚拟视点绘制部分,该算法采用Shift-Sensor相机模型设计虚拟相机参数,通过DIBR技术绘制出带空洞的虚拟视点图像。对于介于输入参考视点之间的虚拟视点图像,该算法利用左右参考视点中遮挡信息的互补性对虚拟视点图像进行融合以修复大范围的空洞,再通过简单的插值算法填补剩余的细小空洞。在参考视点相机参数已知的情况下,该算法对于色彩鲜艳、纹理丰富的自然场景可以得到较高质量的稠密深度图,并能够在输入的参考视点之间绘制出较高质量的虚拟视点图像。经过实验验证,该算法在GPU实现下能够以20.9fps的速率渲染8路分辨率为640×360的虚拟视点视频。同时,本文基于FPGA平台对该算法的虚拟视点绘制部分进行了硬件实现,经过实验验证能够以30fps的速率输出全高清分辨率的裸眼3D视频。3、本文在基于图像形变的虚拟视点绘制算法框架下,提出了一种基于图像形变的实时双目立体转多视点算法。在算法流程上,本文通过两方面的改进来提升算法的性能和速率:一方面,本文引入了自适应分块的方法,在保证虚拟视点图像质量的同时可以降低算法的计算复杂度;另一方面,本文借鉴局部立体匹配算法的思想,通过稀疏立体匹配来获得稀疏视差。相比与特征提取算法,本文提出的方法能够实时地获取分布更为均匀的视差点集,同时能够保证较高的匹配精度。经过实验验证,该算法在GPU实现下能够以21.3fps的速率渲染8路分辨率为1280×720的虚拟视点视频。
其他文献
随着贫困内涵的不断变化,支出型贫困逐渐得到人们的重视,成为研究贫困问题的新视角。对2000-2009年中国农村居民收入和支出的相关数据进行统计分析,能够得出中国不同收入水平
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
会议
试验设计3个组.分别采用CIDR+PGF2α法、PGF2α一次注射法和PGF2α二次注射法3种不同的处理方法对120头西门塔尔杂交受体牛进行同期发情处理。结果表明:CIDR+PGF2α法同期发情处
昌宁-孟连特提斯洋的构造演化及其原特提斯与古特提斯的转换方式一直是青藏高原及邻区基础地质研究中最热门的科学问题之一.根据新的地质调查资料、研究成果并结合分析数据,
鄂尔多斯市位于内蒙古自治区西南部,地处鄂尔多斯高原腹地,全市国土总面积8.7万km^2,其中草原面积671.6亿m^2,耕地面积40.7亿m^2,牧区、半农半牧区、农区并重。畜牧业是鄂尔
目的探讨肺栓塞患者的病情及护理,为肺栓塞的早期治疗提供可靠的依据。方法选取2013年1月~2014年1月在我院进行肺栓塞治疗的11例患者作为研究对象,观察患者的病情并进行护理
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
资本批判是马克思学说的本质内容,也是马克思对人类思想的主要贡献。深入理解马克思的资本批判的存在论意义,并据此揭示这一批判的原则高度,是把握马克思学说之当代意义的关
可视化语言提供了一种可视、直观与抽象的方式去描述复杂对象的结构与构成的方法,已广泛应用于计算机相关领域。可视化语言研究的最基本问题之一是如何描述可视化语言。与形
以河北省塞罕坝机械林场不同林龄的华北落叶松人工林为研究对象,以Pielou均匀度指数、ShannonWiener多样性指数、Simpson多样性指数和Margalef丰富度指数为指标,在进行结构化