论文部分内容阅读
随着视频技术的迅速发展和应用,用2D视频描述的世界已不能满足观众日益增长的视觉需求。而3D视频描述的世界与人的视觉更加匹配,使人们在观看时能获得丰富的立体感和沉浸感。相比于当前流行的高清视频,三维/多视点视频对存储和传输要求更高,并随着视点个数的增加而呈线性增长的趋势。而目前的存储介质和网络状况对于单路2D高清视频应用尚略显不足,当然更是无法满足自由视点立体视频对存储空间和网络带宽的要求。所以多视点视频走向应用首先要解决的问题就是数据量问题,而解决数据量问题的关键是立体视频3D场景信息的表示问题,即如何更加有效地表示3D场景来减少数据的冗余。本研究在多视点视频的理论基础上,提出了利用Kinect来完成深度的实时获取并进行多视点绘制。主要工作和成果如下:1.提出一种新颖的背景模型更新方法,利用kinect采集深度图像的过程中,采用初始帧来不断更新高斯背景的模型,以达到最好的背景模型匹配。2.提出了基于高斯混合模型的kinect图像增强算法,采用高斯混合模型(GMM)来分离深度图像的前景和背景,针对空洞出现的区域做不同的处理。背景空洞采用对应的背景值填充,前景空洞采用纹理图+距离函数+背景图的权值函数来确定空洞处的深度值,获取到可靠的深度图像。3.提出了基于几何模型的虚拟视点绘制方法,针对深度图像绘制(DIBR)后产生的空洞问题,先用高斯混合模型来分离绘制后新视点图像的前背景,根据DIBR后空洞存在的区域分为前景空洞和背景空洞,背景空洞我们利用背景的信息来填充,前景空洞采用改进的inpainting图像修复技术来处理,得到了较好的新视点图像。