随着计算机、通信及网络技术的发展，实时的2D视频可视通信已经走向成熟，基于各种国际标准的视频产品已经进入了人们的生活、学习、工作等各个方面。然而，人们对于数字视频的要求日益提高，人们希望看到表征自然景物的数字视频能够更加地清晰、更加地真实，而2D视频在真实性上存在很大的局限。相比之下，自由视点视频可以使用户自由选择观看的视点和方向，来享受更加真实的3D图像，基于这样的交互性与3D图像真实感，自由视点视频在远程教育、远程监视、虚拟现实系统等各方面将有良好应用前景。因此，自由视点视频技术作为当前的一个研究热点，已经吸引了越来越多的国内外学者。本文主要从构建自由视点视频系统的角度出发，进行其中的关键技术研究。首先，自由视点视频是通过多相机系统进行捕获，其数据量通常几倍于目前普通视频，因此在第三章对自由视点视频编码技术进行了研究，在第二节重点对光线空间相关性及数据特性进行了分析，在此基础上提出了包括快速自适应块匹配、基于直线方向搜索的光线空间数据压缩算法，实验结果分析表明，与传统的只利用了片内相关性的数据压缩方法相比，编码性能有了明显的提高，这是本文的一个创新点。在第三节对3DAV的多视点视频编码方案在压缩效率、计算复杂度、内存消耗及随机访问性等方面进行了性能比较。然后，由于采集过程中场景光照、相机校准、相机噪声等方面的影响，各视点视频的颜色值会差别很大，给后续的处理带来很大的困难，因此在第四章研究了多视点视频颜色校正技术。对多视点视频进行颜色校正首先由我们提出，其基本思想是：根据图像间的颜色信息，构造其颜色映射关系，根据此映射关系进行颜色校正，此映射可以是基于全局的、区域的或像素的。我们提出了一系列的颜色校正算法：基于规正参数调节的算法，从象素均值和直方图均值匹配的角度出发，通过迭代操作，构造了源图像与目标图像间映射关系；基于区域分割与跟踪的算法，从区域匹配的角度出发来构造一维线性映射关系，并且通过对区域进行跟踪，实现了对视频图像的校正；基于主成分分析的多视点视频自动颜色校正算法，则从主成分分析的角度出发来构造三维线性映射关系，同样通过对主成分进行跟踪实现对视频图像的校正；并且对噪声情况下的校正进行了讨论。基于动态规划的多视点视频非线性颜色校正算法，则从非线性映射的角度出发，通过动态规划思想在源图像与目标图像的直方图间寻找一条最佳匹配路径，同样通过对路径进行跟踪实现对视频图像的校正。实验结果分析表明，各算法对特定颜色变化情况下的校正十分有效，这是本论文的又一创新。然后，为了将颜色校正与数据压缩或虚拟视点绘制更好地进行结合，在第五章中提出了多视点图像亮度补偿方法和基于视差矢量的多视点视频颜色校正和虚拟视点绘制方法，在实现颜色校正的同时，取得了较高的编码效率和较好的虚拟视点绘制质量，这是本论文的又一创新。最后，在第六章，将各项关键技术进行结合，提出了三种自由视点视频系统框架，本文对其中一种系统进行了实验模拟。