虚拟视点视频合成技术是根据一系列相机拍摄到的同一时刻下的某三维场景的多视点视频,合成出新视点下的视频的技术,是虚拟现实、多媒体技术领域关注的热点问题。360度虚拟视点视频生成技术融合了全景技术带来的沉浸感和虚拟视点合成技术带来的交互感,使用户可以沉浸式地观察场景的情况。由于柱面全景应用范围广,易获取,易处理等优势,本文旨在研究柱面全景图这一表示形式下的360度虚拟视点视频合成技术,对基于光流的虚拟视点合成方法、分区域的虚拟视点优化、基于直线匹配的纹理优化、基于Mask R-CNN的目标优化等问题进行了研究。主要创新点如下:1.提出了分区域的基于光流的360度虚拟视点生成算法。不需要任何相机参数和其他的场景几何信息,只根据两视点视频即可生成虚拟视点视频,大大降低了解决该问题的成本。将光流金字塔和块匹配结合,在较大视差下仍然有较好的效果。针对柱面全景的特点,提出分区域的虚拟视点合成,解决了柱面全景变形太大的区域难以计算光流的问题。2.提出一种针对直线纹理区域的光流优化方法,解决了全搜素块匹配方法带来的直线特性难以保持的问题。首先利用特征点匹配将参考视点切割成图像内容相同的区域,再分别针对对应区域应用直线匹配技术,并根据直线匹配结果修正邻域光流。该方法将直线及其周边区域光流进行修正,有效提高了直线纹理区域的虚拟视点生成效果。3.结合图像语义特征提出针对虚拟视点主要目标的优化方法。针对虚拟视点中目标形状扭曲或目标边缘和背景混合的问题,采用了Mask R-CNN实例分割网络,对图像中的主要目标进行分割,并加入光流计算过程中进行光流优化,进一步提高了虚拟视点质量。实验证明,本文提出的基于光流的360度虚拟视点视频生成方法在室内和室外场景下能生成较好的虚拟视点视频。一方面,本文方法不需要相机和其他场景参数,只利用了参考视点视频即可生成虚拟视点视频;另一方面,本文在柱面全景变形大的区域、直线纹理区域和场景主要目标上进行优化,大大减少了光流计算错误的情况,在虚拟视点视频生成效果上有很大提升。