伴随着深度学习的快速发展,计算机视觉领域内的许多应用都取得了突破,包括图像分类、视频超分辨率、视频分类等。作为本文的研究课题,视频预测在计算机视觉领域内是很有挑战性的,它的目标是在给定一个视频序列连续的m帧X={X,…,Xm}的情况下,生成n帧未来帧(?)={(?)1,…,(?)n}。本文设定m=2,n=1。与图像相比,视频不仅包含空间依赖关系,还包含时间依赖关系。因此,本文提出了基于时空融合和非局部块的视频预测算法来探索视频中的空间和时间依赖关系,主要工作如下:(1)在前两章中,本文阐述了视频预测的研究背景、研究价值以及国内外研究现状。以视频的时空依赖关系建模为重点,研究了常见的时空融合方式,包括基于时间的融合方式、基于空间的融合方式和渐进融合方式;对以捕捉远程依赖关系为目的的非局部块进行了全面的介绍。(2)在第三章中,本文提出了基于时空融合和非局部块的视频预测的总体路线和网络框架,采用编解码器作为基本结构,包括编码器、瓶颈层、核生成解码器和掩膜生成解码器。编码器对视频序列进行编码,提取特征;瓶颈层采取不同的时空融合方式,对视频特征序列的时空依赖关系进行捕捉;核生成解码器和掩膜生成解码器以瓶颈层的特征为输入,分别生成核和掩膜。其核心思想是每个时刻利用动态生成的核与最后一帧输入进行卷积,生成转换图像,再利用生成的掩膜对上一个时刻的输出和转换图像进行组合得到当前时刻的预测帧。在此基础上,本文设计了基于直接融合的视频预测网络以及基于直接融合和非局部块的视频预测网络,通过实验证明了总体路线及网络框架的有效性,分析了直接融合及其与非局部块的组合对视频预测性能的影响。进一步,采用生成对抗训练策略对网络进行优化训练,通过减少预测帧的模糊性提升预测结果。(3)在第四章中,本文选取ConvLSTM作为时空融合方式,用于解决直接融合忽略了每一帧作为单独的个体对预测帧的影响的问题,通过实验证明了ConvLSTM比直接融合具有更强的视频时空依赖关系建模能力。另外,本文还利用非局部块对基于ConvLSTM的视频预测网络进行结构优化,探索非局部块的远程依赖建模对视频预测的性能影响。(4)在第五章中,本文选取渐进融合作为时空融合方式,用于解决直接融合未能对每一帧作为单独的个体与预测帧的关系进行捕捉的问题和非局部块没能在基于ConvLSTM的视频预测中发挥其对远程依赖关系建模的优势的问题,通过实验证明了基于渐进融合和非局部块的视频预测算法的有效性。除此之外,将本文提出的算法与直接生成和基于流的典型算法进行了对比实验。