场景时空四维重建是指对包含移动物体的动态场景进行时空关联的结构建模,是摄影测量与计算机视觉领域基础且关键的问题之一。其中,基于多视角视频数据的场景时空四维重建技术相比于其它方式的四维重建技术具有数据采集方便、应用场景广泛等优点,有较大的研究价值与应用前景。然而,现阶段的处理技术需要大量的先验场景知识作为约束,严重制约了其工程应用价值,且随着视频分辨率以及采样频率的提高,需要的计算量将骤然增加。因此,研究无需任何先验场景知识的高效、鲁棒的多视角视频时空四维重建技术具有重要的理论意义和实用价值。为此,本文对多视角视频时空四维重建的理论进行了深入研究,详细分析了现有方法,提出了一系列新的处理理论与方法,并利用大量场景数据进行了实验验证分析。论文的主要工作和创新点如下:1.研究了多视角视频四维重建的基础理论与处理方法。对场景四维重建处理中涉及到的各个流程分别进行了详细讨论,并对涉及到的相关技术的国内外研究现状和存在的主要问题进行了详细分析,包括数据获取、特征提取与匹配、相机运动恢复、场景分割与密集重建、场景时空关联等部分,为场景时空四维重建的研究提供了理论基础。2.提出了一种基于超像素及优化二进制描述符的特征提取与描述方法,实现了多视角视频帧间宽基线或弱纹理影像同名点对的鲁棒获取。首先对影像进行超像素分割,将超像素边缘交叉点定义为影像特征点,然后利用主次方向进行局部影像变形,通过随机像点对采样强度对比计算得到二进制描述符。采用多个公开数据集及多种当前主流算法进行实验对比分析。实验结果表明,对于不同类型的影像数据,该方法都能够有效地提取匹配得到大量的匹配点对,相较于当前主流匹配算法的正确匹配特征点对数量提升了2-5倍。同时将该方法应用到多视影像稀疏三维重建中,取得了较为理想的结果,为一般室内外场景下的四维重建提供了良好的初始特征点对。3.提出了一种快速的影像误匹配点对剔除方法,实现了视频序列相对空间位姿的快速精准估计。首先将影像中的运动一致性原理转换为两个判别准则,从而能够不需要求解运动平滑函数,直接进行运动平滑约束;然后在两个判别准则的基础上将局部运动一致性约束进一步转换为局部多项式映射约束,提高最终结果的正确率。采用多个公开数据集及多种当前主流的特征提取与匹配算法进行实验,设计与多种当前常用的匹配提纯算法进行对比分析。实验结果表明,该方法点对匹配提纯正确率优于对比算法,且能够满足实时计算的要求。同时利用具有真实位姿参数的标准数据集进行位姿求解应用分析,验证了该方法能够满足快速、准确的视频序列相对位姿求解要求,能够为场景四维重建提供精准的多视角视频序列空间位姿信息。4.提出了一种结合深度学习与超像素信息传播的多视角视频帧间影像密集匹配方法,实现了复杂场景的高完整度密集重建。首先利用神经网络方法预测影像深度初值,然后结合超像素信息进行深度平面拟合与联合优化,最后逐像素进行深度信息传播检查得到最优的深度估值。利用多种分辨率及多个室内外实际场景拍摄影像数据集进行实验,与多种已被广泛应用的高水平算法进行对比分析。实验结果表明,该方法在重建完整度与综合性指标得分方面优于现有对比算法,同时保持了较高重建精度与较快重建速度,为场景四维重建提供了良好的密集点云。5.提出了一种无需先验场景知识的一般动态场景的时空四维重建方法,实现了一般场景下多视角视频数据的近实时或在线四维重建。首先设计了模块化的动态场景时空四维重建流程,然后利用时间域约束实现了针对视频数据的场景深度快速估计,利用多视角间的深度及分割信息联合优化实现了多视角信息的一致性处理,利用前后帧间点云快速配准融合处理实现了场景时空关联,最后进行整体优化实现了一种流式异步处理的时空四维重建方法。利用多种类型的多视角视频数据进行全面的实验分析。实验结果表明,该方法无需输入任何先验的相机信息或者场景信息,能够近实时或在线地提供完整动态场景的时空四维模型,为整体场景点云提供随时间推移的对应关系,实现了良好的场景四维重建效果。