多视角立体重建是机器视觉领域重要且基础的研究课题,在测绘、工程建设、自动驾驶等众多领域有着广泛应用,蕴含着巨大的经济价值。随着社会的快速发展,各领域对多视角立体重建的要求也不断提升,而现有的多视角立体重建方法难以有效地对弱纹理、镜面与反射等重建困难区域进行建模。因此,如何提升多视角立体重建性能是一个亟待解决的问题。近年来,机器学习在众多视觉任务上表现出色,利用机器学习来提升多视角立体重建性能也成为了机器视觉领域的研究热点之一。然而,如何有效地将机器学习与多视角立体重建进行结合仍然是一个开放性问题,具有非常大的挑战性。为此,论文以深度图作为三维模型的主要表征方式,基于机器学习理论,提出了一套完整的包括相机优化、深度图估计、深度图补全与深度图过滤在内的多视角立体重建方案,主要研究工作与创新点包括:1)针对相机优化问题,提出了基于局部光束平差的相机优化方法。首先由粗至精地划分全局可视性图,以获取一系列规模适宜的局部可视性子图。然后挑选出各个局部可视性子图中可用于建模的核心相机群,并使用局部光束平差进行优化,以获取精度更高的相机参数。实验表明,提出的相机优化方法能够有效提升相机精度,并显著提升重建模型质量。2)针对深度图估计问题,提出了基于patch粒度匹配置信度学习的多视深度预测网络P-MVSNet。P-MVSNet首先基于均方误差计算像素粒度的匹配置信度,并通过patch粒度的匹配置信度学习模块来提升匹配准确度。然后基于混合的三维U-Net正则化匹配置信度空间,并使用深度上采样模块来获取更高分辨率的深度图。此外,为过滤噪声深度、提升深度估测质量,基于P-MVSNet的深度概率分布空间提出了深度置信度准则;基于多视几何一致性与深度一致性优先的深度挑选策略提出了深度一致性准则。实验表明,提出的P-MVSNet可以较好地对弱纹理、反射等重建困难区域进行建模,并在DTU与Tanks and Temples等多个评测数据集上达到了当时最先进的建模性能。3)针对深度图估计问题,进一步提出了注意力感知的多视深度预测网络Att MVS。Att MVS首先基于注意力感知的像素一致性测度来构建注意力强化的匹配置信度空间,然后通过自底向上的注意力引导的正则化方案来获取目标场景深度,最后引入了梯度损失函数来提升模型学习能力。此外,为提升基准数据质量,进一步提出了基于双模态深度对齐的基准深度图过滤算法。实验表明,提出的Att MVS可以进一步提升弱纹理、反射等重建困难区域的建模质量,并在DTU与Tanks and Temples等多个评测数据集上实现了当时最先进的重建性能。4)针对深度图补全问题,提出了一个新型的基于无监督学习的单张深度图补全框架USDC与双头的深度预测网络DHDepth。USDC仅需稀疏深度图与参考图像信息即可完成深度补全,且不存在域偏移问题。DHDepth则分别编码参考图像的颜色与像素位置信息来充分地理解目标场景的深层语义特征与空间位置特征,从而更好地估测待补全区域的场景深度。此外,为提升DHDepth学习效率,并降低计算资源消耗,进一步提出了基于patch的稀疏深度图重采样算法。实验表明,基于DHDepth的USDC不仅可以在标准的单视深度补全任务上媲美先进的基于监督学习的单视深度补全方法,还可以无缝嵌入基于深度图的多视角立体重建系统,并显著提升弱纹理、反射等重建困难区域的建模质量。