在计算机视觉领域,多视图三维重建一直是研究热点,它综合了计算机图形学、计算机视觉和模式识别等多个学科知识,已广泛应用于视觉导航、医学诊断、文物保护和虚拟现实等领域。针对多尺度图像集的三维重建效果远没有达到可以应用的地步,以及现有三维重建算法对建筑物等大型场景的重建效果真实感不高和计算量大的问题,本文对现有三维重建算法的关键步骤进行了深入研究,并提出改进算法来对多尺度建筑物图像集进行三维重建重建。在算法基础上开发出一个三维重建软件系统。本系统由三个主要步骤组成:运动恢复结构(Struction From Motion,SFM)算法恢复相机参数和稀疏点云,多视图立体视觉(Multi-View Stereo,MVS)算法计算每个视图对应的深度图,以及表面重建(Surface Reconstruction)算法重建完整的3D模型。本文主要研究工作如下:(1)本文分别采用大疆无人机和智能手机采集图像,采用增量SFM算法恢复相机参数和场景的稀疏点云。利用SIFT算法对图像进行特征提取与匹配,并用GPU并行加速该步骤。在增量重建阶段,提出下一个最佳视图选择方案并改进现有光束平差法(Bundle Adjustment)等,实验证明本文的SFM方法具有较高的鲁棒性和准确性。(2)恢复出相机参数后,即可执行多视图立体视觉算法生成每个视图对应的深度图。本文提出一个两级视图选择算法:在图像层面,全局视图选择为每个参考视图标识一组用于立体视觉匹配的良好邻域图像;在像素层面,局部视图选择确定邻域图像的子集,以此产生稳定的立体视觉匹配。然后将深度图融合为一个全局一致的稠密点云,作为表面重建阶段的输入。因仅需要部分的邻近视图即可重建,因此很容易扩展到大型场景的重建中。实验证明本文方法能够产生高质量的深度图。(3)采用浮动尺度表面重建算法进行表面重建,本文提出将每个样本点的尺度值作为附加输入,避免了对不同分辨率的样本点作均值处理。根据相同尺度和冗余信息自动调整插值和拟合,并且在几何信息不足的区域不作插值操作,提升了算法的准确性。将生成的稠密点云作为表面重建阶段的输入,最后使用移动立方体算法从等值面提取出最终完整的三维模型。实验结果表明,与VisualSFM相比,本文方法重建的3D点更多,重投影误差更小;与PMVS算法相比,本文方法重建稠密点云的顶点数量更多;与泊松表面重建方法相比,本文采用的FSSR方法适用于多尺度的图像集,重建出的模型不仅准确性高,而且重建的模型细节表现更好。因此本文方法适用于多尺度图像集,对建筑物等大型场景重建效果较好。