计算机视觉的本质是从二维图像信息重构三维物体的可视部分，三维物体表面的重建和表达问题在视觉研究中不仅具有重要的理论价值，而且也有着广泛的应用需求。尽管人们已在该领域进行了大量的工作，但是随着制造自动化、设计自动化、车辆导航、智能机器人、人脸识别等技术的发展，迫切需求快速、精确、鲁棒性强、适用面广的三维物体形状重建方法，对计算机视觉理论的发展提出了更高的要求。 本文针对三维重建中的难点--双目视觉的重建理论，提出了基于两幅图像的物体表面三维重建理论和算法来完成物体表面的三维重建，并给出了具体实现。该理论可以应用在实际工程中：产品外型三维重建，制造自动化、交通事故场景再现、人脸识别等方面。 基于图像的物体表面三维重建系统主要是采用立体视觉的方法重建出物体表面形状，并采用纹理贴图的方法增强目标物体的真实感。为了能从真实场景中提取深度信息，在第三章中，我们提出了一个由未定标摄像机拍摄的多幅图像中，进行摄像机定标的算法。我们首先利用二维标定靶人工交互地选取十余个以上的对应点，然后利用一个线性算法计算出摄像机参数的初值，最后提出了一个非线性的方法对它们进行优化。实验结果表明，本方法比较有效，得到了良好的结果。更进一步，我们利用反求出来的摄像机参数，基于图像深度信息的连贯性，在对图像进行自适应分割以后，实现了块匹配，进而重新获取它们的深度信息。利用这个深度信息，我们应用本论文第五章算法，生成了中间过渡的虚拟图像，从而实现物体表面的三维重建。 本文算法的实现采用了MATLAB，VC++，以及MATLAB和VC++混合编程的方法。