从二维图像中还原出场景及物体的三维模型是计算机视觉领域的研究热点，它综合了计算机科学、信号处理、神经生理学等多种科学知识，且在视觉导航、文物保护、医疗诊断等领域都有着非常广阔的应用前景。本文对红外图像的三维重建理论及算法进行了较为全面的研究，分别讨论了针对场景和物体的三维重建方法。以车载红外图像的三维重建为例，介绍针对场景的重建方法。根据车载红外图像的特点，提出一种超像素分割和面板参数马尔科夫随机场（PP MRF）模型相结合的单目车载红外三维重建方法。鉴于模型在可见光领域三维重建的成功应用，将此模型应用于车载红外图像并针对车载红外图像的特点做出改进，使其更加注重对道路和天空等较大面板结构特性的分析和把握，以便更好的适应车载场景的红外图像三维重建。该方法首先通过超像素分割得到在纹理和亮度上相近的一系列小的区域（超像素）；然后训练模型，使它能够对待测试图像的各个超像素进行面板参数的分析和深度估计；最后通过实验结果表明该方法可以有效地对单目车载红外图像做出深度估计及三维重建。针对物体的红外图像的三维重建，我们需要从多个角度拍摄物体，以便对物体进行完整的三维重建。将重建的过程分为两部分，首先根据红外图像获取深度信息，然后利用获取的深度数据进行三维重建。本文我们主要讨论如何获取物体的深度数据（通过主动探测的方式）并利用得到的深度数据进行三维重建。首先，介绍了Kinect（一种3D体感摄像机）深度探测的工作原理，并使用它对物体深度进行主动探测，获得深度数据；然后，根据摄像机的成像原理及其标定技术，由深度数据得到物体表面的三维点云；基于经典的最近点迭代（ICP）算法，提出了一种结合自旋图算法的全局配准和改进ICP算法的局部配准的点云配准算法；最后，关于点云的三角网格化方法，本文简单介绍了Power Crust点云表面重建算法。实验结果表明，经过上述步骤能够进行三维重建，从而验证了算法的可行性。