随着计算机信息技术的飞速发展，人们认识事物的方式越来越多样化。三维信息相较于二维信息而言，更能够体现物体本身的一些特性与状态，更能够被人们所直观地感受。三维重构技术作为将物体原始信息以三维模型的形式重现在计算机系统中的手段，已经广泛地应用于医学影像、机器视觉、考古学等领域。但是，目前对于物体的三维重构来说，多是集中于企业或科研机构中进行的，而很少能够有一种方法被提出，用来满足人们日常对三维重构技术的需求。针对这一现状，本文提出了一种基于图像与深度信息的实时三维重构算法，同时使用了较为廉价的Kinect设备作为物体信息的扫描设备，在一定程度上满足了日常的三重构需求。本文首先对目前国内外已有的三维重构算法，特别是基于深度信息的重构算法作了深入细致的研究，对三维重构所涉及的关键性技术与步骤作出了相关的阐述。然后根据本文提出的三维重构算法流程，按照点云数据预处理、点云粗配准、点云精确配准及离散点云三角网格化的顺序，分章阐述了本文所作出的工作与改进。在点云数据的预处理阶段，本文首先通过构造“空间网格”的方法，对点云数据进行量化处理，然后提出了一种将物体图像特征点信息引入到点云粗配准中的方法，实现了点云粗配准运算的降维处理，提高了配准的效率。同时，在图像特征点匹配过程中，本文利用RANSAC算法进行了提纯处理，从而提升了粗配准准确率，为后续的点云精确配准阶段提供了良好的初始位置。在点云数据的精确配准阶段，本文在研究现有的配准算法的基础上，对传统的ICP配准算法作出了改进。本文提出一种将点云所对应的RGB值引入到点云匹配的特征度量方法，并借鉴了空间包围盒的思想，对匹配点空间进行了限定，提高了匹配点的搜索效率与准确性。同时，为了进一步提高三维重构算法的实时性，本文对点云匹配空间进行Kd-tree空间划分，并使用BBF搜索算法，在搜索空间中进行匹配点搜索，提高了匹配点的搜索效率。点云数据经过配准后，本文采用了Lawson算法对空间离散点云进行Delaunay三角网格化，使重构三角网格具有空外接圆，最大化最小角等良好特性。在文章的最后，设计并实现了一套基于本文所提出的三维重构算法的实时三维重构系统，证明了本文算法的有效性和可行性。同时，通过与传统方法的对比实验，证明了本文算法在效率和正确率上相比传统方法有了提高。