实时的人的检测与跟踪是一个非常重要的研究问题,这个研究领域有着广泛的应用场景,诸如智能监控、机器人、人机交互等。然而,频繁发生的遮挡、复杂的背景、变化的光照条件和人体姿势,常常使得在复杂场景中进行检测与跟踪变得非常困难。本文提出了人的检测与跟踪的新算法。这个算法定位于使用RGBD相机在拥挤的动态场景中进行实时的人的检测与跟踪。该算法引入了PEI (Point Ensemble Image,点集图)的概念,它是通过将原始RGBD数据经过投影变换而得到的一个虚拟俯视图,算法的后续检测与跟踪过程都是在这个点集图上执行的。投影到地面的过程需要预先获知地面方程,因此本文还提出了一种新的地平面查找算法。人的检测包括两个子过程。第一检测过程中使用了一种新颖的基于人体格特征的候选目标定位器进行初步筛选,该阶段容许误检,但是可以做到不漏检；而在检测的第二阶段中,候选目标将通过学习与分类的方式进行进一步过滤。在分类过程中,不仅需要使用颜色信息,同时还需要使用深度数据。本文设计了两个特征以用于分类,分别是HOHD (Histogram of Height Difference,高度差直方图)和二维的JHCH (Joint Histogram of Color and Height,颜色／高度联合直方图)。当检测执行完成之后,通过使用卡尔曼滤波器作为跟踪模型,并且使用三维的JHCH特征进行数据关联,可以获得每个个体的三维运动轨迹。本文使用了两个数据集进行实验验证,分别是服装店数据集和办公室数据集。这些实验显示本文提出的方法在检测准确率以及运算速度上都超过了最新的相关算法。