人体姿态估计是计算机视觉领域一个重要的研究方向,同时也是人体动作识别与分析等更深层次任务的基础,其目的是对图像或视频中人体关键部位进行检测,最终输出相关部位的参数。在视频监控、人机交互、数字娱乐等领域有着十分广泛的应用。人体姿态估计日渐成熟,但是同样面临着诸多的挑战。利用深度相机获取深度信息,能够完成较精准的人体姿态估计结果,在人体关键部位配带传感器同样能取得十分理想的结果,但是这些受条件限制,应用场景有限。人们更希望借助普通的RGB摄像头便能完成人体姿态估计的任务。本文借助普通RGB摄像头完成人体姿态估计,搭建人体姿态实时控制系统。首先介绍深度学习相关的理论基础,为网络的设计与训练奠定基础。之后,将传统的基于图像结构模型的人体姿态估计同基于深度学习的人体姿态估计方法作对比,说明两种方法的优缺点。人体姿态估计网络采用自下而上的估计方法,网络的一个分支,借助卷积姿态机(CPM)算法完成人体关键点的检测,同时进行的另一个分支,根据人体关键点亲和场完成人体关键点的聚类,将两个分支信息相结合,得出2D人体关键点信息,之后,将2D人体关键点信息同3D人体姿态库相结合,得出3D人体姿态信息。利用3D游戏引擎Unity完成虚拟人体骨架的搭建,进行骨骼绑定,根据检测出的人体关键点3D数据,进行空间变换得出人体骨架对应关节的空间旋转信息,用以控制虚拟人体骨架运动,完成人体姿态实时控制系统。人体姿态估计实验结果,针对不同的数据集进行了交叉验证,对2D和3D人体姿态估计结果,分别使用PCK准则和每个关节的平均误差(MPJPE)同相关学者的实验结果作对比,数据库中的每个场景实验结果都有显著的提高。通过设计的简易滤波算法,减少了虚拟人体骨架的波动现象,实现人体姿态实时控制。