虚拟现实(VR)在现实中具有重要的应用价值。在研究与商业的许多领域,虚拟现实都是一个受到追捧的热点。虚拟世界与现实世界的交界处就是交互。VR环境下的交互可以使得虚拟世界与现实世界中的信息进行互通。而重构则可以将现实世界的用户对象的信息在虚拟世界中展现出来。但是目前的重构技术都具有要求设备高、速度慢的缺点。而且由于VR设备的干扰,所获取的图像经常会有噪音。为了解决这些问题。本文通过对3D人脸重构,三维人体重构和动作捕捉三个方面对VR环境下的人体互动技术进行了研究。本文中的人脸重构技术除了3D人脸重构之外,还有人脸检测和人脸修复两个前置步骤。我们的3D人脸重构技术受针孔相机原理的启发,使用已经标注好的2D-3D配对对象作为训练集。来获取[2D,1]~T与三维世界对应对象的转换关系。本文主要的创新点包括以下几个方面:1.提出经过用Haar特征的人脸检测之后,再用皮肤鉴别来区分结果以提高成功率的人脸识别的方法。2.提出通过一种深度卷积神经网络来实现人脸的修复工作。另外再用全局和局部鉴别网络来检验修复结果来提取较好的修复结果。3.提出使用一系列回归的计算方法计算出面部特征位置坐标,然后与其对应的三维模型的对应的点匹配作为训练集。来实现较快的基于单张图像的3D人脸重构。4.提出使用椭圆形骨骼来代替原本的线段骨骼的动作捕捉方法。由于椭圆相对于线段可以表示更多的刚性空间。所以使用椭圆骨骼可以表述出更多的信息。5.提出一种基于箱体的切割融合方法的三维人体重构方法:将对象的身体分为若干个部分。分割完之后用箱体来包住这些局部身体。最后通过拟合变换贴上皮肤来得到三维模型。