基于图像的非接触式人体姿态、行为、形貌测量,是人机与环境工程中的关键问题,是机器深入理解人体行为含义、理解环境形貌变化的必要条件。本文从人机与环境工程中的人体姿态检测跟踪、人员行为检测识别、人体稠密重建以及相关的非线性优化问题入手,先后设计提出了基于稠密关键点检测的人体姿态测量框架、联合人员和行为检测识别的深度卷积神经网络框架、联合关节运动和嵌入式运动的实时人体形貌稠密重建框架、适用于GPU并行加速的矩阵数据结构以及深度神经网络的特定压缩加速策略,以上算法框架先后应用于“921”工程天宫二号在轨航天员人体姿态测量项目、群体人员行为检测识别项目、实时多人非刚性稠密重建项目,为各项目提供了精确高效的测量算法框架,并在相应实际工程应用中取得了较好的效果。本文取得的主要成果如下:1.提出了基于稠密关键点检测的人体姿态测量框架。人体姿态测量的关键问题在于求取模型点和图像点之间的对应关系,之后利用明确的模型参数优化技术即可获得人体姿态参数。传统的对应关系求取测量需要较好的初始化姿态,鲁棒性较差,容易出现跟踪错误;现有基于深度学习的关节检测算法速度较慢,难以实时应用,并且只能对特定关节点位置进行检测,难以应对带有拓扑变换的模型变形。在此背景下,本文开展了基于深度卷积神经网络的稠密关键点检测算法,能够实时对图像中多人进行稠密关键点检测,能够应对人体拓扑变形。并自此算法基础上,先后针对在轨航天员人体姿态测量、多人配合局部人体姿态测量、大范围人体姿态测量项目进行了方案设计。其中本文设计的在轨航天员人体姿态测量方案,于2016年11月随天宫二号进行了在轨实验,为我国首次获得了在轨人体姿态测量数据,为我国载人航天工程进行在轨长期驻留提供了重要的基础数据。2.提出了联合人员行为实时检测识别算法框架。群体场景中的人员检测识别和行为检测识别是人机与环境工程中机器理解人员行为意义的基础。传统的人员检测识别算法主要是面向简单场景、单人识别的,难以应对群体性、复杂应用场景;传统的行为检测识别算法主要是针对整个视频、单人行为进行识别的,难以对每一帧图像进行原子行为识别,更难以处理多人应用场景、一人多行为的识别。在此背景下,本文开展了基于端到端的联合人员行为检测识别的神经网络算法框架,能够在检测场景内所有人员的基础上,进行人员识别和行为识别,实现原子行为识别,单人可同时对应多个行为动作。在此基础上,针对K12教育中的学生课堂行为统计分析项目进行了方案设计,并进行了嵌入式前端硬件开发,并在特定教室中进行了实地项目测试。3.提出了实时非刚性人体稠密重建算法。非刚性场景稠密重建是人机与环境工程中机器深入理解人体和场景的必要前提。传统的场景重建算法大多是离线计算的,并且只能针对刚性场景进行重建,在此背景下,本文开展了实时非刚性多人场景重建算法研究,能够对多人非刚性运动场进行实时估计,可以将序列非刚性深度图像进行高精度融合,进而获得高精度的场景重建。4.针对大中小规模的非线性优化问题进行了加速策略设计人机与环境工程中多数问题最终都可以转换为非线性优化问题,现有非线性优化求解策略解算速度相对较慢,难以应对实时应用。在此背景下,本文针对中小规模的非线性优化问题,设计了适用于GPU并行加速求解的稀疏矩阵存储方式,能够有效对非刚性人体稠密运动场估计等问题进行实时求解;其次,本文针对神经网络中的大规模非线性优化问题进行网络压缩加速研究,使得本文涉及的目标检测识别网络参数能够进行大幅压缩,加速网络运算。本文针对人机与环境工程中的人体姿态测量、人员行为检测识别、非刚性人体场景重建,以及其中的非线性优化加速求解算法进行了深入研究,并在此基础上针对航天、医疗、运动、教育、社交等应用进行的相应方案设计,实验以及项目实际充分证明了本文算法框架的有效性以及实用性。