家庭服务机器人对其服务对象行为的理解和感知是机器人人机交互技术亟需解决的核心问题,也是其自主化及智能化水平的重要体现。伴随三维时空建模研究的深入,基于局部时空特征的人体行为识别技术受到了越来越多研究者的关注。人眼感知是一个视觉刺激信息通过多级协作双向传播的过程,仅基于单一的图像特性并不能使机器人具备可靠的人眼识别能力,需要更加深入的优化多种特征的描述机理及融合策略。可见,机器人行为感知技术是建立在三维时空建模与多特征融合策略基础上更为复杂的计算机认知技术,准确的行为感知能力是实现机器人自主任务规划的先决条件。本文面向家庭服务机器人行为感知问题,围绕局部时空特征展开相关研究工作。首先,基于时空兴趣点采样策略,提出了采用自适应变异粒子群优化SVM的行为识别算法。其次,基于图像多尺度密集采样策略,针对轨迹特征在滤除背景噪声干扰、描述人体结构和交互语义信息方面的不足进行了深入探讨,并提出了相应的改进方案。最后,基于人体行为感知技术设计了多机器人服务系统整体框架,并通过实际测试验证了其有效性和可行性。所涉及的主要研究内容如下:(1)为了提高算法对视频序列中人体行为的识别能力,建立了基于局部时空特征的行为识别框架。首先,采用Harris3D检测器获取时空兴趣点(Space Time Interest Points,STIP),以方向梯度直方图和光流方向直方图对STIP进行描述,并引入Fisher向量实现对特征描述子的编码。其次,针对传统参数设定策略下SVM行为分类模型存在的泛化能力不足问题,将粒子群算法应用于各行为分类器参数寻优过程中,通过考虑种群多样性逐代变化的情况,构建粒子聚集度模型,并利用其动态地调节各代粒子的变异概率。最后,在KTH和HMDB51数据集上对所提方法进行验证,结果表明所提自适应变异粒子群算法收敛性能良好且整体识别框架具有较高的实用性和准确性。(2)针对密集轨迹特征中背景轨迹不能被有效滤除的问题,提出了一种基于多尺度混合掩模的前景轨迹(Foreground Trajectories on Multi-scale Hybrid Masks,HM-FTs)提取方法。首先,利用光流计算视频帧的运动边界图像以生成初始掩模。其次,采用中心先验和暗通道先验检测图像前景区域,通过基于元胞自动机的同步更新机制对其进行优化后获得弱显著图。随后,将弱显著图与利用多核增强算法提取的强显著图融合得到运动前景区域,并采用协同优化策略和掩模交叉生成多尺度混合掩模。最后,通过设计有效的补偿方案实现对前景轨迹的优化。在基准数据集上的测试结果表明,所提方法能够提取与运动人体密切相关的前景轨迹,显著改善原始轨迹特征的判别性能。(3)为了解决密集轨迹特征对于人体结构信息描述不足的问题,同时有效利用不同人工选定特征对于特定行为的敏感度差异,提出了一种基于视觉词袋(Bag-of-Visual-Words,BoVW)模型和DS(Dempster-Shafer,DS)证据理论的通用可扩展加权评分级特征融合方法。首先,选择训练集中的部分样本构建验证集。随后,从这些样本中提取局部时空特征和人体姿态特征以获取所需的证据信息。通过DS证据理论和适者生存规则完成证据合成,并计算优化后的不同特征关于特定行为的权重向量。最后,根据加权求和策略推断出当前行为类别标签。实验结果表明,所提加权评分级特征融合方法可以充分利用多种人工选定特征之间的互补性,切实提高算法的行为识别准确率。(4)针对基于BoVW框架的局部时空特征不能有效编码交互语义信息的问题,提出了一种时空语义特征(Spatio-temporal Semantic Feature,ST-SF),并基于信息熵理论将其转换为有助于正确决策的辅助判别依据。首先,通过设计文本相关性分析(Text-based Relevance Analysis,TRA)策略估计与行为密切相关的对象文本标签集合,并利用其训练更具针对性的目标检测器。其次,采用帧间协同性和动态规划算法对虚假检测进行优化以获取有效的目标时空管道,随后应用ST-SF特征对交互语义信息进行编码。最后,基于训练集样本的ST-SF矢量空间分布定义了特征熵概念及决策增益的计算方法,由此构建了一种包含两阶段的行为分类框架。在三个行为数据集上的实验结果显示,所提方法相比于已有算法具有明显的性能改善,并且能够有效地编码交互语义信息,实现真实场景下的鲁棒行为识别。(5)利用单目视觉传感器获取真实室内场景下的行为视频片段,通过将上述行为识别算法应用于实际的服务机器人系统,使其具备鲁棒的自主行为感知及交互任务执行能力。首先,基于传感器网络、传送机器人和智能抓取机器人,构建用于完成交互任务的多机器人协作服务框架。其次,针对轮椅床用户日常需求,创建了包含13种动作类别的日常行为数据集,并基于其训练行为分类器。最后,面向机器人行为感知及人机交互任务构建了多机器人服务系统交互界面,通过设计相关实验证明了所提框架的可行性以及行为识别算法的实用性与准确性。