随着当今社会进入到人口老龄化阶段，迫切需要机器人能为人们的日常生活提供各种服务和帮助。通常，机器人需要借助于地图才能在人们日常生活和工作的室内环境中发挥作用。因此，需要机器人具备探测未知环境和创建地图的能力。除此之外，由机器人传感器构建的普通度量地图无法反映室内环境信息，为此需要创建一种包含室内环境语义信息并能让机器人理解的语义地图。为了实现上述目的，本论文首先对未知的室内环境进行探测与建图，然后提出了一种在三维(3D)环境中基于人机交互方式创建环境语义地图的概念。在室内环境中，借助于两种移动机器人平台对未知环境探测与建图问题开展了研究。此外，借助于可穿戴式运动传感器网络和运动捕捉系统，在人机交互的框架下对3D环境中的语义地图创建的相关技术问题开展研究。主要研究内容如下：首先，利用iRobot移动机器人、Pioneer移动机器人、激光测距仪、4种类型的摄像头、微型计算机以及机器人操作系统ROS搭建了两种多功能移动机器人实验平台。基于iRobot移动机器人搭建的平台主要借助于激光测距仪和4种类型的摄像头，用于实现二维环境建图、未知环境探测和多机器人协作定位等功能。而基于Pioneer移动机器人搭建的平台主要借助于Kinect摄像头、运动捕捉系统和可穿戴式无线运动传感器网络，分别用于3D环境建模和手势识别。将这两种平台组成高低搭配，可以灵活地应用于不同需要的实验任务。此外，为了实现室内环境中的人机交互，本论文设计的一种由方向传感器模块、无线通信模块和电源管理模块组成的可穿戴式无线运动传感器用于识别人的身体活动与手势动作，并提出一种能耗管理算法来延长其使用时间。其次，针对移动机器人在进行同步定位与建图(SLAM)时，由于累积误差而导致的数据关联失败的问题，提出了一种累积误差修正算法来减小误差。并针对机器人探测未知环境中的同步规划定位与建图(SPLAM)问题，本论文基于信息熵原理提出了一种效用函数构建方法来实现机器人对未知环境的建图和自主路径规划。此外，针对多机器人协作定位问题提出了一种数据融合策略，并借助于运动捕捉系统验证了该方法的准确性与有效性。第三，针对基于视觉的同步定位与建图(VSLAM)中存在的由于Kinect摄像头视角范围有限以及移动机器人运动造成的Kinect摄像头姿态和位置的变化，从而引起的多个视角的点云数据在同一个共享帧中无法匹配的问题。本论文提出一种通过将Kinect摄像头自身姿态信息与来自多个视图的数据融合起来，并提出了一种多层迭代最近点算法(MICP)用于3D环境建图。第四，针对传统视觉手势识别方法计算量大的问题，为了降低计算的复杂度，本论文通过另外一种基于可穿戴式无线运动传感器的方式进行手势识别，并提出了一种基于分层隐马尔科夫模型(MHMMs)的连续手势识别的算法。首先，将一种三层前馈神经网络结构用于检测手势信号；其次，利用下层隐马尔科夫模型(LHMMs)对连续手势信号中的单个手势进行识别；最后，一种带有上下文约束条件的贝叶斯滤波器将在上层隐马尔科夫模型(UHMMs)中对手势识别结果进行修正。最后，本论文提出了一种基于人的运动信息与位置信息融合的方法进行3D环境语义地图建模。将本论文设计的三个无线运动传感器分别穿戴在测试者右侧的大腿、腰部和手腕上组成一个人体传感器网络，用于同步的人体活动和手势动作的识别，并借助于运动捕捉系统来获取人的位置信息。接着，利用本论文提出的一种三层动态贝叶斯网络(DBN)对位置、身体活动和手势之间的约束条件进行建模。随后，利用一种贝叶斯滤波器和一种改进的维特比算法来估计人的活动和手势。最后，通过人的活动来确定室内家具类型，并将家具信息加入到3D地图中，从而实现了室内3D语义建图。