在强化学习的背景下,训练效率随状态空间的大小呈指数级衰减,尤其是在具有连续动作空间的机器人控制领域中,高维连续的状态空间和动作空间使得在真实环境下应用强化学习算法训练机器人学习实时控制策略变得困难。为了解决在高维连续搜索空间中数据利用率极低的问题,研究人员们尝试了很多方法,例如通过生成更多的好数据指导智能体学习等。但是如何设计易于优化、能够有效表达领域知识的状态空间表示一直是一个开放性的问题。得益于李群元素对空间中旋转、平移等变换的描述能力及其具备的良好特性,本文提出了一种引入机器人拓扑结构约束的状态空间表示,利用李群元素构建机器人各关节的相对几何模型,将已知且稳定的机器人拓扑信息作为约束引入状态空间,提升在该空间下学习最大化奖励函数的策略分布的效率,并在三个实验场景下验证了本文所提出的状态空间构建方法的有效性。论文的主要研究成果如下:·本文提出了应用特殊欧式群对关节串联的机械臂及其组合构建具有拓扑结构约束的状态空间表示方法。通过实验验证了在该方法构建的状态空间表示下,强化学习算法的训练速率显著提高。此外,本文的方法具有一定的普适性,可以应用于与机器人运动状态相关的各类任务场景下。·本文提出了应用特殊欧式群对具有复杂结构的双足仿人机器人构建含拓扑约束的状态空间表示方法。从对复杂移动机器人建模开始,详细演示了对移动机器人应用本方法的过程。应用监督学习的方法验证了在相同训练数据下,在该状态空间表示下的神经网络的收敛速度更快,证明了引入拓扑结构信息更利于神经网络的优化。·本文利用模型简化测试对状态空间表示模型进行了有效性测试,详细分析各实验结果,并根据分析对该状态空间构建模型进行优化,在保持相同效果的情况下简化了本文提出的状态空间模型。