自闭症是一种表现为社会交流障碍以及感官运动重复的疾病。当前自闭症发病率在全球范围内持续上升,自闭症儿童的数量也在不断增加,有资料表明,其确诊的时间越早,干预治疗的效果就越好。如今,在自闭症儿童的诊断与治疗上不断有专家提出新的思路和见解,以机器学习为代表的信息技术也在不断地融入其中。国内自闭症儿童的治疗以干预为主,但存在缺乏足够的有经验的自闭症指导教师的现状。是故本文以机器学习为主要技术背景,基于实际应用场景构建了一个衡量自闭症学生课堂中情绪表现的系统,希望通过分析自闭症儿童的课堂学习视频,对学生的情绪作出有效评判,借以辅助教师对其课堂表现进行评价和追踪,减轻教师负担。该系统以自闭症教学场景中的个训课堂为主,针对实际教学环节进行建模,并基于其构建了自闭症儿童课堂学习过程中的情感评价指标。自闭症儿童在课堂上给予的反馈主要在于动作和表情,这也是本次研究的重点。所设计的指标包括以动作为主要表现形式的参与度评分和以表情为主要表现形式的表情强度及愉悦度评分,前者以动作响应时间为衡量标准,后者依托于面部表情模型。系统的输入数据为个训课堂学习视频,在进行评分之前首先需要对自闭症儿童的动作和表情进行识别,故项目的核心可分为两部分,第一部分为动作识别和表情识别,第二部分为基于其结果的评价方式。考虑到系统搭建过程中数据的传输和存储问题,同时基于姿态估计的特征点提取框架已经相对成熟,设计了将原始数据转换为特征点的方案。对于存在空间联系的非结构欧式数据,近几年图卷积神经网络的表现较为出色,故选用图卷积神经网络作为后续识别的主要方案。在实验过程当中,以帧序列和关键点坐标构成的矩阵作为输入,确定了时空图卷积网络作为动作识别的主要模型,精确度达到了90%,并在分析了欧氏距离及余弦特征之后设计了动作起始帧的计算方式,通过计算动作响应时间即可获得参与度得分;在表情识别的实验过程当中,发现了随机森林对以图片为单位的特征点序列的分类精确度可达到99%,故确定了随机森林作为表情识别的主要分类器,并在分析了表情强度和愉悦度同表情类别的关系之后设计了其评分方式。