基于眼神交流检测的人机交互

来源 :广东工业大学 | 被引量 : 1次 | 上传用户:lingdujimo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
眼神是人类社会交往中常用的交流方式之一,目前已有大量的研究人员将眼神交流应用于实践中,如视线追踪、驾驶员分心检测、自闭症检测等等。使用计算机识别人类眼神是一个充满挑战且具有较高应用价值的研究,但目前已有的方法仍受较多环境因素的约束,如距离、姿态、光照。因此,本文出了一种基于卷积神经网络的视线回归方法,以实现一个鲁棒的眼神交流检测系统。本文的系统不需要额外的硬件以及人工校准调试,它主要由四个阶段构成:获取人脸图像、数据增广、训练视线回归模型和眼神交流检测。首先,在哥伦比亚注视数据集上训练了两个模型:视线方向回归模型(VHModel)和基于随机森林的二元检测模型。VHModel基于Res Net-50训练而成,首先输入预处理过的眼睛图像,从而训练回归得到表示视线方向的两个关键参数:垂直注视方向V、水平注视方向H。随后,将所得的V和H以及对应的视线交互与否的标签,输入到基于随机森林的二元分类器中,从而学习判断是否有眼神交流。本系统在哥伦比亚测试集取得的MCC值为0.92,这远高于其他对比方法。同时,为了进一步证明本文系统的泛化能力,本文自建了一个正负样本均衡的眼神交流数据集,该数据集包含了约2200张室内生活场景中的人物图像。在采集图像时,其中的个体、背景、姿态均有着不同程度的差异性,如戴眼镜与否、距离改变、头部姿态变化等等,以便更好地评估系统的鲁棒性。本文系统在该自建数据集上的准确率达0.80,F1分数也达到了0.77。最后,结合实际需求,本文成功使机器人接收眼神指令并作出一系列反应,并且实现了一个根据眼神来拍照的触发器。本文的主要贡献如以下三点:首先,出了一种基于卷积神经网络的眼神交流检测方法,且该方法对应系统表现明显优于其他现有方法,对光照、距离和头部姿态等方面表现出了较强的鲁棒性。其次,为了验证系统的泛化能力,本文还自建了一个二分类的眼神交流检测数据集;该数据集在自然的室内环境中采集,可以用于一般的视线相关研究和评估。最后,本文还将系统与实际相结合,实现了眼神指示机器人操作以及一个拍照触发器的应用。
其他文献
在体育教学中最重要的环节就是教学评价体系,体育教学评价方式直接影响体育教学的基本观念和指导,是与学生的发展和专业相关联的,同时也是实现体育教学目标的有效途径。完善
肾素-血管紧张素系统是调控人体血压和电解质平衡的主要体系,该体系的失衡与高血压等心脑血管疾病的发生密切相关。血管紧张素原是肾素-血管紧张素系统的重要组成成分,它与肾
为更新本土犯罪学界对于标签理论的认知,系统梳理了这一重要理论流派的成长历程,特别是自20世纪80年代以来的理论衍生与整合状况。总体而言,标签理论的晚近成长呈现出相互交
在经过改革开放40年的高速发展后,我国社会经济已进入了一个高质量发展的新阶段,人们的生活和消费理念正发生着深刻的变化。随之而来的是市场竞争环境和企业营销策略的变化,
在城市快速扩张的背景下,地方政府通过城投公司构架起金融市场服务于地方发展的桥梁,以促进地方经济增长和社会发展。城投公司旨在以地方信用融资担保,解决财政资金压力,全面推动城市基础设施建设。近年来,随着我国经济增速换挡、结构调整和前期刺激政策消化,城投公司因其可能引发系统性区域性金融风险而备受关注。公司治理成为当前国企改革背景下城投公司转型发展亟待解决的问题,集团公司治理结构决定了集团分配资源的方式,
目的:应用鼠伤寒沙门氏菌回复突变试验检测CTI-18027 (杂质)对鼠伤寒沙门氏菌有无致突变性,以评价该供试品的遗传毒性。方法:以TA1535、TA102、TA100、TA98、TA97a作为试验菌
麦胚是面粉加工的副产物,被誉为“人类天然的营养宝库”。麦胚含有多种生物活性物质,将麦胚进行发酵处理可提高其生理活性。本文从麦胚的营养成分、功能活性、以及麦胚发酵所带来的成分、含量、功能活性方面的变化进行系统综述,并对未来麦胚产品的深度开发利用进行展望。
目的为了获得四黄止痢复方中药提取物(Extract from compound Chinese medicine Sihuangzhili,ECCS)、获悉ECCS抗禽致病性大肠杆菌(Avian pathogenic Escherichia coli,APEC)作用
主题分析能够从文献中选择所有特征以及对重点主题内容进行分析,进而实现对文献的检索。也就是说,分析和把握文献内容是主题分析的核心问题。为了提取主题概念,应选取与语义