论文部分内容阅读
0-1岁的婴幼儿由于缺乏语言描述能力,他们只能通过不同的面部表情表达其情绪和身体状况。如果不能正确识别出婴幼儿的不同表情,并及时对婴幼儿通过表情所表达的信息内容进行反馈,便会对婴幼儿的成长发育造成一系列的不良影响。所以准确地识别出婴幼儿的各种表情对于科学育儿具有重要意义,且具有比较广的应用前景。本文基于卷积神经网络进行婴幼儿面部检测及矫正和表情识别,研究工作包含以下三点:(1)建立了婴幼儿图像数据库和婴幼儿表情数据库。合适的数据库是开展婴幼儿面部研究的基础,本文通过视频截取和图片收集方式,构建了包含7532张图片的婴幼儿图像数据库;由于该数据库存在大量背景信息且部分图片存在面部偏转问题,于是通过改进的MTCNN网络处理,得到双眼处于水平状态的婴幼儿竖直面部图片,经过评估操作后,建立了包含5600张平静、高兴、哭泣、睡眠四类表情图片的婴幼儿表情数据库。(2)构建了婴幼儿面部检测器并通过对左右眼睛中心点的精确定位实现了婴幼儿面部矫正。由于婴幼儿图片与成年人图片有很大差异,现有的人脸检测器直接应用在婴幼儿图片上效果并不理想。因此,本文研究了多任务级联卷积神经网络MTCNN,并基于婴幼儿图像数据库构建了婴幼儿面部检测器,通过实验对比,验证了MTCNN网络应用在婴幼儿面部检测上的可行性和鲁棒性。然后针对MTCNN网络应用在婴幼儿面部矫正上的不足,结合婴幼儿面部特点对MTCNN网络进行了改进,通过级联一个新的卷积神经网络实现对左右眼睛中心点的精确定位。通过实验对比表明,改进的MTCNN网络降低了不同状态下左右眼睛中心点的定位误差,提高了定位的精确率,达到准确地矫正婴幼儿面部的效果。(3)构建了BabyNet网络实现了对婴幼儿不同表情的识别。由于建立的婴幼儿表情数据库样本量小,且表情类别少,因此本文在AlexNet和VGGNet网络的结构基础上设计出新的BabyNet网络进行对婴幼儿表情识别的研究。通过实验对比表明,BabyNet网络应用在婴幼儿表情数据库上进行表情识别更为有效。针对BabyNet网络存在的不同表情类别识别率不均衡问题,使用了加权的Softmax交叉熵损失函数进行了优化改进。通过实验表明,使用了加权的Softmax交叉熵损失函数的BabyNet网络达到了不同类别识别率均衡化的效果。最后,构建了一个简单的婴幼儿表情识别系统,该系统能够达到对输入图片中婴幼儿面部的自动检测和表情识别的效果。