随着深度学习及人工智能的发展,唇语识别技术在计算机视觉及人机交互领域有着深厚的发展前景与应用需求。尤其是在利用自动唇部识别技术来改善听力障碍者和发音障碍者的社交互动方面,更是人工智能在医疗保健和康复中最有前途的应用之一。所谓唇语识别技术就是通过嘴唇视觉图像的动态变化来识别主要人物表达的内容。当前阶段,唇语识别技术主要停留在对算法以及计算机性能的研究上,很少将其真正的运用到实际生活场景中。因此,本研究聚焦研究基于深度学习的唇语识别应用系统,即针对听障人士的语言矫正系统,更加具有实际意义,旨在为未来自动唇读识别技术更加落地化奠定基础。本文主要运用ResNet-50残差网络结构对手势语言进行识别,运用MobileNet轻量级网络与LSTM网络相结合的方式对发音者的唇读时序序列进行识别,并构建唇形相似度匹配系统,以手语识别作为媒介来辅助听障人士学习正确的嘴唇发音序列图像,矫正口型。具体研究内容如下:对视频处理算法的研究:本文提出并设计了一种半随机抽取视频帧策略来提取人脸序列图像。使用Dlib库中的人脸68关键点检测法定位嘴唇区域。然后根据嘴唇各个方向边界的关键点精确定位与分割出感兴趣的嘴唇区域,从而减少后续计算中的冗余信息。基于ResNet-50网络结构的手势图像特征提取的研究:由于手部区域图像较大,细节特征较少,因而本文采用ResNet-50网络结构来提取手语特征,该网络结构良好的应用了计算残差这一方式,减少了常规特征提取方法中所需参数的数量,缩短了应用系统的运行时间。基于MobileNet与LSTM融合的嘴唇视频序列图像特征提取的研究:依赖于CNN在图像特征提取方面的强大能力,以及RNN在处理时序特征时的实用性,本文选取MobileNet网络与LSTM相结合的方式,不仅能有效的提取出嘴唇发音视频图像的序列特征,还能再保证识别准确度的同时,极大程度的降低所需要的参数数目。具有界面功能的唇读识别及矫正应用系统研究:根据听力残障人士的实际应用需求,设计出唇读序列比对系统,结合手语识别结果,给出使用者正确的唇读序列及自身唇读序列之间的差异化数值,并搭建一个可操作的系统界面,以供其进行使用、学习和矫正。