自动唇读是一种集计算机视觉、人工智能与自然语言处理于一体的综合技术,可以直接从人讲话时的嘴唇动作图像序列中识别讲话内容,是一种新型的人机交互方式。近年来,随着人工智能技术的快速发展,唇语识别技术也越发的更加成熟起来,其网络模型的识别准确率也有着明显的提高。本文利用公开数据集GRID语料库中的视频数据,在GPU平台上搭建了一个固定结构语句的唇语识别系统,固定结构语句中包括命令、颜色、介词、字母、数字以及副词,例如:“Place blue in m one soon”。所有语句都采用这样的结构,该系统是一个句子层面的唇语识别系统。我们采用一种耦合三维卷积神经网络(3D-CNN)和双向长短期记忆网络(Bi-LSTM)相结合的网络架构对输入的连续75张图片数据进行特征提取,同时,为了不对输入的每一帧图片数据和标签数据进行人工对齐操作,我们采用了CTC损失函数作为唇语识别系统的模型训练损失。采用CTC作为损失函数的唇语识别系统模型训练,是一种完全端到端的唇语识别系统模型训练,不需要预先对数据做对齐,只需要一个连续动作的嘴部图像输入序列和一个标签输出序列即可以训练网络模型。本文使用的网络结构较小,用于学习和训练的数据集也不大,唇语识别的准确率在同类方法中有明显的提升,同时本文实现了唇语识别从单个词和单个数字的识别到一个语句、一句话的识别,为自动唇读技术的产品落地做出了有意义的探索,其成果及应用经验很容易扩展到其他设备和智能家居系统中去。