中文唇语识别是富有挑战性的研究课题之一,其目标是通过观察说话者的嘴唇运动变化从而识别出相应的文本内容。由于中文具有丰富性和歧义性等语言特征,且目前没有公开可用的中文唇语数据集,该课题的研究一直处于发展缓慢阶段。近年来,随着神经网络在计算机视觉领域的广泛应用,基于深度学习的唇语识别研究也取得了长足的发展。本文通过自建中文唇语数据集CCTVDS以及对中文构词特征的分析,提出了端到端的中文唇语模型Lip CH-Net,实现了由嘴唇序列图片到中文句子的自动识别。Lip CH-Net的训练与优化依赖于图形处理器（Graphics Processing Unit,GPU）,对计算能力和存储空间等均有较高的要求,因此暂时停留在理论研究阶段,大规模推广与应用存在困难性。为了实现这一科研成果的转化,彰显唇语模型在智能化大环境下的普适性,可以通过模型压缩算法,使得硬件资源受限的便携式设备能够运载此模型,进而实现该模型在辅助聋哑人交流等方面的实际应用价值。因此,对模型进行有效压缩是实现唇语模型Lip CH-Net普适化应用的前提条件和必要研究。考虑到这一现实问题,本文接着对采用知识蒸馏（Knowledge Distillation,KD）算法通过特征间的学习与拟合以解决模型压缩问题展开了相关探究,并在一定程度上实现了Lip CH-Net的压缩应用。本文按照先研究唇语识别模型理论可行,再研究解决为满足实际应用条件而需要对模型进行压缩这一思路展开,围绕着什么是中文唇语识别、如何搭建唇语模型、以及实现唇语模型压缩的方法进行了逐层探究,并分别获得了相应的研究成果。主要研究内容如下:（1）针对辅助聋哑患者与他人正常交流的问题,提出了中文句子级别的唇语识别模型Lip CH-Net。根据中文的发音规则和构词特征,将中文唇语识别拆分成嘴唇图片到拼音的拼音序列识别和拼音到汉字的汉字序列识别。当这两个子任务分别采用各自的神经网络子模型和优化技巧预训练至收敛后,将它们组合在一起构成端到端的中文唇语识别模型Lip CH-Net,完成图片到汉字序列的训练识别过程。此外,采用半自动化方式自建了包含20495个样本的中文唇语数据集CCTVDS。该工作为以后中文唇语识别相关工作提供了参考基准与数据支持。（2）针对迁移特征单一的问题,提出了基于多特征迁移的离线模型压缩算法MKTN。该算法首先采用互补的目标任务对教师模型进行预训练,使其具有捕捉丰富特征的能力,然后采用互补的对抗损失函数和特征损失函数,指导学生模型分别从图像的空间和像素两个维度拟合来自教师模型的多特征信息,提高对迁移特征的利用率,进而提高学生模型的特征提取能力,使其方便部署的同时也逼近教师模型的表现性能,实现模型压缩的目的。通过在CCTVDS数据集上的验证表明,在生成有效准确率的条件下,MKTN能够一定程度上实现Lip CH-Net的压缩应用,其中压缩率最高可达50%。（3）针对中间层特征相互学习被忽略的问题,提出了基于对抗学习的在线模型压缩算法AMLN。AMLN一方面采用结果驱动算法实现对等模型最终预测分布间的相互拟合,另一方面引入与之互补的过程驱动算法,即采用判别器和对齐容器指导模型中的分块模块分别以对抗学习和像素拟合的方式学习对等网络中相同位置的中间层输出以及最高层的特征分布,提高模型内部特征的利用率以及内部与高层特征之间的交互率,从而加快模型的收敛速度,增强对等模型的鲁棒性与表现性能。对比实验结果表明,在相同压缩率的条件下,AMLN能够进一步优化Lip CH-Net及其简化模型在CCTVDS数据集上的识别准确率。（4）针对决策边界模糊特征被忽略的问题,提出了基于一致性正则化的在线模型压缩算法OKDCR。OKDCR中每个模型均由一个共享的特征提取器和一对任务特定的分类器组成,通过正则化同一模型不同分类器之间以及不同模型相对应分类器之间的输出分布差异来分别度量模型内一致性和模型间一致性,这两类一致性共同用于特征提取器的训练与更新,提高对模糊特征的提取能力;此外,模型内一致性与每个模型的平均输出一起生成最终的集成预测值,指导所有分类器与之进行相互学习,提高对模糊特征的辨别能力。在CCTVDS数据集上的验证表明,OKDCR训练的部分简化模型能够生成与Lip CH-Net相似的识别准确率,为Lip CH-Net嵌入移动便携端以实现普适化应用奠定了理论基础和实验数据支撑。