基于卷积网络和长短时记忆网络的中国手语词识别方法研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:gaoxianfeng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
手语识别是通过人机交互技术(Human Computer Interaction,HCI)将采集到的手语翻译成文字或者语音,为听障人群提供语言交流上的便利,也为先天性失聪的聋哑患儿,增添了从小接受良好教育的机会。研究手语识别,构建一个完整的可应用系统,能够保障听障人群的学习工作和生活,促进社会和谐发展,具有重要的社会现实意义。除此之外,科技生活也逐渐成为现代人们的一种生活方式,研究基于计算机视觉的手语手势识别作为一种人机交互模式,也可以给现代人的智能生活带来舒适便捷的体验。手语识别作为一种时序性任务,时序性建模的优劣是识别效果好坏的关键因素。随着近年来基于深度学习的方法在计算机视觉领域取得的重大发展和突破,充分展示了卷积神经网络(Convolution Neural Network,CNN)的特征提取能力和递归神经网络(Recurrent Neural Network,RNN)的时序建模能力。因此,本文根据Kinect2.0获取的中国手语样本数据,利用深度神经网络来构建手语识别框架,本文的主要研究内容包括:1.根据中国手语词的可拆分特性及词内的上下文联系,我们细化了手语标签,以中国汉字作为我们识别的词典元素单元,将手语识别视为一种类似视频描述的任务,以特征序列作为输入,以表达序列作为输出,并构建了一个基于CNN和长短时记忆单元(Long Short Term Memory,LSTM)的手语识别框架。通过CNN提取手语图片的空间特征,利用LSTM构建编码解码网络,针对输入的特征,在编码端进行时序特征的提取,并传送到解码端进行词典元素的解码。2.我们使用多模信息融合来进一步提升识别的准确率。我们将Kinect2.0获取的三维骨骼点作为手语样本的轨迹特征,在前述框架的基础之上,提出了三种多模融合方法。分别为基于特征的融合,固定权重的模型融合以及自适应权值的模型融合。实验表明,三种融合方法在识别性能上均得到提升,其中,自适应模型融合方法测试结果达到97.7%。3.一个手语图片序列往往存在一些能够明确表达手语含义的视频帧也存在一些冗余帧,且不同视频帧的特征对不同的解码时刻作用不同。为了更好发挥手语视频中不同帧在不同解码时刻的作用,我们在编码解码网络中引入注意力机制,实现在每个解码时刻对视频帧不同的关注,从而更好地进行解码。实验表明,加入注意力机制的编码解码网络能够有效提升识别效果,识别率达到了 98.2%。
其他文献
复杂环境中真实感虚拟人的运动合成问题是虚拟现实研究领域中的一个难点和重点,该问题的关键在于实现复杂场景中虚拟人对于各类障碍物的动作响应,以及提高人体运动捕捉数据的
合成孔径雷达(Synthetic Aperture Radar, SAR)图像分割是SAR图像分析和应用过程中的关键步骤。SAR图像相干噪声的存在使传统的图像分割方法不再适用于SAR图像,造成图像分割
随着移动通信业务的高速发展,人们对于高速数据通信的需求越来越大。与此同时,随着移动互联网的发展,移动终端和移动数据业务量都呈指数增长。然而无线通信数据业务的高速发
随着移动互联网技术的发展,人们对于通过智能手机来使用即时通信(Instant Messaging, IM)应用的需求越来越强烈。然而,对于广大的2G网络用户而言,其在线语音(Voice over Inte
超宽带(UWB)技术是应用于无线通信领域的一种新技术,它被认为是室内短距离高速率无线通信的最有效方法之一。从2002年UWB技术获得美国联邦通信委员会(FCC)的批准用于民用以来
随着科学技术的不断进步,微波通信技术和光通信技术已经取得了高速发展。采用介于微波与毫米波之间的太赫兹(THz)波进行无线传输,速率可达10Gb/s。因其具有传输容量大、频带
伪随机跳频技术又被称作伪随机频移键控技术,利用伪随机序列的良好“随机性”来控制载频的“无规律”跳变,既保证了优异的抗干扰性能,还会大大提高系统的灵敏度。目前,伪随机
摘要:TD-LTE技术由于其优越的性能,已成为下一代铁路通信技术的主流。而电力机车环境是一个典型的大型复杂电子环境,尤其是弓网离线噪声对整个铁路通信系统产生的威胁。针对噪
Landsat卫星影像广泛应用在资源调查、农业生产、环境监测、生态保护等领域。由于受到天气条件的影响,影像往往存在一些区域被云层覆盖,严重影响了影像的判读。准确地检测出L
随着意外事故、犯罪和恐怖活动的增加,公共安全显得越来越重要。面对这些突发事件,智能视频监控系统能够及时的给出预警信号或报警。与传统的人工监控摄像头相比,智能监控系