近年来,智能手表等可穿戴设备的快速发展催生了一系列新型的应用,提高了人们的生活质量,例如在健康领域已经有了运动计步、心率监测和睡眠监测等应用,人们的生活与可穿戴设备越来越密不可分。常见的与可穿戴设备进行交互的方式有两种,一种是通过触摸屏幕进行交互,另一种是通过语音进行交互。基于触摸屏的交互方式存在一些问题,例如触摸屏的尺寸较小,用户不但容易按错还可能会出现视觉疲劳。基于语音的交互方式也存在一些问题,例如使用场景限制、环境噪声干扰和缺乏隐私保护等。为此,本文提出了一种新型可穿戴的设备手势识别方法AirGesture用于实现手势交互,有效解决了触摸屏交互和语音交互的问题,改善了用户与可穿戴设备的交互体验。主要贡献包括如下三个部分:(1)本文提出了一种基于跨模态深度学习的动态手势信号转换方法。通过卷积神经网络将手势动作产生的惯性传感数据(加速度、角速度)转换为手势轨迹数据(目标点的时序位置坐标),实现对动态手势轨迹的跨模态追踪。该方法可以应用于在人机交互过程中需要对手势轨迹进行追踪的场景。(2)针对需要对动态手势进行分类的情况,本文提出了一种基于多模态深度学习的动态手势信号分类方法。在对手势轨迹跨模态追踪的基础上,通过另一个卷积神经网络对原始的惯性传感数据和跨模态追踪得到的手势轨迹数据进行多模态融合,获取手势类别的概率分布向量,然后通过先验知识(训练过程中统计的一个手势被错认为另一个手势的概率)对概率分布向量进行校准,得到准确的手势类别。该方法可以应用于在人机交互过程中将不同手势映射成各种指令的场景。(3)以上两种手势追踪和手势分类方法统称为动态手势识别方法AirGesture。相比于已有方法,AirGesture可直接利用商业可穿戴设备(例如智能手表)而不借助外围设备(例如摄像机)进行动态手势识别,从而实现手势交互。本文基于AirGesture方法实现了一种可穿戴设备的手势输入法AirText,对手写26个英文小写字母时的手指级别的手势轨迹进行了可靠追踪和准确分类,成功验证了AirGesture方法的有效性,并提出了一种动态单词推荐算法,将AirText的单词识别率提高了21.4%。本文通过大量的实验对AirText手势输入法的性能进行了评估,实验中8名志愿者使用5块智能手表在空中一共手写了21,000多个字符。实验结果表明,平均而言,AirText的手势轨迹追踪精度为2.5cm,字符识别错误率为5.8%,单词识别错误率为3.9%,输入速度为8.1个单词/每分钟。与传统基于触摸屏的输入法相比,AirText的字符识别错误率降低了64.9%,能有效改善用户在可穿戴设备上的输入体验。