论文部分内容阅读
计算机、通信技术的高速发展使人类社会发生了前所未有的变化,人机交互(Human Computer Interaction,HCI)从计算机为中心逐步转移到以人为中心。传统的手势识别方法由于穿戴不便,用户隐私等因素,已逐渐被调频连续波雷达(Frequency Modulated Continuous Wave,FMCW)方法取代。本文的研究内容如下:第一,构建基于调频连续波雷达的多维手势参数特征图。首先,通过解析FMCW雷达的中频(Intermediate Frequency,IF)信号,采用快速傅立叶变换(Fast Fourier Transformation,FFT)算法得到手势的距离信息。然后,采用二维快速傅里叶变换(2D Fast Fourier Transform,2D-FFT)算法,解析出手势的多普勒信息。接着,采用多信号分类(Multiple Signal classification,MUSIC)算法解析出手势的角度信息。最后,通过多帧累计得到手势的距离-时间(Range-Time Map,RTM)、多普勒-时间(Doppler-Time Map,DTM)、角度-时间(Angle-Time Map,ATM)特征图。第二,根据参数图中手势特点进行手势数据集的扩充。首先,分别采用对抗生成网络以及多维度-单维度(Mixup Augmentation,MA)方法对手势数据集进行扩充。然后,将所构建的数据集通过模型验证性能,结果表明,采用WN数据集进行手势识别时,准确率达到了94.98%。此外,对抗生成网络模型训练的不稳定性,造成时间成本大,效率低。而采用WMA数据集进行手势识别时,通过从邻域中提取到附加的虚拟样本以扩充对训练分布的支持,在不增加模型复杂度条件下扩充样本量,识别效果达到了96.83%。第三,搭建三维参数特征融合的手势识别模型。首先,结合数据扩充方法构建手势特征的多维参数图。其次,本文提出的一种可以同时有效利用多种手势维度特征融合(Complementary modal feature fusion,CMFF)的网络由Refine Net网络和MMFNet网络组成,该网络可有效融合三维手势特征,获得残差学习互补模态特征的最佳融合,从而,有效的挖掘出RTM、DTM、ATM三种图像所包含的特征信息。简化后的模型CMFF-LW+WMA将时间复杂度和空间复杂度减少了2倍。