针对当前手势识别算法易受光线变化、复杂场景等干扰, 从而导致手势识别准确性下降的问题, 定义了一种体感控制与深度相机的手势识别算法。所提出的手势识别方法结合了体感控制(Leap Motion)传感器和Kinect深度传感器, 可以有效提高手势识别精度与鲁棒性。通过体感控制传感器提取指尖与手的质心距离、指尖与手掌平面的高度、指尖与手掌中心的角度, 以及指尖在手参照系统中的3D位置; 通过Kinect深度传感器来提取手指样本与手部中心的距离、手部轮廓的局部曲率、手部形状的连通区域以及距离特征之间的相似性; 为了结合两种不同传感器数据的互补信息, 摒弃冗余, 通过采集的指尖3D位置, 找到旋转平移参数, 以最小化所有采集帧中指尖点的平均投影误差来定义一种联合校准方法, 确定体感控制传感器和Kinect深度传感器的外部参数, 完成两种传感器坐标转换; 采用支持向量机(SVM)进行分类学习, 完成手势识别任务。实验表明: 相对于已有的手势识别算法, 所提算法不仅在Jochen.Triesch手势数据库中具有更高的平均识别率, 约为97%, 而且在不同光线、不同肤色和背景的复杂环境下, 其同样具有更高的准确率与稳健性。

针对雷达微动手势识别中的回波信噪比低、数据量大、特征可解释性差的问题,提出了一种基于随机森林的超宽带雷达微动手势识别系统。微动手势雷达截面积小,进而导致信噪比低、正向特征模糊等问题。针对这些问题,采用聚类算法提取回波主向量并构建多项式特征,以减少冗余数据,提高手势回波信噪比。对于训练过程中特征图谱可解释性破坏的问题,采用随机森林可视化特征贡献率并以此选择特征应用于模型。实验结果表明,在不同底噪的回波信号下,该算法相比于其他算法具有更好的识别性能,这验证了算法的有效性。

针对传统卷积神经网络(CNN)中仅有对单手手势语义进行识别的算法和深度学习手势识别算法中CNN的收敛性差和识别精度低的问题,提出了一种基于两个分类器的自适应单双手手势识别算法以对单手和双手进行识别。该算法的核心是联合两个分类器进行单双手手势识别。首先,采用手数分类器对手势进行分割分组预测,将手势识别转化成部分手势图像识别;其次,采用自适应增强卷积神经网络(AE-CNN)进行手势识别,利用自适应模块分析出现识别误差的原因和反馈模式;最后,在迭代次数和识别结果的基础上进行参数更新。实验结果表明,手数分类器进行手势预测分组的正确概率为98.82%,AE-CNN的收敛性优于CNN和CNN+Dropout,对单手手势的识别率高达97.87%,对基于LSP数据集自建的9类单手手势和10类双手手势的整体模型识别率为97.10%,对复杂背景和不同光照强度下手势的平均识别率为94.00%,并且具有一定的鲁棒性。

针对复杂环境下动态手势识别准确率低的问题, 提出了一种基于长短期记忆网络和卷积神经网络的动态手势识别算法。采用长短期记忆网络学习每个滤波器的权重, 预测人体外形相关的滤波器组; 采用卷积神经网络提取目标手势的轨迹图, 创建彩色的轨迹图像; 将轨迹图像送入注意力卷积神经网络训练, 利用神经网络识别出复杂环境下的手势。实验结果表明, 该算法能够准确地检测与跟踪手势的动态变化, 并且实现了较好的手势识别准确性。

肌肉计算机接口(MCI)系统是虚拟现实、人机交互研究的热点之一, 其核心问题是EMG肌电信号分类, 因而MCI系统可以与深度学习方法有效结合。表面EMG信号分为高密度瞬时信号与稀疏多通道信号, 前者类似于图像, 可以采用CNN网络处理; 本文应用RNN网络对后者进行研究, 并利用MYO臂环实现了相应MCI系统。稀疏多通道EMG信号是不定长时间序列信号, 前后时间相关性高, 采用RNN网络进行分类。通过对原始信号进行时域、时频域、频域特征拓展, 获得原始信号的多流特征序列, 并提出两类组合RNN网络架构处理相应多流信号。用户依赖时算法准确率达90.78%, 非用户依赖的人群测试中手势识别准确率达78.01%, 实时动作识别准确率达82.09%, 算法能在61.7毫秒内识别手势动作。本文所提出的组合RNN网络方法可以有效区分基于EMG信号的不同动作, 且所设计的MCI系统用户泛化性与工作实时性表现好。

交互式全息显示因其独特的真三维(3D)显示能力,能够给用户带来自然、真实的人机交互方式。作为交互式全息显示系统的重要组成部分,手势识别模块影响交互过程是否成功、自然和舒适。在交互式全息显示系统中,手势识别方式主要有基于穿戴设备的识别、基于视觉检测的识别和基于全息3D显示的3D触摸检测。综述了交互式全息显示系统的进展,讨论了3种交互方式的发展情况与优缺点,分析了交互式全息显示系统目前面临的问题和发展前景,为交互式全息显示的进一步研究提供了参考。

针对传统的分类方法由于提取的特征比较单一或者分类器结构过于简单, 导致手语识别率较低的问题, 本文将深度卷积神经网络架构作为分类器与多特征融合算法进行结合, 通过使用纹理特征结合形状特征做到有效识别。首先纹理特征通过LBP、卷积神经网络和灰度共生矩阵方法得到, 其中形状特征向量由Hu氏不变量和傅里叶级数组成。为了避免过拟合现象, 使用“dropout”方法训练深度卷积神经网络。这种基于深度卷积神经网络的多特征融合的手语识别方法, 在“hand”数据库中, 对32种势的识别率为97.73%。相比一般的手语识别方法, 此方法鲁棒性更强, 并且识别率更高。

为实现基于Kinect传感器的实时手势识别,并在保证识别精度的情况下缩短识别时间,提出一种基于卡尔曼滤波的手势图像提取方法,并研究基于该分割方法的三种特征的手势识别模型。通过Kinect获取图像和骨骼信息,基于卡尔曼滤波提取手势区域。为验证分割的高效性,采集10类手势的28000张样本,提取两种局部二值模式特征和一种方向梯度直方图(HOG)特征,用支持向量机(SVM)机器学习方法进行分类识别。实验表明,HOG+SVM的手势识别模型的识别精度可达97.09%,识别帧率为31 frame/s。在基于Kinect的应用中,基于该分割方法和HOG特征提取的SVM识别模型能够满足实时性的要求。