Author Affiliations
Abstract
1 Wuhan National Laboratory for Optoelectronics, Huazhong University of Science and Technology, Wuhan 430074, China
2 Optics Valley Laboratory, Wuhan 430074, China
With the advancement of deep learning and neural networks, the computational demands for applications in wearable devices have grown exponentially. However, wearable devices also have strict requirements for long battery life, low power consumption, and compact size. In this work, we propose a scalable optoelectronic computing system based on an integrated optical convolution acceleration core. This system enables high-precision computation at the speed of light, achieving 7-bit accuracy while maintaining extremely low power consumption. It also demonstrates peak throughput of 3.2 TOPS (tera operations per second) in parallel processing. We have successfully demonstrated image convolution and the typical application of an interactive first-person perspective gesture recognition application based on depth information. The system achieves a comparable recognition accuracy to traditional electronic computation in all blind tests.
optoelectronic compute wearable devices micro-ring resonator hand gesture recognition Opto-Electronic Science
2023, 2(12): 230017
针对当前3D光场手势交互存在识别率低、识别速度慢、深度学习网络需要较多数据样本的问题，本文提出了一种基于小样本手部关键点的多层感知器（Multi-Layer Perceptron，MLP）网络提升3D光场交互准确度方法，识别速度达到毫秒级。在手部关键点采集过程中，从不同位置采集得到的同一种手势关键点三维数据存在显著差异。为了消除差异，本文提出在同一右手笛卡尔坐标系下，通过位移和罗德里格旋转公式对简化后的手势模型进行位姿变换，将同一种手势归一化。一个MLP神经网络被用来从归一化后的手部关键点跳变关系中提取手部特征。实验结果表明，本文提出的方法对3D光场交互中的简单手势识别率为95%以上，对复杂手势的识别率为90%以上。与此同时，该方法在小样本数据集训练下表现出优秀的性能，能够满足精确和快速手势识别的要求。最后，本文展示了一种将所提出的方法成功应用于3D光场交互的场景。
交互 手势分类识别 多层感知器 小样本数据集 interaction gesture recognition MLP small dataset
1 河南工业职业技术学院 电子信息工程学院, 河南 南阳, 473009
2 西安邮电大学 网络空间安全学院, 陕西 西安, 250104
针对当前手势识别算法易受光线变化、复杂场景等干扰, 从而导致手势识别准确性下降的问题, 定义了一种体感控制与深度相机的手势识别算法。所提出的手势识别方法结合了体感控制(Leap Motion)传感器和Kinect深度传感器, 可以有效提高手势识别精度与鲁棒性。通过体感控制传感器提取指尖与手的质心距离、指尖与手掌平面的高度、指尖与手掌中心的角度, 以及指尖在手参照系统中的3D位置; 通过Kinect深度传感器来提取手指样本与手部中心的距离、手部轮廓的局部曲率、手部形状的连通区域以及距离特征之间的相似性; 为了结合两种不同传感器数据的互补信息, 摒弃冗余, 通过采集的指尖3D位置, 找到旋转平移参数, 以最小化所有采集帧中指尖点的平均投影误差来定义一种联合校准方法, 确定体感控制传感器和Kinect深度传感器的外部参数, 完成两种传感器坐标转换; 采用支持向量机(SVM)进行分类学习, 完成手势识别任务。实验表明: 相对于已有的手势识别算法, 所提算法不仅在Jochen.Triesch手势数据库中具有更高的平均识别率, 约为97%, 而且在不同光线、不同肤色和背景的复杂环境下, 其同样具有更高的准确率与稳健性。
手势识别 体感控制 深度相机 联合校准 质心距离 平均投影误差 传感器坐标转换 gesture recognition somatosensory control depth camera joint calibration centroid distance average projection error sensor coordinate conversion SVM SVM
北京理工大学 光电学院，光电成像技术与系统教育部重点实验室，北京 100081
针对传统基于图像分割和特征提取的手势识别算法在复杂背景下识别准确率低、灵活性差的问题，基于目标检测神经网络的手势识别算法可以有效提高复杂环境下手势识别的准确性。受嵌入式处理器体积和功耗的限制，常用的目标检测神经网络在嵌入式上的识别速度较低，不能满足实时手势识别的要求。在SSD目标检测的基础上对其进行优化，使用MobileNetv3网络实现特征提取，目标检测方面则是使用SSD-lite结构，其使用深度可分离卷积替代普通卷积，实现了轻量化MobileNetv3-SSDLite手势识别算法的设计。针对手势识别的要求，制作了包含不同手势的数据集，利用它在服务器上完成了模型的训练。为了满足嵌入式的算力限制，通过模型的量化压缩将float64的网络参数量化为int8，并压缩网络结构，提高网络在嵌入式上的推理速度，实现基于嵌入式的手势识别。实验结果表明，基于嵌入式的MobileNetv3-SSDLite手势识别算法可以达到平均准确率99.61%，且识别速度达到每秒50帧以上，满足实时手势识别的要求。
手势识别 深度神经网络 嵌入式 轻量化 MobileNev3-SSDLite hand gesture recognition deep neuron network embedded system lightweight MobileNetv3-SSDLite 强激光与粒子束
2022, 34(3): 031023
中国人民解放军空军工程大学防空反导学院跟踪制导教研室, 陕西 西安 710051
针对雷达微动手势识别中的回波信噪比低、数据量大、特征可解释性差的问题,提出了一种基于随机森林的超宽带雷达微动手势识别系统。微动手势雷达截面积小,进而导致信噪比低、正向特征模糊等问题。针对这些问题,采用聚类算法提取回波主向量并构建多项式特征,以减少冗余数据,提高手势回波信噪比。对于训练过程中特征图谱可解释性破坏的问题,采用随机森林可视化特征贡献率并以此选择特征应用于模型。实验结果表明,在不同底噪的回波信号下,该算法相比于其他算法具有更好的识别性能,这验证了算法的有效性。
图像处理 动态手势识别 多普勒处理 多项式特征 随机森林 激光与光电子学进展
2021, 58(22): 2207002
1 贵州大学大数据与信息工程学院, 贵州 贵阳 550025
2 贵阳铝镁设计研究院有限公司, 贵州 贵阳 550009
针对传统卷积神经网络(CNN)中仅有对单手手势语义进行识别的算法和深度学习手势识别算法中CNN的收敛性差和识别精度低的问题,提出了一种基于两个分类器的自适应单双手手势识别算法以对单手和双手进行识别。该算法的核心是联合两个分类器进行单双手手势识别。首先,采用手数分类器对手势进行分割分组预测,将手势识别转化成部分手势图像识别;其次,采用自适应增强卷积神经网络(AE-CNN)进行手势识别,利用自适应模块分析出现识别误差的原因和反馈模式;最后,在迭代次数和识别结果的基础上进行参数更新。实验结果表明,手数分类器进行手势预测分组的正确概率为98.82%,AE-CNN的收敛性优于CNN和CNN+Dropout,对单手手势的识别率高达97.87%,对基于LSP数据集自建的9类单手手势和10类双手手势的整体模型识别率为97.10%,对复杂背景和不同光照强度下手势的平均识别率为94.00%,并且具有一定的鲁棒性。
图像处理 特征自适应增强 双分类器 单双手势识别 卷积神经网络 激光与光电子学进展
2021, 58(2): 0210005
江苏商贸职业学院 电商与物流学院, 江苏 南通 226011
针对复杂环境下动态手势识别准确率低的问题, 提出了一种基于长短期记忆网络和卷积神经网络的动态手势识别算法。采用长短期记忆网络学习每个滤波器的权重, 预测人体外形相关的滤波器组; 采用卷积神经网络提取目标手势的轨迹图, 创建彩色的轨迹图像; 将轨迹图像送入注意力卷积神经网络训练, 利用神经网络识别出复杂环境下的手势。实验结果表明, 该算法能够准确地检测与跟踪手势的动态变化, 并且实现了较好的手势识别准确性。
长短期记忆网络 手势识别 卷积神经网络 注意力机制 残差神经网络 long short term memory network gesture recognition convolutional neural network attention mechanism residual neural networks
1 北京师范大学 人工智能学院, 北京 100875
2 Department of Computer Modeling and Multiprocessor Systems, St. Petersburg State University (SPbSU), Saint Petersburg 199034
3 Institute of Informatics, Federal University of Rio Grande do Sul (UFRGS) 15064
肌肉计算机接口(MCI)系统是虚拟现实、人机交互研究的热点之一, 其核心问题是EMG肌电信号分类, 因而MCI系统可以与深度学习方法有效结合。表面EMG信号分为高密度瞬时信号与稀疏多通道信号, 前者类似于图像, 可以采用CNN网络处理; 本文应用RNN网络对后者进行研究, 并利用MYO臂环实现了相应MCI系统。稀疏多通道EMG信号是不定长时间序列信号, 前后时间相关性高, 采用RNN网络进行分类。通过对原始信号进行时域、时频域、频域特征拓展, 获得原始信号的多流特征序列, 并提出两类组合RNN网络架构处理相应多流信号。用户依赖时算法准确率达90.78%, 非用户依赖的人群测试中手势识别准确率达78.01%, 实时动作识别准确率达82.09%, 算法能在61.7毫秒内识别手势动作。本文所提出的组合RNN网络方法可以有效区分基于EMG信号的不同动作, 且所设计的MCI系统用户泛化性与工作实时性表现好。
手势识别 MYO臂环 组合RNN网络 肌肉-计算机接口系统 gesture recognition MYO armband combined RNN nets Muscle-Computer Interface system
交互式全息显示因其独特的真三维(3D)显示能力,能够给用户带来自然、真实的人机交互方式。作为交互式全息显示系统的重要组成部分,手势识别模块影响交互过程是否成功、自然和舒适。在交互式全息显示系统中,手势识别方式主要有基于穿戴设备的识别、基于视觉检测的识别和基于全息3D显示的3D触摸检测。综述了交互式全息显示系统的进展,讨论了3种交互方式的发展情况与优缺点,分析了交互式全息显示系统目前面临的问题和发展前景,为交互式全息显示的进一步研究提供了参考。
图像处理 交互全息 手势识别 视觉检测 3D触摸 激光与光电子学进展
2019, 56(8): 080004
