一种视觉多模态的非接触式的手势解锁方法

本发明的一种视觉多模态的非接触式的手势解锁方法，包括以下步骤：S1.多源传感数据的采集；S2.RGB图像数据的预处理；S3.事件流与RGB图像的融合，以手指和手掌的特征为顶点，连线为边，表达出手部空间结构；通过前后连续帧中的相同顶点的连线为边构建时间关联，再将事件流动态映射到图结构中得到多模态融合的特征；S4.多模态联合预测，将多模态融合特征映射到潜在空间的神经网络模型，输出潜在分布的参数μ和σ，并通过重参数化技巧，生成潜在特征Z；潜在特征Z与附加条件通道叠加后，经多层感知机MLP解码，得到最终手部姿态预测。本发明提供了一种适用于光照变化、快速运动等挑战性环境的低延迟、高鲁棒性地实时手势交互、高精度手语识别。