摘要
本发明公开了一种基于多传感器的手势识别方法、装置、设备、介质及程序产品,该方法包括:基于传感器时间戳将多传感器数据按照时间顺序分解为多个动作帧,基于多个动作帧生成原始序列数据集;对原始序列数据集进行预处理,生成手部动作时间序列,预处理包括基于环境数据对原始序列数据集进行补偿;基于各传感器的贡献度分配各传感器的数据权重,基于数据权重对手部动作时间序列中各时间点的多模态手部动作数据进行特征融合,对融合特征进行时空间编码,将时空编码向量输入至手势识别模型进行手势识别,实现对多模态传感器数据的有效融合,通过结合环境数据进行数据补偿,从而有效地降低环境对传感器的噪声影响,大幅地提升了手势识别精度。
技术关键词
气动传感器
多传感器
触觉传感器
手势识别方法
编码向量
手套本体
手势识别模型
生物传感器
手势识别设备
环境传感器数据
融合特征
手势识别装置
主控模块
序列
文本特征向量
触觉特征