基于视觉和表面肌电信号的关节角度估计方法及装置

本发明公开了一种基于视觉和表面肌电信号的关节角度估计方法及装置，方法包括：捕捉动作视频流；捕捉肌电信号流；根据动作视频流提取初级三通道视觉特征；根据肌电信号流捕捉肌电特征；对初级三通道视觉特征进行超采样，从而获取与肌电特征等长度的二级三通道视觉特征；将所述二级三通道视觉特征和肌电特征输入训练后的LSTM模型中进行预测，所述训练后的LSTM模型用于将内部参数映射到肩、肘、腕三个关节角度；获取所述训练后的LSTM模型的输出作为肩、肘、腕三个关节角度的预测值。本发明研究了多模态感知数据对连续手臂关节角度估计的影响，能够提高基于表面肌肉电信号对关节角度连续估计的精度和稳定性。