一种手物交互的识别方法、系统和设备

本发明公开的一种手物交互的识别方法、系统和设备，涉及手物交互技术领域，通过构建手势描述数据集；所述手势描述数据集包括若干手势姿态的骨架描述文本；根据传统视觉语言模型，对手部骨架模态、视觉模态和语言模态进行融合，建立初始手物交互识别模型；采用所述手势描述数据集训练所述初始手物交互识别模型，得到手物交互识别模型；将待识别图像输入至所述手物交互识别模型中，得到所述待识别图像中的手物交互动作描述。采用本发明实施例，能够结合待识别图像中的骨架信息、语言和视觉信息，更好地理解手部细节，从而提高手物交互任务的性能。