一种基于多模态感知与情景理解的人机协作方法及系统

本发明涉及一种基于多模态感知与情景理解的人机协作方法及系统，该方法包括：获取人机协同作业相关的多模态数据，通过预设的耦合机制对所述多模态数据进行数据融合，得到多模态融合数据；基于多模态融合数据，利用时空图卷积网络对人机协同作业的作业人员进行行为识别，确定作业人员的行为意图；基于所述行为意图，建立人机交互策略。本发明通过多模态数据的高效耦合，实现了对非结构环境的全面感知；结合作业行为模式及其演化规律的认知与推理，确保了对作业人员行为意图的精准理解；基于行为意图理解的人机自然交互机制，显著提升了人机协作的效率和安全性。