基于多模态物联感知与虚实共生的实训方法及系统

本发明提供基于多模态物联感知与虚实共生的实训方法及系统，涉及物联网技术领域，包括获取实训场景中的物联网多模态传感器数据；基于深度学习算法确定物体特征，语音指令特征，振动特征；将所述物体特征、所述语音指令特征以及所述振动特征通过本体知识图谱和图神经网络模型进行语义关联，确定关联规则并进行特征融合，得到多模态融合特征；基于所述多模态融合特征，通过三维建模构建实训场景对应的虚拟数字孪生模型，通过物联网中间件实现虚拟数字孪生模型与实训场景的双向数据交互和状态映射；根据预设的实训任务难度等级，自适应生成实训指导方案，动态优化所述虚拟数字孪生模型中的各要素权重，生成与目标对象匹配的实训指导信息。