基于多模态物联感知与虚实共生的实训方法及系统

本发明提供一种基于多模态物联感知与虚实共生的实训方法及系统，涉及虚实共生技术领域，包括通过布置在实训环境中的多个异构物联网设备，采集实训环境的多模态感知数据；根据实训环境中物体的类别和位置信息、语音控制指令和综合环境参数，构建实训环境的三维数字孪生模型；在虚实共生的实训空间中设置实训项目和评价指标，接收实训人员输入的实训项目的选择指令，并根据选择指令加载对应的实训项目，将实训项目的控制指令发送至三维数字孪生模型中的虚拟设备模型和实训环境中与虚拟设备模型映射的物联网设备进行实训，并在实训项目结束后根据评价指标对实训项目的实训过程和实训结果进行评估，生成实训评估报告并反馈至实训管理系统。