一种多模态交互虚拟教学方法、系统、设备及介质

本发明公开了一种多模态交互虚拟教学方法及系统，方法包括获多源数据；提取语音数据声学特征，输入学习模型得到文本三元组；对文本数据提取关键术语，生成可追溯操作链，进行语义分析结合知识图谱输出操作方案；通过目标检测模型对图像数据进行异常状态识别，结合文字识别模型定位异常设备，通过手势识别及空间约束规则进行动作映射，输出相应指令；将三类输出进行融合，生成调度事件链；对调度事件链进行语义分析、评估与优化，与人员进行交互，更新操作建议并提供操作分析结果。本发明多模态数据协同减少人工复核需求，多模态交互规则以及事件链构建可形成电力行业人机交互新数据库与标准，培训效率提升的同时实现数据智能驱动。