一种基于大小模型协作的教学实训仿真系统及方法

本发明提出了一种基于大小模型协作的教学实训仿真系统及方法,实时采集实训过程中的实时多模态信息，包括：场景图像信号和音频信号；预先录入多模态场景信息；采用小、大模型协同机制对实时多模态信息、多模态场景信息进行实时语义提取、通用语义提取；基于数据感知模块提取的实时语义信息对用户意图进行意图理解分析，包括智能体接话判断和用户指令判断；综合数据感知模块提取的实时语义信息、通用语义信息，以及意图理解模块分析的意图信息，生成虚拟角色的语音、动作与表情；接收生成模块输出的语音、动作序列与表情参数，进行实时渲染。本发明突破了传统实训模式中的时空与资源限制，扩展了智能体感知能力，降低了问答延迟。