基于多模态大模型的交互式教学方法、装置、设备及介质

本发明公开了一种基于多模态大模型的交互式教学方法、装置、设备及介质。所述方法应用于基于多模态大模型的交互式教学系统，其包括：将学生的语音输入转换为文字指令；根据文字指令于知识数据库中进行检索获取知识文本，将知识文本与文字指令通过预设大语言模型进行分析与合并，生成知识交互信息；根据知识交互信息改进实验过程确定目标实验方案；当实验进行时通过预设视觉语言模型对实时采集的操作视频进行动作描述，获取动作描述结果；若检测到实验结束，根据动作描述结果与目标实验方案的实施细则通过大语言模型生成实验评价与指导并将其转换为音频进行播放。通过实施本发明的方法可解决实验考评系统难以帮助学生深入理解与掌握知识的问题。