基于多模态知识图谱的在线教学交互方法、介质和设备

本发明公开了一种基于多模态知识图谱的在线教学交互方法、介质和设备，方法首先采集原始教学信息并进行跨模态语义对齐处理，得到结构化教学信息；然后构建包含文本概念实体、视频关键帧特征向量和语音文本转录内容的多模态知识图谱，形成概念‑视觉特征关联边、概念‑语音片段关联边和跨模态相似度关联边；将用户交互行为数据转换为知识图谱查询向量，从多模态知识图谱中提取三维教学情境子图，根据用户操作类型生成渐进式或对比式教学内容；最后通过构建认知状态追踪矩阵动态调整教学策略，并生成个性化的学习导航图谱。本发明解决了虚拟仿真教学中知识碎片化和交互智能化不足的问题，提升了思政教育的教学效果。