一种基于多模态辅助信息抽取的知识追踪方法和系统

本申请涉及知识追踪技术领域，尤其涉及一种基于多模态辅助信息抽取的知识追踪方法和系统，方法包括获取学习交互数据、包含试题的图文信息的试题数据和各个试题对应的逐步求解过程，进行辅助特征抽取得到辅助信息集合；构建基于辅助信息集合嵌入的知识追踪模型，从学生的学习交互数据得到试题的问题嵌入、涵盖知识概念和学生回答的答题活动嵌入；建立注意力网络模型，基于问题嵌入和答题活动嵌入，确定学生对问题的掌握程度和知识状态；对学习交互数据进行数据增强，利用对比损失约束数据增强前后知识状态的表征一致性，并基于学生当前的知识状态预测接下来的答题表现。通过多模态信息抽取和注意力网络模型，精准评估学生知识状态并预测答题表现。