一种融合学习者历史的多模态问答方法及设备

本发明提供一种融合学习者历史的多模态问答方法及设备，涉及多模态问答技术领域，包括：通过ResNet模型对知识视觉数据进行嵌入操作，获得知识特征表示；通过BERT模型对问题文本进行嵌入操作，获得问题特征表示；将知识特征表示和问题特征表示进行基于时间跨度的融合，获得时间融合知识特征；将历史特征和时间融合知识特征进行融合，获得融合特征表示；通过问题特征表示和融合特征表示计算获得各候选答案的预测概率，将预测概率最高的候选答案作为问题文本的最终答案。本发明依据学习者的学习记录数据、历史成绩数据和知识视觉数据精准定位其知识短板与兴趣偏好，提高问题回答的精准度。