一种基于多模态融合的自适应教学实时反馈方法

本发明公开了一种基于多模态融合的自适应教学实时反馈方法，包括如下步骤：同步采集学生在教学过程中产生的文本模态信息、语音模态信息和图像模态信息，形成多模态原始数据信息并提取历史学生交互行为数据；对多模态原始数据信息进行预处理，分别生成对应的文本、语音和图像序列特征；采用视觉特征编码器与序列特征编码器对各模态序列特征进行编码，获取高维特征；将各模态高维特征输入跨模态融合网络进行深度融合；通过模型无关元学习反馈调控算法优化反馈模型参数，生成个性化反馈策略；根据融合特征生成综合特征表征，并输出个性化教学反馈；并基于反馈行为数据更新交互信息以实现闭环优化。