一种面向课堂教学引导的多模态语义对齐方法

本发明属于跨模态语义对齐技术领域，公开了一种面向课堂教学引导的多模态语义对齐方法。本发明面向教学过程中的多模态数据进行语义建模，通过中介模态传递语义，以跨模态对齐数据语义，本发明利用教学过程中规模大、更易处理的中介模态数据增强其他模态数据语义对齐效果。本发明还构建了数据原型语义空间，能够使不同模态的数据在统一的原型语义空间中描述，多模态数据可以通过原型投影变换和自监督类别标签生成两种方式映射入原型语义空间。本发明方法能够在复杂的课堂环境中实现多模态数据的高效对齐和深度分析，从而帮助教师实时获取课堂动态，优化教学策略，促进教学质量提高和课堂效率的提升。