基于多模态的教学行为数据分类方法、装置、设备及介质

本发明公开了一种基于多模态的教学行为数据分类方法、装置、设备及介质，涉及教学行为分析领域，包括：采集视频和语音信息并进行预处理；对语音数据动态切割，识别讲解陈述行为；对对视频数据进行动作分析，识别展示行为和指导行为；通过识别疑惑表情特征和手势指向学生动作并检测疑问语音语调识别提问行为；利用知识图谱进行跨模态注意力权重分配并融合形成多模态融合特征；利用知识蒸馏迁移至边缘设备并输出教学行为分类结果。通过动态分割能避免分割相同或相近语义的语音片段；联合视频信息和语音信息进行提问行为识别提升了教学行为识别精确度；利用知识图谱根据教学环节提升不同数据来源的权重；通过知识蒸馏使得边缘设备也能满足算力需求。