基于师生行为多模态智能分析的课堂教学综合质量测评方法及系统

本发明公开了基于师生行为多模态智能分析的课堂教学综合质量测评方法及系统，该方法首先获取多视角课堂教学视频，构建多视角教师行为、教师行为音频和学生行为三个数据集。其次构建基于Mamba结构的多视角行为识别网络，通过三个数据集，分别得到教师行为视觉识别模型、教师行为音频识别模型、教师行为多模态融合模型和学生学习状态检测模型。然后实时获取多视角课堂教学视频，基于上述模型，得到教师行为综合识别结果和学生的专注度。最后根据教师行为综合识别结果和学生的专注度，对课堂教学视频量化评估，输出课堂综合质量测评结果。本发明解决单一模态分析片面的问题，实现多视角行为识别精度和运行速度的平衡。