一种基于多模态音视频的学生课堂表现评估方法和系统

本发明公开了一种基于多模态音视频的学生课堂表现评估方法和系统，属于课堂教育技术领域，方法包括获取课堂的音频流和视频流；分离出每个学生的独立音频流，并转化为第一文本信息；针对视频流的每一帧图像，获取板书用具的位置坐标以及板书内容的第二文本信息；同时基于学生眼睛区域的梯度图，估计学生眼睛瞳孔中心点和角膜反光点位置坐标；基于瞳孔中心点和角膜反光点位置坐标估计学生视线光轴方向，并连接瞳孔中心点和板书用具的位置坐标，预测学生视线方向；将预测的学生视线方向和估计的学生视线光轴方向之间的重合度、以及两个文本信息的相关性作为评分指标，对学生的课堂表现进行评分。本发明能够提高对学生课堂表现评估的精准性。