摘要
本发明提供了一种多任务实时学生课堂状态检测方法及系统,该方法通过采集学生课堂实时视频图像进行行为检测,输出每位学生的行为结果;对图像中的人脸区域进行检测,实现姿态与表情识别;通过对学生的行为、表情和姿态输出进行匹配与对齐,获得每位学生在各时间点的具体表现;提出基于模糊评价的BPE多模态评估算法,对学生表现进行个体专注度评估并计算课堂整体专注度;结合个人及整体的行为轨迹与专注评分曲线,接入语言模型生成个人课堂反馈、教师教学建议及整体教学评估。本发明通过多模态信息的深度融合,构建了全方位的课堂专注度评估体系,有效提升了学生课堂行为识别的准确性、实时性及泛化能力,解决了现有技术中精度与效率的矛盾。
技术关键词
状态检测方法
学生
头部姿态估计
多任务
面部表情识别
头部姿态识别
评估算法
语义分割模型
时序特征
数据
大语言模型
课堂教学评估
教师
实时视频图像
人脸检测模型