基于两种特征的课堂学生高投入片段提取方法

本发明涉及一种基于两种特征的课堂学生高投入片段提取方法，属于计算机视觉领域。构建了一个课堂学生高投入片段视频数据集，针对学生在高投入时刻的动作和表情的特点，能够自动提取一段视频中学生的高投入片段的机器学习模型。采用C3D网络提取视频动作特征，并对YOLOv5模型提取的人脸表情框采用预训练的ResNet模型提取人脸表情特征，最后将视觉动作特征和人脸表情特征融合送入高投入片段提取模块，该模块融合了基于锚点和基于边界的方法，计算量少，能够生成边界灵活的高投入片段。首次定义了课堂学生高投入片段提取任务，并基于构建的数据集和模型实现了学生在课堂上的高投入片段的提取，这对于教学评估和学生学习兴趣发现有重要意义。