一种基于改进Mask RCNN的课堂师生视频分类方法及系统

本发明公开一种基于改进Mask RCNN的课堂师生视频分类方法及系统，涉及师生行为分类技术领域。所述方法包括：采集课堂师生交互的场景影像，并对场景影像进行语义标注，将各课堂动作及对应的语义标注信息确定为基准数据集；构建预训练网络；利用基准数据集对预训练网络进行迭代优化训练，并将训练好的预训练网络确定为最终的课堂师生视频分类模型；其中，课堂师生视频分类模型包括互相连接的Mask RCNN网络和Swin Transformer网络；利用课堂师生视频分类模型对待检测影像数据进行检测，得到待检测影像数据对应的课堂动作识别分类结果。本发明能够结合学生与教师的行为动作进行分类评估，并提高分类评估准确性。