摘要
本发明公开了一种AI课堂行为协同分析方法及系统,该方法包括:实时采集课堂环境数据;对课堂环境数据进行预处理,分别得到目标学生视频数据、目标学生音频数据、目标学生动作数据和目标学生表情数据;对目标学生视频数据、目标学生音频数据、目标学生动作数据和目标学生表情数据进行特征提取,分别得到表情特征、语音内容特征、动作特征和姿态特征;对表情特征、语音内容特征、动作特征和姿态特征进行综合处理,得到综合特征;对综合特征进行多重识别,并对识别得到的初始识别结果进行后处理,得到目标识别结果;对目标识别结果进行量化评估,生成行为分析报告。本发明能够实时、精准地识别和评估学生的行为,有效提升课堂管理和教学优化水平。
技术关键词
学生
协同分析方法
表情特征
姿态特征
动作特征
注意力机制
语音
音频
多模态注意力
融合特征
全局特征提取
视频数据采集设备
报告
协同分析系统
数据采集模块
长短期记忆网络