摘要
本申请涉及信息化教育技术领域,公开了一种教学互动行为识别系统,包括:多模态数据采集模块,用于采集原始数据;融合特征提取模块,其与多模态数据采集模块之间相连接,用于进行数据融合;时空建模模块,其与融合特征提取模块之间相连接,用于进行建模;行为识别模块,其与时空建模模块之间相连接,用于进行分类识别;即时反馈模块,其与行为识别模块之间相连接,用于生成反馈结果。本发明通过加性注意力机制驱动的时序建模策略,能够在多模态融合的行为序列中灵活聚焦关键时刻的行为信号,提升模型对课堂核心事件的敏感度,有效解决了教师主导行为与学生短时响应在特征表达上的信息衰减问题。
技术关键词
识别系统
融合特征提取
多模态数据采集
教学
识别模块
注意力
信息化教育技术
节点
关系建模
数据采集模块
模态特征
教师
学生
语音
图像采集单元
信息熵
惯性传感器
策略
时序