摘要
一种优化虚拟人教学的学生状态可视化分析系统,包括前端感知层、多模态特征提取模块、时序分析层和教学决策可视化层;所述的前端感知层实时采集学生的面部表情及眼动数据,并采用参数优化的SSD目标检测算法实时定位学生面部区域;所述的多模态特征提取模块通过多模态融合方法,基于RepVGG模型提取7类表情及4类眼动特征,构建11维时序数据流;所述的时序分析层基于LSTM网络模型动态建模认知状态,通过持续性行为规则,输出认知状态;所述的教学决策可视化层生成交互式仪表板,以热力图和趋势曲线实现认知状态与课程时间轴的精准映射,自动标注高疑惑区段。本发明突破单一模态局限,提升反馈效率,适用于虚拟人异步教学场景。
技术关键词
可视化分析系统
学生
多模态融合方法
注视点
特征提取模块
时序
眼动特征
仪表板
面部
采样率
动态
算法
课件内容
算术平均值
决策
教学场景
速度
坐标
系统为您推荐了相关专利信息
分类检测方法
数据标签
模态特征
模型训练方法
原型
缺陷预测方法
BP神经网络模型
钢铁
灰度特征
图像处理
物资回收系统
仓储物流设备
特征提取模块
变压器上盖
图像