摘要
本发明属于智能教育技术领域,具体涉及一种基于多模态数据融合的课堂注意力检测方法及系统。针对现有技术存在的设备成本高、多源数据融合效率低、隐私保护不足等问题,提出以下解决方案:通过传感器采集学生面部、眼动、姿态、语音信号及心率变异性数据;采用时序对齐算法实现多模态数据同步;利用轻量化深度学习模型分别提取视觉注意力特征、声纹匹配特征及生理唤醒特征;构建多模态数据融合网络,结合课堂场景动态调整特征权重;采用混合模型实现注意力异常检测,并通过边缘计算设备输出实时预警。本发明的有益效果在于:在保证检测精度的同时大幅降低硬件成本,并有效保护学生隐私;动态权重分配机制提升不同教学场景的适应性。
技术关键词
多模态数据融合
动态权重分配
骨骼关键点
教师
视觉传感器
音频传感器
视觉特征
深度学习模型
动态时间规整
注意力
教学
数据采集模块
课堂场景
广角摄像头
通道剪枝
学生
语音
网络
系统为您推荐了相关专利信息
子模块
服务系统
心理健康
智能穿戴设备
数据分析模块
测绘方法
地震波传感器
探地雷达
激光雷达点云数据
移动节点
多模态
神经网络模型
电梯控制系统
数据处理模块
特征金字塔匹配
虚拟显示数据
评价设备
教师
教学评价系统
MR设备
双目视觉传感器
热力图
激光雷达
双目立体视觉
运动状态参数