摘要
基于多模态生物数据与行为特征融合的注意力动态评估方法,包括如下步骤:采集用户的多模态生物数据,并且对多模态生物数据进行时间戳校准同步,多模态生物数据包括脑电数据、眼动数据和头部姿态数据;基于脑电数据计算用户的认知负荷程度、基于眼动数据计算认知信息熵以及基于头部姿态数据生成头部运动数据;利用预先训练好的Transformer‑LSTM融合模型对认知负荷程度、认知信息熵和头部运动数据进行融合,生成注意力等级。本发明提供通过采集虚拟教育过程中用户的多模态生物数据对用户的注意力等级进行评估,能够准备掌握用户的注意力状态,进而能够根据用户的注意力等级与虚拟教育的内容进行调整。
技术关键词
动态评估方法
内容生成方法
注意力
虚拟现实场景
眼动数据
信息熵
多模态
生物
负荷
双模态
内容生成系统
卷积神经网络提取
听觉
视觉
界面
运动
元素
时序特征
系统为您推荐了相关专利信息
时空注意力机制
物流配送车辆
智能调度方法
深度强化学习算法
节点
注意力神经网络
空间注意力网络
联合注意力机制
三维重建方法
网络模块