摘要
本发明公开了一种基于图神经网络的多模态阅读眼动表征方法,属于智能学习领域,该方法包括以下步骤:获取被试眼动数据,对所述被试眼动数据进行预处理得到预处理眼动数据;将所述预处理眼动数据转化为拓扑结构图;对所述拓扑结构图进行迭代与多维注意力处理得到节点特征和多维边特征;基于图注意力网络的多维建模方法对所述节点特征和所述多维边特征进行交互融合得到最终的阅读眼动表征输出。本发明提出了一种结合了门控神经网络和边特征图注意力网络的多模态眼动表征方法,能够有效融合眼动特征和文本刺激信息,实现对眼动追踪数据的高效表征。
技术关键词
表征方法
眼动数据
节点特征
多维建模方法
眼动特征
注视点
注意力
计算机终端设备
门控神经网络
表达式
处理器
文本
可读存储介质
信道
程序
存储器
系统为您推荐了相关专利信息
时空预测方法
节点特征
快照
多任务
全局特征提取
富水砂卵石地层
水动力学模型
三维地质模型
表征方法
方程
依存句法树
视频检索方法
文本特征向量
视频特征向量
预训练模型
视频剪辑方法
视频剪辑系统
兴趣
注意力
梯度下降法