摘要
本发明适用于视线估计领域,公开了3D视线目标估计方法及装置,该方法包括:获取原始图像,并提取得到原始特征图、头部姿态向量和眼部特征向量,根据头部姿态向量和眼部特征向量得到3D视线方向向量;基于3D视线方向向量的平面分量构建与原始图像对应的视场图;根据视场图构和原始特征图构建得到场景特征图;基于ViT模型整合场景特征图和3D视线方向向量的深度分量,生成更新后的场景标记和视线标记;将更新后的视线标记输入预训练的二分类模型,以得到分类结果,当分类结果为视线目标在图像内时,根据更新后的场景标记生成热度图,并筛选出热度图中热度值最大的像素点作为估计的视线目标位置,能够提升视线目标估计的精度与可靠性。
技术关键词
场景特征
估计方法
标记
图像
多层感知机
像素点
输入解码器
特征提取网络
眼部检测方法
注意力
抑制算法
人脸检测方法
编码器模块
上采样
定义
数据
对象