摘要
本发明适用于视线估计领域,公开了3D视线目标估计方法及装置,该方法包括:获取原始图像,并提取得到原始特征图、头部姿态向量和眼部特征向量,根据头部姿态向量和眼部特征向量得到3D视线方向向量;基于3D视线方向向量的平面分量构建与原始图像对应的视场图;根据视场图构和原始特征图构建得到场景特征图;基于ViT模型整合场景特征图和3D视线方向向量的深度分量,生成更新后的场景标记和视线标记;将更新后的视线标记输入预训练的二分类模型,以得到分类结果,当分类结果为视线目标在图像内时,根据更新后的场景标记生成热度图,并筛选出热度图中热度值最大的像素点作为估计的视线目标位置,能够提升视线目标估计的精度与可靠性。
技术关键词
场景特征
估计方法
标记
图像
多层感知机
像素点
输入解码器
特征提取网络
眼部检测方法
注意力
抑制算法
人脸检测方法
编码器模块
上采样
定义
数据
对象
系统为您推荐了相关专利信息
肝部CT图像
深度学习模型
信息分析方法
跨模态融合特征
模态特征
甲状腺癌患者
基因表达数据
多模态深度学习
免疫细胞
多任务学习模型
全息投影图像
动态全息
智能生成方法
元素
全息投影设备