一种基于多模态融合的三维眼球模型重建方法及系统

本发明公开了一种基于多模态融合的三维眼球模型重建方法及系统，所述方法包括以下步骤：S1.特征提取：分别提取原始红外眼图和生成的事件图的特征，进行通道注意力的计算，在空间维度将两种模态的特征进行融合；S2.时序特征融合：空间维度通过全局平均池化进行压缩，取空间多模态融合后的眼睛特征的有序序列和事件图特征的有序序列，输出相应的眼睛参数；S3.三维眼球模型重建：将眼球定义为由其眼球中心Oe和眼球半径为re的球体；将3D眼睛模型的瞳孔和虹膜生成离散点云；S4.少样本弱监督。本发明使得模型能够更好的学习到可变形的眼球模型，能够在少量样本的情况下进行鲁棒性和高精度的视线估计任务。