基于RGB-D数据点云曲面拟合及瞳孔法向量的视线估计方法

本发明提供了基于RGB‑D数据点云曲面拟合及瞳孔法向量的视线估计方法，涉及计算机视觉技术领域。该方法包括：从面部彩色图像和色度信息中获取眼部RGB‑D图像，并将所有像素点转换为世界坐标，生成点云数据；以NURBS曲面拟合算法拟合点云数据，得到眼部三维曲面模型；求取眼部深度图的梯度，得到深度梯度图；将眼部RGB‑D图像和深度梯度图进行数据增强后输入残差网络，输出预测瞳孔中心位置的坐标；计算预测瞳孔中心位置的法向量，确定该法向量为视线方向。该方法中，深度信息有助于区分不同距离上的物体，可更精确地捕捉眼动信息，配合曲面拟合的方法可降低视线估计的误差。