一种鲁棒的空间视线映射与具身交互方法、装置及系统

本发明涉及智能座舱人机交互技术领域，具体涉及一种鲁棒的空间视线映射与具身交互方法、装置及系统。所述方法包括：获取乘员数据，包括头戴式眼动仪采集驾驶人的视野图像和视点坐标；处理乘员数据，包括：获取物理环境内的屏幕区域信息，采用改进的YOLOv8实例分割算法获取屏幕区域mask图像以及屏幕区域的原点坐标；使用边缘轮廓检测suzuki算法提取mask图像的边缘轮廓，并送入角点检测模型获取角点坐标列表；根据角点坐标确定屏幕原点，并对角点构成的四边形进行投影变换；交互动作识别与响应，包括：处理视点坐标序列得到交互动作类别并与屏幕内的用户界面进行交互。本技术方案适用于多类型的屏幕，能够实现空间视线在屏幕上的映射，与车载屏幕进行交互。