基于稠密地图语义分割的混合现实眼动交互系统及方法

一种基于稠密地图语义分割的混合现实眼动交互系统及方法，涉及人机交互领域，包括集成通信模块、混合现实显示模块、眼动追踪模块和三维环境感知模块的头戴式设备；三维环境感知模块获取周围环境的图像和深度数据并进行三维重建获得稠密地图，将稠密地图分割为不同区块，对区块的语义信息进行标注；眼动追踪模块沿注视方向向稠密地图中发射射线，以该射线与稠密地图的碰撞点位置的实物信息确定注视目标；通信模块根据注视目标和实物信息的标注，与注视目标的实物物体进行通信；眼动追踪模块根据眼球动作和预设操控规则，获得操控指令，并将操控指令发送给注视目标的实物物体。解决现有混合现实场景中无法与实物进行自然眼动交互导致的沉浸感不足的问题。