基于事件–帧–眼电三源融合的透明HUD交互系统

本发明公开了一种基于事件–帧–眼电三源融合的透明HUD交互系统，包括：事件相机、眼电感知器和帧式摄像头；语音解析模块，用于采集语音指令并提取语音指令中指定界面元素作为语音交互目标，生成语音置信度；三源融合模块，用于将眼动事件流、眼电信号和眼部图像帧进行融合，得到注视向量；预测模块，用于根据最近预设时间段内的注视向量序列，预测下一时刻的注视向量和注视置信度；交互目标确认模块，用于获取视线交互目标，当视线交互目标与语音交互目标一致，且语音置信度和注视置信度的乘积大于或等于预设门控阈值时，确认交互目标；透明显示模块，用于将交互界面投射于车载透明界面上，并对实时交互信息进行显示。本发明识别准确率更高。