结合眼动与视听觉算法的评估与反馈方法及系统

本发明公开了一种结合眼动与视听觉算法的评估与反馈方法及系统，涉及眼动与视听觉技术领域。其中，该结合眼动与视听觉算法的评估与反馈方法，包括：通过佩戴头戴式眼动追踪设备采集人眼图像信息，并结合设备中场景相机获取的场景图像，映射得到场景相机坐标系下的实时人眼凝视位置；利用头戴式眼动追踪设备中的场景相机及设置于环境中的声学采集设备，分别通过视觉/听觉处理算法对采集到的场景图像和声音信号进行分析处理，以对场景内容的识别、检测、分割与定位。本发明，解决目前大多数研究仍局限于单一模态的分析，缺乏对多模态感知信号的联合建模与智能评估机制，难以满足对个体状态进行全景式、实时、智能反馈需求的问题。