动态全景环境信息的多模态交互式感知方法、设备及系统

本发明提供一种动态全景环境信息的多模态交互式感知方法、设备及系统，该方法包括获取环境对象的推荐列表，然后基于推荐列表，通过多模态交互方式向视障用户推荐环境对象。多模态交互包括音频引导和触觉层次反馈，覆盖探索、理解、回忆和社交互动等多个维度。推荐列表由环境推荐模型根据动态全景视频生成，该模型将多个环境对象根据综合兴趣评分进行排序。综合兴趣评分综合考虑了视障用户对美学、新鲜感和需求因素的评分。环境推荐模型利用触觉层次反馈，迭代更新美学、新鲜感和需求因素的关联权重，进而迭代更新综合兴趣评分和推荐列表。本发明能够动态适应用户偏好，提供个性化的环境感知辅助，从而增强视障用户的独立性和生活质量。