虚实融合的展览展示交互系统及多模态感知方法

本发明公开了一种虚实融合的展览展示交互系统及多模态感知方法，属于展览展示交互技术领域。系统通过AR/VR设备采集观众眼球注视点、手势动作及环境光数据，经眼球注视点注意力机制、手势时空编码器和多模态融合单元分析兴趣区域坐标，基于阈值触发全息投影讲解与虚拟展台光影动态调整(含光照强度、色彩、高斯模糊等)，并通过联邦学习实现多用户协同交互。方法采用强化学习优化事件驱动阈值，结合环境光自适应映射消除虚实视觉割裂。本发明解决了传统展览参与度低、单模态交互信息不足及多用户协同问题，通过多模态融合提升兴趣分析精准度，动态交互增强个性化体验，适用于博物馆、科技馆等多场景，有效提升展览智能化、沉浸感与群体交互效率。