基于虚拟现实与传感技术的多模态交互控制系统及方法

本发明公开了一种基于虚拟现实与传感技术的多模态交互控制系统及方法，所属领域为多模态交互控制领域，包括：通过多模态数据采集模块实时获取用户的眼动、手势、语音和骨骼动作数据，并利用数据融合算法生成用户行为特征向量。怀旧场景生成模块基于用户特征向量，结合70年代物品库与三维重建算法，动态生成个性化沉浸式怀旧场景，如家庭、便利店和街道。动态难度控制模块根据用户表现动态调整任务难度，多模态反馈输出模块提供视觉、听觉和动作反馈，增强用户体验。系统旨在通过怀旧疗法与认知训练改善老年人的记忆力、决策力和身体协调能力，为老年轻度认知障碍患者提供科学、个性化的康复方案。