一种融合多模态数据的抑郁症虚拟现实辅助诊疗方法

本发明提出了一种融合多模态数据的抑郁症虚拟现实辅助诊疗方法，所述方法包括获取多模态数据，多模态数据包括基于表皮电子的柔性传感器监测到的心率、体温和皮肤电等外周生理数据；实时根据患者情绪状态切换至个性化交互式虚拟场景，在交互过程中，眼动追踪仪获得眼球运动数据，了解用户的注意力分布和心理状态，微小面部表情变化。结合外周生理数据、眼动数据、微表情变化的多模态数据，从多模态输入数据中自动提取关键特征，通过具有注意力机制的多模态深度学习方法进行情绪分析识别。本发明能够实时收集和分析数据，通过外周生理数据结合微表情分析客观反映患者情绪状态，个性化的满足患者的需求，提升治疗效果。