基于虚拟现实的听觉障碍患者康复训练系统

本发明公开了基于虚拟现实的听觉障碍患者康复训练系统，感知融合模块、基础感知重建模块、语言内容整合模块、康复训练模块和虚拟现实辅助模块。本发明属于听觉康复训练技术领域，具体为基于虚拟现实的听觉障碍患者康复训练系统，采用多阶段跨模态注意增强的语音视听表征方法，通过深度学习模型将声音信号转化为可视化光波和触觉振动数据，实现高精度、实时的多模态数据融合；采用结合声纹动态映射的声频生成动态调整方法，进行基础听觉重建，有效地动态生成个性化的声景映射，帮助患者重建对声音的基础感知能力；采用跨模态对比学习方法，进行唇语同步训练辅助，并在康复训练过程中提供人声语境背景提示。