一种基于多模态数据处理的VR划船系统及方法

本发明公开了一种基于多模态数据处理的VR划船系统及方法，该系统包括数据处理与分析模块、脑氧监测模块、肌氧监测模块、脑电监测模块、肌电监测模块、划船本体和VR显示模块；采集用户的脑氧信息、肌氧信息、脑电信息和肌电信息；利用数据处理与分析模块，对脑氧信息、肌氧信息、脑电信息和肌电信息进行处理，得到多模态融合信息；利用所述多模态融合信息，对预设的用户状态识别模型进行训练，得到优化用户状态识别模型；利用优化用户状态识别模型，对待处理的多模态融合信息进行处理，得到多模态识别结果；将多模态识别结果发送至在划船本体上进行训练的用户；用户根据多模态识别结果，通过控制手柄调整摇浆阻力和进行VR场景切换。