一种多模态态势感知分析系统及其分析方法

本发明公开一种多模态态势感知分析系统及其分析方法。系统包括刺激呈现模块、数据采集模块、同步采集软件及分析处理模块。刺激呈现模块按特定时序展示含注视屏、线索屏、靶子屏的认知任务刺激；数据采集模块通过定制电极帽与高频脑电记录仪采集脑电数据，高精度眼动追踪单元采集眼动数据，摄像头、麦克风等采集人脸及生理数据；同步采集软件对多模态数据添加时间戳，实现误差不超10ms的精准对齐整合；分析处理模块采用独立成分分析、深度学习等方法处理各模态数据，运用贝叶斯网络、多模态Transformer进行关联分析，挖掘协同关系。分析方法涵盖刺激触发采集、数据整合标记、分模态处理及关联分析等步骤，且关联模型可依历史数据优化。