一种多模态数据融合采集系统及方法

本发明公开了一种多模态数据融合采集系统及方法，本发明通过Bi‑GRU网络对振动信号的文本信息、频域图像和红外图像数据进行特征提取，将多个模态的数据融合为一个综合特征矩阵。该过程能够从每个模态中提取关键特征，为后续的关系，通过构建邻接矩阵并进行图卷积操作，模型能够有效地捕捉不同模态之间的非欧几里得关系。这种方法打破了传统基于矩阵的操作模式，能够更好地处理模态间的依赖关系，提升了特征融合的质量。而且利用最小二乘加权最小二乘法(WLS)融合和多模态因子分解技术进一步优化了特征融合，提高了系统对噪声和异常数据的鲁棒性。