一种多模态数据融合方法、装置、设备及介质

本发明公开了一种多模态数据融合方法、装置、设备及介质，涉及核生化态势分析技术领域，该方法利用GNN模型对结构化探测器数据进行图像化处理，生成输入图像数据，再利用ResNet‑LSTM模型对图像数据进行区域污染物浓度分布预测，ResNet‑LSTM网络利用多层卷积网络和残差模块提取图像数据中的空间分布特征，利用长短时记忆网络（LSTM）和注意力层提取所述二维图像数据中的时间分布特征，并通过偏离率和结构性系数两种损失函数的融合应用，充分发挥了模型对核生化污染物分布态势的时空预测能力。该方法通过深度学习技术，实现了结构化探测数据与图像数据的有效融合，显著提升了核生化检测结果的态势分析能力。