一种基于因果表征的多模态影像融合分析方法及系统

本发明公开了一种基于因果表征的多模态影像融合分析方法及系统，所述方法包括：提取初始特征图，因果解耦模块将初始特征图映射解耦为因果因子和混淆因子；可学习的模态扰动模块在混淆因子上引入自适应扰动机制，保持因果因子不变，通过在模型中引入不同级别的扰动，以使模型有效泛化到未知域；多模态特征融合模块将不同模态的因果因子特征进行拼接得到融合因果因子特征，进行展平后输入到自注意力层进行特征交互，通过分类器进行分类后输出图像的类别。本发明采用因果关系驱动的方法，通过因果解耦模块剔除无关混淆因子，保留关键因果因子，以减少干扰并强化关键特征，同时引入自适应模态扰动模块，增强模型对不同数据分布的适应性和泛化能力。