基于先验知识与混合专家模型的抗退化图像融合方法及系统

本发明公开了基于先验知识与混合专家模型的抗退化图像融合方法及系统，包括获取退化场景下的可见光图像、红外图像和，文本信息；构建基于扩散模型的退化去除网络，生成伪标签；结合先验知识和混合专家模型构建退化去除骨干网络，得到去除退化后的可见光图像特征；将多模态特征输入至训练好的融合任务头模块中，输出融合图像；其中多模态特征还与文本信息结合输入至训练好的语义解构分割模块中，得到语义分割结果；基于语义分割结果得到分割损失并结合融合图像损失，优化融合图像。本发明使得融合图像在语义层面更丰富准确，保留更多语义信息，增强后续高级视觉任务的精准度和鲁棒性。