一种基于Mamba与CNN的多尺度生成对抗网络的PET与MRI图像融合方法

本发明公开了一种基于Mamba与CNN的多尺度生成对抗网络的PET与MRI图像融合方法，本发明所提方法的主体为三支路的生成器网络结构。该网络利用CNN对输入图像进行多尺度局部特征的提取，利用Mamba进一步提取输入数据的全局特征信息，并将提取到的不同层级的特征信息进行汇总和整合，从而重建生成融合图像。此外，本发明所提方法包括两判别器，并通过判别器与生成器之间的对抗博弈来提升生成器的性能。具体地，将生成器所生成的融合图像输入到两判别器中，由判别器来判定输入的图像是真实图像还是由生成器生成的融合图像。若判别器判断为假数据，则将判断结果返回给生成器以便继续优化训练生成器，以此来提高生成器的性能。实验结果表明，相较于现有融合方法，本发明所提方法得到的融合图像一方面更好地保留了MRI图像的清晰结构信息，另一方面也充分地保留了PET图像的颜色信息。