基于双模态融合的医疗图像生成方法、装置、设备及介质

本发明公开了一种基于双模态融合的医疗图像生成方法、装置、设备及介质，其中的基于双模态融合的医疗图像生成方法通过图像编码器和文本编码器分别提取医学影像的视觉特征与文本描述的语义特征，采用对比学习将两类特征映射至共享语义空间实现跨模态对齐；构建双路编码器对所述医学图像实施多尺度特征提取：第一通路通过卷积神经网络捕获层级语义信息，第二通路通过最大池化保留局部显著特征，逐层融合两路输出构建空间上下文特征；通过多层感知机将跨模态特征投影为空间特征图，与编码特征拼接后输入解码器进行上采样重建；联合优化对比损失与结构相似性损失，实现端到端训练。最终使得生成的医疗图像SSIM指标提升。