一种医学影像多模态科普解释生成方法及系统

本发明公开了一种医学影像多模态科普解释生成方法及系统，属于医学成像技术领域。具体步骤如下：1)使用领域自适应视觉主干网络对医学影像进行视觉编码，使用具有科普语境理解力的语言大模型对原始科普文本进行语言编码；2)通过视觉与语言投影网络将两类特征映射至统一嵌入空间；3)构建文本概念图，并以多头交叉注意力在图像中定位各概念对应区域，生成区域感知特征；4)将上述模块组装为多模态科普解释模型，采用分层解耦对比学习损失函数进行联合训练，实现影像与科普概念的可解释对齐。本发明致力于通过创新的对齐机制、学习范式和知识融合策略，显著提升医学影像科普解释的准确性、易懂性、交互性和可信度。