一种基于多模态大语言模型的医学图像视觉问答方法

本发明公开了一种基于多模态大语言模型的医学图像视觉问答方法，涉及人工智能与医学图像技术领域。本发明具备细粒度信息捕捉能力显著增强，通过融合视觉编码器的中层特征(如第16层)与高层特征(如第23层)，有效保留医学图像的边缘、纹理等细节信息，解决了单一高层特征导致的细粒度信息损失问题；视觉表征全面性提升，本发明集成CLIP‑ViT和DinoV2双视觉编码器，分别捕捉图像‑文本一致性特征与图像固有结构特征，互补覆盖多样化语义信息，显著减少单一编码器的视觉偏差；训练稳定性优化，本发明采用渐进式融合策略，分阶段整合双编码器的多层级特征，并通过特征归一化与对齐操作，降低特征分布差异对梯度的影响，确保模型高效稳定收敛。