基于证据驱动视觉语言模型的医学图像分割方法及系统

本发明公开了一种基于证据驱动视觉语言模型的医学图像分割方法及系统，涉及医学图像分割技术领域。该方法包括步骤：获取待分割的医学原始图像；构建多模态分割模型，利用基于差分矩阵执行偏差方差分解方法计算相似性损失，通过引入不确定性观点将视觉证据嵌入和文本证据嵌入分别表示为视觉观点和文本观点，并计算观点损失，利用视觉文本融合证据与真实掩膜之间的分割差异计算分割损失；利用总体损失对多模态分割模型进行参数优化，利用多模态分割模型对待分割的医学原始图像进行图像分割。本发明将证据学习引入到视觉语言模型，通过聚合证据转化后的图像‑文本观点来估计图像和文本之间的模态间隙，从而实现多模态融合。