一种基于多图谱结构信息与语义描述的脊柱图像分割方法

本发明公开了一种基于多图谱结构信息与语义描述的脊柱图像分割方法，使用SAM2预训练权重的Hiera提取输入图像特征，将其作为图像编码器；使用文本生成模块从多图谱生成解剖学描述文本，并使用CLIP预训练的文本编码器提取语义特征，将这两部分作为语义编码器；使用一个卷积层外加同样的Hiera提取多图谱形态学结构特征，将其作为图谱编码器；在以上三个编码器中使用LoRA进行微调，使预训练权重更适应脊柱图像分割任务；最后在掩码解码器中融合以上三种特征，生成最终分割结果。本发明通过使用语义解剖学特征和多图谱形态学特征作为提示来自动化生成分割结果，解决了脊柱水平面图像分割时类别预测错误的问题，极大提高了分割精确度。