摘要
本发明公开了一种基于CLIP多模态融合网络的黑色素瘤病灶区域分割方法,包括:1、构建MA‑CLIP模型;2、通过手动标注的文本‑图像对微调BLIP语言模型,构建大规模多模态数据集,划分训练集、测试集和验证集,并进行预处理;3、训练MA‑CLIP模型;4、评估MA‑CLIP模型的性能并优化参数;5、将待分割的黑色素瘤临床图像输入训练好的MA‑CLIP模型,输出分割结果。本发明能够解决传统医学数据标注不足的问题,实现临床语义对图像分割的精准引导,并提升复杂形态病灶的识别精度与边界分割能力。
技术关键词
区域分割方法
图像
注意力
融合特征
语义向量
文本编码器
高层语义特征
上采样
网络
空洞
边界特征
sigmoid函数
像素
空间金字塔池化
卷积特征
抑制背景噪声
视觉特征