摘要
本申请涉及一种基于多模态特征融合及边界增强的病理图像语义分割方法。所述方法包括:首先,获取原始肾病理图像和关联的病理报告文本,并进行预处理;之后,构建多模态分割网络,所述多模态分割网络包括图像编码器、文本编码器、图像‑文本多模态融合与增强模块、共享解码器、分割预测头和辅助边界检测头;之后,采用预处理之后的原始肾病理图像和关联的病理报告文本对所述多模态分割网络进行训练;最后,将待分割的病理图像及关联的病理报告文本输入训练后的多模态分割网络,输出目标语义分割结果。通过将肾病理图像和配套病理报告文本进行有效、深度融合,应用于像素级的语义分割任务,提供更准确、鲁棒和精细的分割结果。
技术关键词
图像语义分割方法
多模态特征融合
文本编码器
图像编码器
报告
图像语义分割装置
神经网络架构
解码器
模块
处理器
计算机设备
可读存储介质
存储器
注意力
分词