摘要
本发明公开一种通用的视觉语言模型医学影像分割方法,包括步骤:S10,获取医学影像图像数据和临床文本信息数据;S20,通过图像编码器对输入图像进行编码以获取图像特征,通过文本编码器对相应的临床文本信息进行编码以获取文本特征;S30,将文本特征和图像特征同时传递到多模态解码器,多模态解码器包括多个共同注意块CAB,用于逐层融合和解码多模态特征;S40,多模态解码器的数据结果利用分割头得到预测结果。本发明能够有效整合跨模态信息,全面捕获多模态信息,提高了医学影像分割质量,对结合文本信息感染区域自动分割。
技术关键词
医学影像分割方法
多模态特征
文本编码器
图像编码器
解码器
注意力
多模态信息
模块
线性
视觉特征
数据
跨模态
矩阵
系统为您推荐了相关专利信息
高层语义特征
视觉特征
灰度特征
识别方法
特征辨识度
医学图像增强方法
编码模块
残差模块
解码模块
噪声特征
阴影方法
读取原始图像
超分辨率模型
切片
图像分割模型
合成孔径雷达图像
文本编码器
解码模块
图像识别模型
编码模块