摘要
本申请公开了一种基于多模态图像融合的医学影像分析方法及系统,涉及医学图像处理技术领域,所述医学影像分析方法包括:生成训练数据集;训练数据集由像素级对齐并标注的医学影像RGB域图像和RAW域图像对构成;构建目标检测网络;所述目标检测网络包括主干网络和检测头,并在所述主干网络和检测头之间引入双模态特征增强模块实现跨模态特征的深度融合,利用双重增强机制分别在语义和空间维度强化RGB域图像和RAW域图像的特征;利用所述训练数据集对所述目标检测网络进行训练,得到医学影像检测模型;利用所述医学影像检测模型对实时采集的医学影像进行分析,以快速准确地实现所述医学影像中病变区域的检测与分类。
技术关键词
医学影像分析方法
医学影像分析系统
多模态
动态
通道注意力机制
双模态
生成训练数据
网络
检测头
图像处理模块
RGB特征
跨模态
像素
模型训练模块
医学图像处理技术
模态特征
非线性