一种基于多模态的肿瘤分类模型训练方法

本发明提供了一种基于多模态的肿瘤分类模型训练方法，包括以下步骤：S1、采集肿瘤患者的白光图像和超声图像，并标注类型标签；S2、对S1采集到的白光图像和超声图像进行归一化处理；S3、使用经过归一化处理的超声图像训练分割模型，对超声图像进行裁剪，去除与病变无关的组织图像；S4、分别采集S1采集到的白光图像的特征和S3剪裁后的超声图像的特征；S5、将S4中的白光图像的特征和超声图像的特征进行特征融合，使用融合后的特征训练多模态特征融合神经网络模型，形成肿瘤分类模型。本发明有益效果：对超声和白光图像使用了多模态内镜特征融合模型，实现白光内镜和超声内镜所携带的信息的互补，具有高准确性泛化能力强的优点。