基于图像和多模态数据的肠息肉识别方法

本发明公开了一种基于图像和多模态数据的肠息肉识别方法，包括以下步骤：获取多个显微镜的病理图像、病理图像对应的物镜倍率信息，以及对应肠镜下的文本信息；对获取的每一帧病理图像和文本信息进行数据预处理，得到训练数据集；构建多尺度多模态特征分类网络，使用训练数据集进行训练，获得训练后的多尺度多模态特征融合分类网络；采集患者的显微镜病理图像，获取对应肠镜文本信息，分别进行数据预处理后输入到多尺度多模态特征融合分类网络中，获得模型对疾病的类别预测。本发明充分融合病理图像与肠镜文本信息，最终实现对疾病类型的准确分类预测，提升了肠道疾病多模态诊断的效果和效率，从而提高对病患诊断的精准性。