一种联合自然语言和内镜图像多模态早癌预测系统

本发明属于医学数据处理领域，提供了一种联合自然语言和内镜图像多模态早癌预测系统，包括：数据获取模块，被配置为：获取胃镜样本图像及其对应的诊断文本数据；图像特征提取模块，被配置为：提取胃镜样本图像对应的图像特征向量；文本特征提取模块，被配置为：采用微调后的BERT模型提取每条诊断文本数据特征，将输出的所有包含全局信息的文本特征向量，按照诊断文本的时间顺序依次传入LSTM网络，提取文本特征向量中的时序特征；特征融合模块，被配置为：将图像特征向量和文本特征向量融合后得到双模态融合向量；结果预测模块，被配置为：将双模态融合向量输入至全连接层中分类，预测得到最终的分类结果，能够有效的检测出早癌。