基于弱监督多模态对比学习的预测模型构建方法及乳腺癌HER2评分预测方法

本发明公开了一种基于弱监督多模态对比学习的预测模型构建方法及乳腺癌HER2评分预测方法，模型构建方法步骤包括：获取具有图像及标签的多模态病理全切片数据集并进行分块预处理；利用特征编码器提取分块图像特征；建立基于弱监督多模态对比学习的网络模型；利用包含弱标签的多模态病理全切片数据集训练网络模型。乳腺癌HER2评分预测方法即利用训练好的模型对病理全切片进行预测。本发明能够通过弱监督多模态对比学习方法来学习和融合不同模态病理全切片相关的病理知识，有效地实现多模态之间的语义互补并提高每个模态的学习能力，完成病理全切片的HER2评分任务并进行可视化解释性分析。