一种基于病理报告和全切片跨模态表征学习的基因突变预测方法和系统

本发明属于组织病理学全切片图像分析技术领域，涉及一种基于病理报告和全切片跨模态表征学习的基因突变预测方法和系统，包括获取组织病理学全切片图像和相应病理、分子检测报告的数据集并进行预处理并进行编码；对于病理诊断报告和分子检测报告进行分词和特征提取；通过病理报告特征的重构与基于类别细化队列的对比学习来实现跨模态的表征学习；设计损失函数并使用带标签的样本数据集离线训练模型；利用训练好的模型对组织病理学全切片图像进行肺癌基因突变预测。本发明能克服组织病理学全切片图像数据详细标注难以获取以及单模态信息表达能力的不足，使用病理报告与分子检测报告的跨模态信息引导弱监督方法有效完成切片图像级的突变标签分类。