基于IHC与HE双模态图像的HER2状态识别方法及系统

本申请公开了一种基于IHC与HE双模态图像的HER2状态识别方法及系统，涉及医学图像处理、分析技术，包括：对包含IHC和HE的全切片图像WSI进行预处理，并切割WSI为指定的图像块；构建多任务学习框架对切割IHC图像获得的图像块进行分类，以及，确定肿瘤区域内的HER2表达强度；计算各分级对应的图像块在肿瘤区域内的面积占比，以计算IHC HER2评分；将切割HE图像的每个图像块作为Prov‑GigaPath模型的输入，利用ABMIL模型聚合每个图像块的多维特征，作为HE HER2评分；将IHC HER2评分和HE HER2评分，转换为one‑hot编码，利用逻辑回归模型输出HER2判断结果。本申请能够快速输出HER2状态判读结果，辅助病理医生进行诊断，提高诊断效率和准确性。