一种具备可解释性的病灶感知眼底图像分类方法及系统

本发明公开了一种具备可解释性的病灶感知眼底图像分类方法及系统，首先利用多病灶标签的Transformer实现病灶感知的特征提取，接着利用图像块Token中的显著局部信息增强病灶TC得到病灶分类结果。然后基于眼底图像基础大模型编码具备医学领域知识的病灶知识嵌入，并基于对比学习的思想引导病灶概念学习。最后设计了一个可解释的分类器，通过将预设的可学习疾病Token作为查询序列，病灶TC作为键和值，计算交叉注意力，将其输出序列的全局平均池化结果作为疾病诊断结果，注意力权重作为指示各病灶对具体疾病诊断结果的贡献度，从而生成对疾病诊断结果的解释。本发明极大提高了人工智能辅助医学诊断的可靠性。