一种基于跨模态特征对齐的细粒度零样本医学图像分类方法

本发明公开了一种基于跨模态特征对齐的细粒度零样本医学图像分类方法，包括：1、对全切片病理图像进行分块处理，提取局部图像块特征；2、跨模态对齐模块，设计局部窗口注意力机制增强图像块间空间交互；3、语义增强模块，基于大语言模型构建病理提示模板生成细粒度类别描述，扩大语义空间中类别间距离；4、通过坐标感知加权融合图像块特征，生成最终的切片级分类预测。本发明通过跨模态图像块对齐模块的多尺度空间交互和基于视觉语言模型的语义细化模块的语义增强，显著提升了细粒度医学图像的分类精度，同时有效解决了现有方法在特征对齐和语义区分上的局限性，为零样本医学图像分类提供了高效解决方案。