基于视觉语言大模型与提示学习的病理图像细胞分类方法

本发明公开了一种基于视觉语言大模型与提示学习的病理图像细胞分类方法，包括：利用实例感知提示学习模块、提示条件化模块、局部视觉文本匹配模块和图像编解码网络构建细胞分类框架，具体如下：在实例感知提示学习模块中，利用视觉语言大模型分别提取输入图像和文本的特征，以充分挖掘实例特异性信息，获得实例感知文本特征；将上述文本特征输入提示条件化模块以调制图像特征，同时还将其输入局部视觉文本匹配模块，用于加强与图像特征的语义关联；构建网络整体损失函数；使用优化器迭代训练分类网络。本发明解决了现有技术中存在因实例差异大导致的提示不完整以及细胞特征语义歧义的技术问题，从而能提高模型在多数据集的分类性能。