基于多模态增强的骨髓细胞识别系统

本发明公开了一种基于多模态增强的骨髓细胞识别系统，包括：细胞图像分割模块，为一种用于对骨髓细胞显微镜图像数据进行分割的改进SAM模型；该模块结合了SAM模型和Adapter块；标签文本改造模块，用于将传统的标签文本转换为粗、细粒度文本特征表示；多模态对齐模块，采用一种改进PMC‑CLIP模型实现对标签文本改造模块输出的粗、细粒度文本特征进行图像‑文本对齐。本发明通过粗粒度+细粒度的文本信息提示，可有效提高细胞个数少的种类以及复杂细胞图像的识别准确率，解决细胞种类不平衡和复杂图像难区分的问题，提高模型的识别准确率。