一种基于改进CLIP模型的肠道息肉分类方法

本发明属于医疗图像处理技术领域，公开了一种基于改进CLIP模型的肠道息肉分类方法。包括采集数据集并对采集图像进行筛选裁剪；在Vision Transformer块中添加SE注意力机制，学习息肉图像特征；将专业医生标注的病理描述文本引入至Adpater‑BERT中，学习病理文字特征；采用自适应权重将两种特征进行融合，最后进行分类。通过该优化策略，改进后的CLIP模型能够在保持较低计算开销的同时，提高腺瘤性息肉和增生性息肉分类的准确性。