一种基于全局与局部混合表示的零样本图像指代分割方法

本申请公开了一种基于全局与局部混合表示的零样本图像指代分割方法、装置、介质和设备，通过利用SAM生成一系列高质量无标签分割掩码，结合修改后的CLIP的图像编码器对每个分割掩码进行混合全局‑局部特征以理解每个分割掩码的上下文信息，再加入一个空间引导增强模块进行空间关系校正，最后通过相似度打分来实现指代分割，实现了SAM和CLIP在指代分割任务中全部潜力的释放，并且能够具有空间关系理解的能力。