一种基于轻量化SAM的图像实例分割方法及装置

本发明公开一种基于轻量化SAM的图像实例分割方法及装置，涉及图像分割领域，包括改进的轻量化SAM模型和YOLOv8模型；改进的轻量化SAM模型包括轻量化图像编码器、提示编码器和掩码解码器，轻量化图像编码器的知识通过解耦蒸馏方法从原始SAM模型的ViT图像编码器中知识蒸馏得到；该方法包括：在YOLOv8模型对待处理图像进行目标位置和目标类别预测，得到目标位置信息和目标类别信息，将目标位置信息输入到提示编码器中得到目标提示编码；在轻量化图像编码器中对待处理图像进行图像特征提取；在掩码解码器中根据提取出的目标特征和目标提示编码进行解码及预测，得到目标分割掩码。本发明解决了原始SAM模型难以部署在资源受限设备上、SAM模型缺乏标签信息的问题。