一种基于CLIP模型的编码-解码开放词汇语义分割方法

本发明公开了一种基于CLIP模型的编码‑解码开放词汇语义分割方法，本方法将传统的语义分割任务重新构建为区域识别问题，通过在冻结的CLIP模型基础上集成一个辅助网络，该网络包含两个主要功能模块：一是掩码预测模块，二是注意力偏置预测模块。所预测的注意力偏置有效地辅助CLIP模型识别掩码对应的类别。此设计显著提升了CLIP模型在掩码类别识别上的性能。此外，该辅助网络能够高效利用CLIP的特征，确保了网络的轻量化特性。整个系统支持端到端训练，进一步促进了辅助网络与CLIP模型的紧密融合和优化。此专利摘要概述了一种高效且实用的语义分割技术，具有广泛的应用潜力。