一种基于语义提示的红外小目标检测方法

本发明涉及一种基于语义提示的红外小目标检测方法，包括以下步骤：步骤1、通过5层图像编码器提取图像特征，其中每一层都由多CNN‑Transformer融合模块构成。每层编码器在逐步降低图像空间分辨率的同时，会增加2倍的通道数，从而得到低分辨率的隐层表示；步骤2、采用CLIP预训练的Transformer文本编码器，提取相应的文本嵌入，以便为图像特征提供语义指导；步骤3、在步骤1，2得到的图像特征，文本特征基础上，将富含类别语义的文本特征与图像的后两层特征通过两阶段特征融合模块进行融合和交互，从而增强图像特征的语义表达能力；步骤4、使用步骤3中语义增强后的特征，通过解码器实现红外小目标的检测。本发明提出的基于语义提示的红外小目标检测方法，通过预训练的CLIP文本编码器对文本进行编码，从而引入多类别的语义信息，以满足多目标复杂场景的检测需求。