基于可组合文本提示框架的开放域图像识别方法

本发明公开一种基于可组合文本提示框架的开放域图像识别方法，包括：步骤1，对图像x进行预处理并token化，采用clip视觉模型获取token化特征Fv；步骤2，初始化任务相关文本提示ptt和视觉相关文本提示pvt；步骤3，pvt利用跨模态注意力机制学习融合视觉后的提示步骤4，ptt和采用自注意力机制融合学习组合提示步骤5，采用clip文本模型获取特征，并计算损失优化提示和提示组合模块，所述方法分别学习视觉相关提示和视觉无关提示，视觉相关提示利用跨模态注意来捕捉视觉信息，视觉无关提示通过自注意力与视觉相关提示相结合，实现相互优化。