基于视觉语义提示协作的泛化零样本学习方法

本发明公开了基于视觉语义提示协作的泛化零样本学习方法，借助类语义信息识别可见和不可见类别的图像，其中类属性和文本描述被广泛用于将知识从可见类转移到新颖类；包括步骤一：浅层的弱提示融合；步骤二：深层的强提示融合；步骤三：视觉提示发散损失和语义蒸馏损失优化；该方法设计视觉提示来整合内部视觉信息以进行判别特征学习，并设计一种语义提示来整合外部语义形成以进行视觉语义对齐。针对网络中的不同层次设计了弱提示融合机制和强提示融合机制，通过视觉提示和语义提示的协作，可以获得语义丰富的特征，用于广义零样本图像识别。大量实验表明，该方法框架在传统零样本学习和广义的零样本学习基准中始终取得优异的性能。