一种基于开放词汇检测昆虫害虫的视觉语言检测方法及设备

本发明涉及一种基于开放词汇检测昆虫害虫的视觉语言检测方法，包括：将待检测图像与待检测图像的文本描述作为输入，提取出视觉特征和文本特征；构建多模态特征融合模块，将视觉特征与文本特征映射到统一的语义空间，生成语言感知的视觉特征与图像感知的文本特征，使用对比学习机制将语言感知的视觉特征与图像感知的文本特征在统一的语义空间中对齐。本发明为有效的现实世界害虫检测而设计，解决了适应性害虫识别系统的关键需求；多模态特征融合模块有效地集成了视觉语言模态，通过增强特征表示显著提高了开放词汇昆虫害虫检测的性能；区域提示在开放词汇场景中展示了卓越的泛化能力，从而能够在不同的环境中更加健壮和灵活的害虫检测。