一种用于细粒度图像检索的语义一致性增强精细化哈希方法

本发明公开了一种基于深度学习的用于细粒度图像检索的语义一致性增强精细化哈希方法，是一个基于目标检测网络、分类引导特征精细化网络和语义一致性约束网络的识别细粒度图像类别状态的方法；本方法通过对细粒度图像的品位点和按压品位的手部空间位置关系计算出当前的品位状态，因此通过多阶段骨干网络来提取输入图像的中间阶段特征图和最终阶段特征图，然后在通过特征融合机制来分别对中间特征和最终特征进行维度对齐和通道拼接，再通过细粒度图像关键点和手部关键点的空间位置关系来确定当前的品位状态；一个演奏状态由一个品位状态和一个扫弦状态组成，又因为扫弦状态归纳为两种状态的声音，因此可以通过分类引导特征精细化模块来确定当前的特征重要性；通过构建类别专用特征掩码并根据预测概率自适应选择掩码对特征进行精细化处理生成输入视频中细粒度图像的哈希码；基于本框架可以做出用在生成哈希码和辅助图像检索系统，并也可以通过该系统建立一个标准的细粒度图像数据库，用户可以从这数据库中学习自己想要的内容，也可以做出通过比较用户上传的图像的特征表示和标准数据库中的特征表示指出用户的错误的系统，也可以作出辅助整理细粒度图像检索的系统。