链接卷积神经网络与视觉表征网络的方法与系统

链接卷积神经网络与视觉表征网络的方法，包括：获取输入图像，通过卷积神经网络对输入图像进行特征提取，得到具有不同尺度的多尺度特征；通过层次化特征学习对多尺度特征进行线性变换、分割、展平和重组，得到多层次特征表示；通过卷积和最大池化操作，从所述多尺度特征中聚合关键关联信息，得到聚合特征，通过卷积操作将所述聚合特征投射到目标维度，得到多尺度标记输出；采用多头自注意力模型识别所述多层次特征表示，生成自注意力特征表示；根据自注意力特征表示和多尺度标记输出进行图像增强，得到图像块注意力表征，将图像块注意力表征作为ViTs视觉表征网络的输入。本设计能有效结合卷积神经网络的特征提取能力与ViTs的视觉表征能力。