视觉语言模型驱动的双分支异常检测方法

本申请提供视觉语言模型驱动的双分支异常检测方法，包括以下步骤：首先，利用两个分支来处理图像，上分支设计了一个多尺度注意力的组合注意力单元CAT，提高图像超分辨率质量的同时，平衡了计算复杂度和性能；下分支使用了包含残差注意力和跳跃连接的注意力网络RAB，通过大量的残差注意力和跳跃连接捕获丰富的全局和局部特征，之后将两个分支处理后的图像特征进行拼接。最后，利用图像‑文本多级对齐模块将处理后的图像特征映射到联合嵌入空间，然后与文本特征进行比较生成异常图；该方法解决了噪声干扰与低分辨率问题对特征表达的显著限制的问题，展现出了具有竞争力的优异性能,显著提升了医学图像异常检测的准确率。