一种图像-文本匹配及灰度敏感检测方法、装置及设备

本申请涉及一种图像‑文本匹配及灰度敏感检测方法、装置及设备。所述方法包括：计算图像输入的灰度敏感性差异值进行灰度敏感检测；对文本输入和通过灰度敏感检测的图像输入进行特征提取，在特征对齐阶段部署交叉注意力机制并通过增强多模态表示的多样性设计特征对齐损失函数；通过最大化图像特征和文本特征间的余弦相似度的均值并最小化二阶矩设计分布平衡损失函数；通过计算通过灰度敏感检测的图像输入的所有像素值设计像素保护正则化损失函数后对预训练的CLIP模型进行优化与蒸馏，利用优化后的CLIP模型输出调整后的图像和图像与各文本提示的匹配程度。采用本方法能够提高图像检索精度和图像‑文本匹配精度。