一种注意力损失引导的异常检测多模态大模型训练方法和装置

本申请提供一种注意力损失引导的异常检测多模态大模型训练方法和装置。本申请提供的方法：输入样本图像和异常检测提问文本至异常检测多模态大模型；异常检测多模态大模型基于跨模态注意力机制提取融合特征，基于融合特征预测样本图像的推测标签和推理过程文本；获取与样本图像对应的标识异常区域的掩码参考图像；根据样本图像对应的参考标签和掩码参考图像确定分布特征；根据分布特征计算跨模态注意力机制的注意力损失；以注意力损失作为损失函数，训练异常检测多模态大模型，使训练后的异常检测多模态大模型对应的注意力热图服从分布特征。本申请提供的注意力损失引导的异常检测多模态大模型训练方法和装置，用以提升异常检测的准确性。