一种基于强化学习的异常检测多模态大模型训练方法和装置

本申请提供一种基于强化学习的异常检测多模态大模型训练方法和装置。本申请提供的方法：异常检测多模态大模型的编码器基于交叉注意力机制提取综合特征，基于综合特征预测样本图像与检测指令对应的异常标签和推理过程文本；计算推理过程文本的每个最小文本单元的交叉注意力矩阵和每个最小文本单元对应的解码器与检测指令之间的注意力矩阵；计算推理过程文本在样本图像上的综合分布情况；基于综合分布情况和异常标签的内容生成约束综合分布情况分布的奖励函数，基于所述奖励函数训练所述异常检测多模态大模型。本申请提供的基于强化学习的异常检测多模态大模型训练方法和装置，能够降低标注成本，提升异常检测的泛化性和解释性。