一种细粒度多模态提示引导的视觉关系识别方法及装置

本发明公开了一种细粒度多模态提示引导的视觉关系识别方法及装置，方法包括：对获取到的多组关系权重向量，使用多元高斯分布对其建模，并结合输出的复合图像特征，基于少量训练样本推导关系分类损失并计算语义多样性损失，最小化训练总损失来优化文本提示；取关系平均权重向量，与目标物体对的复合图像特征分别计算相似性、加权融合，经归一化操作得到关系预测概率分布；对最大预测概率的关系谓词进行验证，根据输出的关系类别智能监控系统实时检测大型公共场所异常行为。装置包括：处理器和存储器。本发明准确地调整视觉语言模型到视觉关系检测任务，实现视觉关系的准确检测，从而提高智能监控系统异常行为的检测能力，及时触发警报通知相关人员。