一种基于多模态检索增强生成的站内异常分析方法、系统和可读介质

本发明属于视频分析技术领域，涉及一种基于多模态检索增强生成的站内异常分析方法、系统和可读介质，包括：采集具有异常行为的视频监控图像，并对其进行数据标注；将视频监控图像和数据标注输入多模态大模型，对多模态特征进行提取，一方面进行图像特征提取，提取出关键的视觉特征，另一方面进行文本特征提取，生成文本特征向量；将多模态大模型的输出结果作为上下文信息，输入到检索增加生成模型中，生成特征向量，根据特征向量与知识库中的条目进行对比，输出最相似的若干条条目；根据输出的条目，生成异常分析报告。其实现了对人和物体异常行为的高效识别和分析，提高了异常行为检测的准确性，能够快速、准确地识别复杂场景中的各种异常情况。