一种基于多模态大模型的全场景智能分析系统及方法

本申请涉及安防监控系统的技术领域，尤其是涉及一种基于多模态大模型的全场景智能分析系统及方法，其系统包括：特征提取模块用于获取跨模态数据，依据跨模态张量生成时序特征集合，以及依据跨模态图像数据生成空间结构集合；语义融合模块基于跨模态结构对时序特征集合以及空间结构集合进行语义交互，以获取跨模态数据集合；因果生成模块基于时序特征集合以及空间结构集合生成因果关联；基于跨模态数据集合以及因果关联生成因果时序关联；动态预测模块基于因果时序关联动态学习关联机制，以生成动态预测模型。本申请显著提高关键场所的智能化监管能力，进而能够提高对新型违规行为的泛化检测能力，从而覆盖复杂或未知的风险场景。