一种基于城市多模态大模型的视频事件分析方法及系统

本发明提供了一种基于城市多模态大模型的视频事件分析方法及系统，涉及智慧城市相关技术领域，包括以下：S1、获取待进行事件分析的原始输入视频和对应的指令文本；S2、依次提取原始输入视频中的每帧图像，根据帧图像之间的相似度对其进行筛选处理，得到多帧静态图像；S3、根据帧位置信息之间的连续性依次在对应的帧静态图像之间填充空白帧，并拼接形成视觉嵌入特征；S4、对指令文本进行处理得到指令文本嵌入特征；S5、将视觉嵌入特征和对应的指令文本嵌入特征进行统一位置编码，得到统一位置编码的嵌入特征；S6、将统一位置编码的嵌入特征输入到城市多模态大模型中的大语言模型中，得到事件分析结果的响应预测文本。