一种基于多模态大模型的视频分析处理系统及方法

本发明属于人工智能技术领域，具体涉及一种基于多模态大模型的视频分析处理系统及方法，所述方法包括：多模态控制大模型接收用户输入的通过自然语言描述所需完成的任务，对用户的输入进行语义分析，提取任务信息，将涉及视频理解的任务分解为子任务发送至视频理解模块；视频理解模块接收任务所需的视频或视频片段，执行子任务对视频进行分析，生成视频内容的嵌入和描述输入多模态控制大模型；多模态控制大模型接收到用户查询请求时，将用户的查询任务解析为可执行的子任务映射到视频理解的任务上，基于视频理解大模型生成的视频内容的嵌入和描述生成基于查询请求的响应结果。从而实现了跨模态信息的有效融合和互相增强，提高了视频理解的精度。