基于多分支视觉表征的多模态大模型的视频理解方法和装置

本申请提供了一种基于多分支视觉表征的多模态大模型的视频理解方法和装置，涉及视觉技术领域，旨在实现通用、泛化并准确的细粒度视频理解。所述方法包括：获取文本提问信息对应的文本特征表征；对待理解视频进行时序信息编码，得到时序特征表征；对所述待理解视频进行细粒度信息提取，得到视觉特征表征，所述视觉特征表征包括：视觉‑文本对齐特征表征和细粒度视觉特征表征；对所述视觉特征表征至少进行空间压缩，得到压缩视觉特征表征；将所述压缩视觉特征表征、所述时序特征表征和所述文本特征表征输入到大语言模型，生成所述文本提问信息对应的视频理解结果。