一种基于双层混合专家模型的视频理解方法和装置

本发明提供一种基于双层混合专家模型的视频理解方法和装置，包括：将获取的文本描述进行文本扩增，同时生成可学习的文本提示，将文本扩增得到的扩增文本描述与可学习的文本提示进行编码得到文本特征；将视频分成多个视频序列块，将视频与各视频序列块拼接后输入视频编码器进行编码得到视觉特征；每个视频序列块包含同一位置的完整视频信息以及可学习的视觉提示；利用预训练的大语言模型基于视觉特征和文本特征分别生成视觉标记和文本标记；使用双层混合专家模型学习视觉标记和文本标记得到视频内容表述。本发明通过结合文本描述和视觉特征，以及使用预训练的大语言模型和双层混合专家模型，能够更准确地理解视频内容。