一种基于多模态大模型的视频理解方法、设备及介质

本申请公开了一种基于多模态大模型的视频理解方法、设备及介质，方法包括：通过动态Alpha混合技术，将预先确定好的第一帧对应的视觉提示信息与视频帧序列进行逐帧融合；从融合后的视频帧序列中提取多帧特征，并整合多帧特征生成对应的时空视觉表示；针对视频帧序列中的每一个当前帧，将当前帧对应前一帧的视觉提示信息与当前帧的视觉特征进行融合，生成视频帧序列中第一帧之后所有帧的视觉提示信息；根据动态Alpha混合系数，对视频帧序列中每两个相邻帧的视觉提示信息进行平滑过渡，以通过自回归语言模型，并结合文本指令与时空视觉表示，生成对应的视频理解结果。