基于指令条件压缩的视频理解方法、系统、设备及介质

本发明公开了一种基于指令条件压缩的视频理解方法、系统、设备及介质，它们是一一对应的方案，方案中：从有条件压缩这一角度出发，引入指令内容作为条件，进行针对性的压缩，即在局部和全局混合的两个层次注入指令，在压缩过程中尽可能保留与指令相关联的视觉信息，允许无关信息损失，实现有条件压缩，压缩时能够很好的兼顾视觉特征的高压缩率与低信息损失，并且能够尽可能多的保留完成指令任务所需要的视觉细节，从而更好的完成视频理解任务，实现了在更高效压缩的同时取得优秀的视频理解能力。