基于长序列图像编码器驱动的多模态视频推理模型训练方法、装置、计算机设备及可读存储介质

本发明公开了一种基于长序列图像编码器驱动的多模态视频推理模型训练方法、装置、计算机设备及可读存储介质，包括：首先基于混合注意力机制与密集型可学习残差连接构建并训练初始图像编码器，获长序列图像编码器；再用其初始化视频编码器，经对比学习得训练完成的视频编码器；最后基于经COT训练的LLM、长序列图像编码器、视频编码器及适配器构建初始视频推理模型，经多阶段训练得目标多模态视频推理模型。该方法提升多模态视频推理模型性能，有效处理长序列图像，提高推理准确性。