大模型分布式分离训练方法和装置

本公开提供了一种大模型分布式分离训练方法和装置，涉及人工智能技术领域，尤其涉及多模态大模型技术领域。该方法的一具体实施方式包括：将大语言模型切分为阶段序列，并在阶段序列中的每个阶段上复制视频编码器；将图像数据输入至阶段序列中的视频编码器，生成图像特征；利用图像特征，对阶段序列中的大语言模型部分进行训练，并在训练过程中将图像特征的梯度传回阶段序列中的视频编码器；利用图像数据，对阶段序列中的视频编码器进行训练。