多模态大模型分布式训练方法、装置、设备和介质

本公开提供了一种多模态大模型分布式训练方法、装置、设备和介质，涉及人工智能和大数据技术领域，尤其涉及计算机视觉、深度学习、大模型等技术领域。具体实现方案为：利用加载有待训练大模型的多个设备，对分别输入多个设备的多个训练数据子集各自的样本数据的令牌序列进行切分，得到多个训练数据子集各自的样本数据的多个令牌子序列，不同训练数据子集包含的样本数据的令牌总数量之间的差值小于预定阈值；基于多个训练数据子集各自的样本数据的多个令牌子序列，训练多个设备上加载的待训练大模型，得到目标多模态大模型；其中，各个设备输入一个训练数据子集。