多模态大模型训练方法、设备及存储介质

本申请公开了一种多模态大模型训练方法，应用于多模态大模型的训练，所述多模态大模型的模型架构中，挂载有多个单模态，通过获取训练样本，并确定所述训练样本的数据类型；自所述多模态大模型的模型架构中确定与所述数据类型对应的单模态，并以所述单模态对所述训练样本进行时序对齐训练，其中，所述单模态基于对应的单模态训练样本进行预训练后，挂载至所述多模态大模型的模型架构。本申请还公开了一种多模态大模型训练设备和存储介质，本申请所应用的多模态大模型的模型架构整合了多个模态信息，实现高效的特征对齐和时间同步，极大了的提高了处理机制的效率从而实现了提高多模态大模型性能的技术效果。