一种全模态大模型的训练方法、装置、设备及介质

本申请公开了一种全模态大模型的训练方法、装置、设备及介质，涉及模型训练领域，该方法包括：采用经验回放池存储旧任务的样本数据；其中，旧任务为全模态大模型已经学习过的任务，样本数据包括多种模态的数据；当全模态大模型学习新任务时，根据新任务的样本数据及经验回放池中存储的旧任务的样本数据，对全模态大模型进行多轮训练，并在训练过程中根据全模态大模型在旧任务的样本数据上的准确率，动态调整新任务的样本数据与旧任务的样本数据的比例，以得到联合训练后的全模态大模型。本申请解决了全模态大模型的灾难性遗忘问题，提高了全模态大模型的长期记忆能力，确保其在不断学习新任务的过程中保持高性能。