基于混合专家的多领域多模态大模型连续学习方法及装置

本申请的实施例提供了一种基于混合专家的多领域多模态大模型连续学习方法及装置。该方法包括：当需对新领域知识进行学习时，冻结当前多模态大模型的现有参数，并在其大语言模型的每个前馈神经网络子层中新增一个稀疏混合专家模块，以用于所述新领域知识的学习；根据新增的所述稀疏混合专家模块中各专家的参数，生成一虚拟专家；在新增的稀疏混合专家模块的训练过程中，针对每一训练指令，利用所述虚拟专家并配合一投影器计算一自回归损失，以根据所述自回归损失确保每个专家都能充分学习全部指令词。本申请实施例的技术方案可以在避免灾难性遗忘的同时提升多领域学习能力的连续学习方法，以支持多模态大模型在动态开放环境下的高效适应与扩展。