基于参数融合与解耦的大语言模型模态扩展方法及装置

本发明提供一种基于参数融合与解耦的大语言模型模态扩展方法及装置，涉及大语言模型技术领域。该方法包括：通过对预训练语言模型进行微调得到多个多模态大语言模型；对每个多模态大语言模型进行任务向量提取；采用稀疏化策略对原始任务向量进行稀疏，得到稀疏向量，对稀疏向量进行融合，得到融合任务向量；根据融合任务向量构建模型参数；根据融合任务向量对每个多模态大语言模型构造模态专属的二值掩码；根据模型参数以及二值掩码构建融合模型。本发明提出了一种具备无训练融合、模态解耦、性能保留与持续扩展能力的多模态语言模型扩展方法，适用于高效整合多个MLLM、重建原始模型结构、以及应对新任务持续集成等应用场景。