一种基于双前缀微调的视觉大语言模型训练方法

本发明涉及自然语言处理技术领域，尤其是涉及一种基于双前缀微调的视觉大语言模型训练方法，包括：针对子能力的数据构造；基于双前缀的子能力适配微调；基于交换前缀的子能力融合推理。本发明通过不同的前缀来学习分离的子能力，并通过前缀交换的推理方式来融合不同的子能力，以获得解决实际视觉任务的新能力；而且，本发明无需视觉指令的合成，通过相对较容易获得的图‑文对与文本数据，学习到较强的子能力。同时，通过对子能力的增强与泛化，这种融合的视觉任务解决能力同样能够容易的增强与泛化，显著的降低了传统视觉训练的难度，并提升了模型解决各类视觉任务的通用能力。