一种基于翻译的多模态多语言对齐方法

本发明公开了一种基于翻译的多模态多语言对齐方法，包含：步骤1，基于英文的多模态任务训练的原始数据集构造多语言数据集；步骤2，基于步骤1得到的多语言数据集，通过低秩适应Lora微调技术，由多模态大语言模型进行对齐训练；步骤3，使用原始数据集，通过低秩适应Lora微调技术，对对齐后的多模态大语言模型以损失函数Ltask的最优为优化目标进行增强模型在英文目标任务上的能力的优化训练；步骤4，将图像+非英文问题作为训练好的多模态大语言模型的输入得到对应问题回答。