一种多语言大模型训练方法、装置及相关设备

本发明公开了一种多语言大模型训练方法、装置及相关设备，所述方法包括：获取平行语料数据，并从中得到低资源语种的单语语料数据；将其与平行语料数据同步分别输入共享参数的自编码器和目标多语言大模型，目标多语言大模型包括知识迁移层，该知识迁移层用于增强不同语种中意义相近的语料的注意力；构建三元数据集并输入模型得到三元损失；利用三元损失对模型进行更新。采用本发明可以提高平行语料数据的利用效率，提升模型训练效率及输出质量，并在不影响多语言大模型的能力的基础上提高其对低资源语种的理解能力。