基于通用大模型面向操作系统的民族语言大模型构建方法及装置

本申请公开了一种基于通用大模型面向操作系统的民族语言大模型构建方法及装置，适用于部署到操作系统，属于信息技术领域。首先，使用预训练语言模型将输入的低资源民族语言中的单词转换成词嵌入表示，得到词嵌入向量，再将词嵌入向量送入投影层，形成可对齐的嵌入表示向量，在训练语料的词表中，获取嵌入表示向量合适的词嵌入向量并映射到大模型语义空间上完成低资源民族语言到高资源民族语言的映射其次，将完成映射的高资源民族语言和低资源民族语言对应的训练语料输入通用大模型，输出为对应的词嵌入表示。为提高模型民族语言输出能力，将对应的词嵌入表示输入多语言生成层得到最终嵌入表示，通过预训练语言模型根据最终嵌入表示进行迭代更新，实现从高资源民族语言到低资源民族语言的映射。此外，还对整体模型进行指令微调，实现用户的指令并增强大模型的能力和可控性。