一种语言模型训练方法、语言模型推理方法及相关装置

本申请提供了一种语言模型训练方法、语言模型推理方法及相关装置，该方法包括：获取目标知识领域的第一知识信息；其中，第一知识信息以第一语言形式描述；将第一知识信息转换为以第二语言形式描述的第二知识信息；其中，第二语言形式的单位内容所承载的信息量大于第一语言形式的单位内容所承载的信息量；根据第二知识信息，构建指示多个词元的知识信息词汇表；将第二知识信息作为训练数据，对第一语言模型进行预训练，确定知识信息词汇表指示的各个词元的嵌入向量。在该方法中，在不牺牲知识信息所含有的信息量的基础上，降低知识信息对应的词元数量，进而在语言模型的预训练阶段中，降低知识信息词汇表的体量，减少语言模型的参数量。