一种语言模型训练方法、语言模型推理方法及相关装置

本申请提供了一种语言模型训练方法、语言模型推理方法及相关装置，该方法包括：获取至少一个对象属性；针对至少一个对象属性中的每个对象属性，执行以下步骤：构造至少一个决策树；其中，决策树的叶节点衡量该对象属性的属性值；将包括该对象属性以及该对象属性的属性值的文本作为训练数据，对第一语言模型进行预训练，确定至少一个决策树的叶节点对应的嵌入向量。在该方法中，利用决策树表示该对象属性下的不同对象属性值与对应的嵌入向量在语言模型的输入层所在位置之间的关系，同一对象属性值出现在不同对象属性中有不同的嵌入向量，使得嵌入向量更能够表征在特定对象属性中的特定含义。