基于大模型的嵌入模型的训练方法、装置、设备及介质

本申请涉及自然语言处理技术领域，尤其涉及一种基于大模型的嵌入模型的训练方法、装置、设备及介质。将特定领域的样本文本输入到初始嵌入模型的编码器中进行编码，该编码器中包括多个编码子层，在编码器进行编码时，获取编码器中每个编码子层输出的第一特征向量，并根据每个编码子层对应的权重和第一特征向量，确定该样本文本的预测特征向量，由于该预测特征向量是融合不同编码子层的第一特征向量所确定的，因此该预测特征向量是融合了不用层次的语义特征的，提高了编码的准确率，并根据该预测特征向量和样本文本的标准特征向量确定第一损失值，根据该第一损失值训练初始嵌入模型得到的嵌入模型在编码时具备更高的准确率。