文本处理方法、装置、电子设备、存储介质及程序产品

本申请实施例提供了一种文本处理方法、装置、电子设备、存储介质及程序产品，该方法中，获取大语言模型以及目标文本，大语言模型包括多个隐藏层，每个隐藏层包括线性层网络，至少一个隐藏层还包括混合专家模型；基于目标文本，得到各个隐藏层的输入特征；对于包括混合专家模型的每个隐藏层，将该隐藏层的输入特征通过线性层网络进行第一投影处理，得到第一隐藏特征，将该隐藏层的输入特征通过混合专家模型进行第二投影处理，得到第二隐藏特征，将第一隐藏特征和第二隐藏特征进行融合，得到该隐藏层的输出特征；基于大语言模型的最后一个隐藏层的输出特征，得到目标文本的处理结果。其中，混合专家模型的使用能够提高模型的文本处理性能。