通信和内存高效的大模型分布式训练方法、文本分类方法

本申请实施例提供了一种通信和内存高效的大模型分布式训练方法、文本分类方法，属于人工智能技术领域。该方法包括：根据模型扰动向量和扰动超参数对原始本地分类模型进行模型扰动，得到第一参考分类模型和第二参考分类模型，通过第一参考分类模型对语言文本进行文本分类，得到第一文本类别，通过第二参考分类模型对语言文本进行文本分类，得到第二文本类别，根据文本类别标签、第一文本类别和第二文本类别计算损失差值，并获取损失差值的原始符号，将原始符号发送给服务器，并接收服务器对原始符号进行聚合得到的目标符号，根据目标符号、模型扰动向量和预设学习率对原始本地分类模型进行更新，得到目标分类模型，能够提高模型训练的效率。