一种基于企业私有数据的领域自适应大模型微调方法及系统

本发明涉及人工智能技术领域，具体涉及一种基于企业私有数据的领域自适应大模型微调方法及系统，方法包括：各参与客户端利用统一的预训练模型提取本地数据的特征表示，并采用均值、聚类或随机采样方法生成代表本地域类别特征的原型集合；对原型集合添加高斯随机噪声实现差分隐私保护后上传至服务器；服务器汇总所有客户端的原型，构建全局原型训练集，在不对不同客户端的同类原型进行平均的情况下，利用监督学习分类损失对适配器模块进行单次通信轮次的全局训练，得到全局适配器模型并下发客户端；客户端基于全局适配器模型初始化本地模型，并利用少量带标签数据进行微调，同时以全局模型为教师，通过知识蒸馏约束防止灾难性遗忘，实现全局知识保留与本地性能提升的平衡。本发明可以解决现有技术无法有效对齐不同企业的领域特征，导致模型在跨域推理任务中的表现显著下降的问题。