摘要
本发明公开了一种基于改进联邦学习的模型训练方法及相关装置,获取初始模型并发送至各参与端;迭代进行更新步骤至预设更新迭代阈值,将当前模型作为训练完成的模型,并发送至各参与端;其中,更新步骤包括:接收各参与端发送的梯度参数,进入全局参数更新过程;其中,梯度参数为参与端根据本地训练数据,结合本地差分隐私保护和知识蒸馏进行梯度计算得到的本地模型的各神经网络层的梯度;全局参数更新过程包括:根据各参与端发送的梯度参数,更新模型的全局参数,并将更新的全局参数发送至各参与端;其中,更新的全局参数用于更新参与端的本地模型的模型参数。本发明旨在解决数据不平衡场景下的模型性能和隐私保护问题,不仅提高了模型的泛化能力,还增强了数据的安全性。
技术关键词
差分隐私保护
模型训练方法
模型训练系统
参数
模型训练装置
服务器
随机梯度下降
蒸馏
传播算法
教师
平衡场景
数据
学生
模块
噪声
系统为您推荐了相关专利信息
建筑现场
建筑材料
信息化管理方法
建筑模型
数据
大语言模型
智能规划方法
文本
废旧零部件
数学模型