摘要
本发明涉及金融和医疗领域,公开了联邦模型剪枝方法、装置、计算机设备及存储介质,方法包括向多个客户端分发预训练模型,并设定目标稀疏度和通信总轮次;根据接收到的各客户端上报的算力资源指标分配各客户端的采样层数,并生成采样层集合以下发至对应客户端;基于采样层二进制掩码和对应的稀疏权重执行范数聚合,计算全局中间权重;对全局中间权重进行掩码扩展更新,直至满足目标稀疏度,以得到更新后的采样层权重;将更新后的采样层权重与未采样层的原始权重聚合,生成更新后的全局模型;将全局模型进行更新与迭代,直至达到通信总轮次或模型收敛。本发明大幅度减低了通信开销,避免数据梯度泄露,同时解决了异质资源适配差的问题。
技术关键词
联邦模型
客户端
剪枝方法
预训练模型
计算机设备
资源
指标
剪枝装置
处理器
参数
可读存储介质
存储器
元素
异质
程序
指令
金融
算法
关系
系统为您推荐了相关专利信息
房屋风险评估方法
特征描述符
异常点
计算机设备
风险评估装置
题目图片
信息标记方法
富文本
信息标记装置
多模态
XGBoost模型
评级方法
因子
计算机可读指令
重要性评估方法
关联规则挖掘方法
计算机程序产品
分析系统
表达式
客户管理系统