摘要
本发明涉及人工智能技术领域,可应用于金融科技及医疗健康等业务场景中,公开了一种基于分段稀疏编码的联邦训练方法、装置、设备及介质,包括:客户端获取低秩自适应参数并划分参数分段,每轮训练确定参数分段标识,结合历史残差执行稀疏处理,生成残差和稀疏分段,编码上传服务器;服务器对同标识的分段按样本量加权聚合并下发;客户端融合全局与本地分段,更新低秩自适应参数并存储残差,完成训练;完成预设轮次后,将更新参数与预训练模型集成形成微调模型,处理任务输入数据生成结果。本发明通过分段稀疏压缩和加权聚合降低通信负担,指数衰减融合提升适配效果,在通信受限和隐私敏感环境中兼顾训练性能与效率。
技术关键词
分段
联邦训练方法
参数
客户端
标识
层次结构信息
压缩编码数据
预训练语言模型
元素
注意力
指数
训练装置
矩阵
神经网络架构
动态
计算机设备
归一化模块
融合全局
人工智能技术
系统为您推荐了相关专利信息
信号传播时延
模型超参数
电平
授时监测接收机
日期
病灶识别方法
推理网络
轻量级卷积神经网络
融合特征
图像
顶板
SPSS软件
三维立体模型
多元回归分析
力学