摘要
本发明公开了一种模型压缩与高效传输方法及装置,包括:在各个节点中迭代训练本地模型,在每一次迭代过程中根据所述本地模型的性能调整剪枝策略,并根据所述本地模型的精确度和参数重要性调整剪枝强度;根据各个模型层的类型和功能将训练好的本地模型的模型层划分成第一子层和第二子层,对所述第一子层和第二子层中的参数进行分层量化处理;根据差分编码对本地模型的模型参数进行编码压缩,并将压缩后的数据传输至目标节点中,以使目标节点重构模型参数,完成模型传输。通过自适应剪枝可根据模型在训练过程中的表现动态地调整剪枝的程度,使得剪枝过程可以更加灵活,适应不同的数据集和任务需求,更好地保持甚至提升模型的性能。
技术关键词
高效传输方法
模型压缩
剪枝策略
重构模型
编码
节点
模型剪枝
高效传输装置
生成差分数据
分层
生成参数
强度
序列
模块
因子
浮点数
服务器
周期
动态地
系统为您推荐了相关专利信息
快速通信方法
知识地图
编码特征
矩阵
高斯径向基函数
负荷预测方法
编码特征
多尺度局部特征
序列
变量