摘要
本发明公开了一种基于特征对齐适配器的异构拆分学习协同优化方法及系统,属于边缘计算与分布式机器学习技术。基于边缘拆分学习框架,各个客户端根据本地计算资源与数据分布特性构建个性化本地底层模型,并与服务器端共享的顶层模型进行协同训练。该方法通过在模型拆分层引入特征适配器模块来以对齐来自不同客户端的异构中间特征表示,从而消除模型架构以及输出维度不一致带来的训练障碍。本发明还包括构建初始化机制以加速拆分训练的收敛,包括适配器的初始化以及基于特征蒸馏的异构客户端模型初始化策略,并进一步基于全局小批量随机梯度下降算法,联合优化服务器模型、适配器和异构客户端模型,有效提高设备资源和数据异构环境下的拆分模型准确率和训练效率。
技术关键词
协同优化方法
适配器
异构
服务器
协同优化系统
深度神经网络模型
分布式机器学习技术
解码器执行
随机梯度下降
数据分布
智能边缘设备
集群
存储组件
蒸馏
教师
初始化机制
编码器组合
客户端特征
系统为您推荐了相关专利信息
资源
组织模块
异构地理信息
生成倒排索引
语义向量
无人厨房
原料储罐
计算机控制系统
制作设备
煮制系统
数据处理仪
超前预测方法
地质结构
检波器
图像识别模块
工业控制系统
工控设备
工业控制模块
测试平台
权限管理模块
加密流量分类方法
序列特征
注意力机制
Attention机制
消息