摘要
本发明公开了一种基于大数据分布式计算的分类模型训练方法,涉及大数据处理与机器学习技术领域,所述方法包括S1、获取分布式计算节点间的通信延迟数据,并分析延迟特性以生成调控参数,S2、基于调控参数动态确定每个训练批次的批量大小,确保同步效率最优化,S3、将调整后的批量大小分配至各节点,执行模型前向与反向传播计算过程,S4、收集各节点计算结果进行参数聚合更新,完成分类模型的迭代训练;该基于大数据分布式计算的分类模型训练方法,根据节点间通信延迟对批量大小进行调控以解决分布式同步效率低下的问题。
技术关键词
大数据分布式计算
分类模型训练方法
分布式计算节点
通信效率
参数
批量
模型更新
硬件执行资源
分布式训练
机器学习技术
执行误差
副本
网络通信
压力
样本
调度器
队列
同步性