基于无服务器架构的高效分布式机器学习训练系统

本发明公开了一种基于无服务器架构的高效分布式机器学习训练系统，建模模块，用于获取输入的工作负载，以进行建模；资源配置模块，被配置有优化数学模型，用于在建模模块完成建模的基础之上，基于优化数学模型获取最优参数配置；优化数学模型建模无服务器分布式训练的双层参数以及系统级参数与训练延迟、成本和收敛效率之间的关系；K‑REDUCE训练框架，用于触发无服务器函数，无服务器函数依据K‑REDUCE框架进行分布式训练。本发明通过构建数学模型描述参数与性能之间的关系，采用基于剪枝的启发式搜索算法寻找最优参数配置，有效提高训练性能并降低经济成本，动态地调整系统资源，实现最优训练性能。