摘要
本说明书实施例公开了一种基于数据库的分布式训练方法,该方法使用分布式数据库系统中的负载均衡器充当分布式训练中的参数服务器,用于存储待训练模型的模型参数,并协同分布式数据库系统中的多个数据库服务器进行分布式训练,数据库服务器可识别并解析以张量形式存储的数据,并通过运行SQL语句中包含的UDF,利用本地存储的张量数据完成对待训练模型的至少部分模型进行输入、运行和输出的操作。该方法直接利用分布式数据库系统中的多个设备对待训练模型进行分布式训练,并且无需从数据库中导出数据,也无需将数据转换为张量形式,可有效提高模型训练的效率。
技术关键词
分布式数据库系统
负载均衡器
数据库服务器
分布式训练方法
参数
语句
抽象语法树
分布式训练系统
负载均衡服务器
语义分析器
查询优化器
模块
处理器
解析器
计划
可读存储介质
执行器
存储器