摘要
本公开公开了基于Kubernetes平台的模型训练加速方法及装置,涉及数据处理技术领域,从元数据管理器中获取存储训练数据集切片的pod在Kubernetes平台中所位于的第一节点;判断第一节点和执行训练任务的pod在Kubernetes平台中所位于的第二节点是否为同一个目标节点,目标节点包括多个pod;若确定第一节点和第二节点为同一目标节点,则基于零拷贝技术将训练数据集切片传递至训练任务所在的pod,以使训练任务基于训练数据集切片进行训练;若确定第一节点和第二节点不为同一目标节点,则构建第一节点和第二节点之间的远程过程调用链接,第二节点基于远程过程调用链接从第一节点中获取训练数据集切片,以使训练任务基于训练数据集切片进行训练。提高训练数据访问效率,加速训练过程。
技术关键词
Kubernetes平台
数据管理器
节点
机器学习训练数据
拷贝技术
数据访问效率
客户端
服务端
切片算法
数据处理技术
加速装置
计算机程序产品
任务调度
处理器通信
指令
可读存储介质
系统为您推荐了相关专利信息
监测点
压力
控制点
稳定性判定方法
三次样条插值
并网运行方法
混合电力系统
新能源电站
储能电站
储能系统
风险控制方法
时间序列特征
风险评估模型
XGBoost模型
债权
固态继电器
智能运行系统
三极管
译码芯片
二极管