基于Kubernetes平台的模型训练加速方法及装置

AITNT
正文
推荐专利
基于Kubernetes平台的模型训练加速方法及装置
申请号:CN202410859438
申请日期:2024-06-28
公开号:CN118627642A
公开日期:2024-09-10
类型:发明专利
摘要
本公开公开了基于Kubernetes平台的模型训练加速方法及装置,涉及数据处理技术领域,从元数据管理器中获取存储训练数据集切片的pod在Kubernetes平台中所位于的第一节点;判断第一节点和执行训练任务的pod在Kubernetes平台中所位于的第二节点是否为同一个目标节点,目标节点包括多个pod;若确定第一节点和第二节点为同一目标节点,则基于零拷贝技术将训练数据集切片传递至训练任务所在的pod,以使训练任务基于训练数据集切片进行训练;若确定第一节点和第二节点不为同一目标节点,则构建第一节点和第二节点之间的远程过程调用链接,第二节点基于远程过程调用链接从第一节点中获取训练数据集切片,以使训练任务基于训练数据集切片进行训练。提高训练数据访问效率,加速训练过程。
技术关键词
Kubernetes平台 数据管理器 节点 机器学习训练数据 拷贝技术 数据访问效率 客户端 服务端 切片算法 数据处理技术 加速装置 计算机程序产品 任务调度 处理器通信 指令 可读存储介质
系统为您推荐了相关专利信息
1
基于土仓压力梯度场分布的开挖面稳定性判定方法和装置
监测点 压力 控制点 稳定性判定方法 三次样条插值
2
一种电压源型储能与新能源协同主动并网运行方法及系统
并网运行方法 混合电力系统 新能源电站 储能电站 储能系统
3
一种不确定需求下考虑承运商组合优化的路径规划方法
路径规划方法 指标 模糊层次分析法 客户 节点
4
基于智能合约的供应链动态风险控制方法及系统
风险控制方法 时间序列特征 风险评估模型 XGBoost模型 债权
5
一种5G基站发电油机智能运行系统
固态继电器 智能运行系统 三极管 译码芯片 二极管
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号