摘要
本发明实施例公开了一种基于NUMA架构的训练集访问方法、装置、终端及介质,所述方法包括:读取数据集元数据信息,并为数据集中每条信息创建索引;从NUMA架构中选取训练节点,获取训练节点的属性信息;将数据集中的信息进行打乱处理,并将打乱处理后的部分信息下发至训练节点的内存;为下发后的信息索引增加内存地址信息;将节点加载训练完成的信息索引增加已访问标记;将存在已访问标记的信息迁移至远端节点内存中,并在索引中增加远端节点内存地址信息;返回至将打乱处理后的部分信息下发至训练节点的内存步骤,直至数据集中所有信息均具有已访问标记。可以尽量让待访问数据总是位于当前训练节点中,保证数据高效访问。
技术关键词
NUMA架构
节点
索引
内存
训练集
标记
计算机可执行指令
数据存储介质
访问装置
处理器
模块
终端
指针
标志位
存储装置
程序
算法
系统为您推荐了相关专利信息
数据中心运维管理
运维管理方法
知识图谱分析方法
多模态
管理特征
医疗文本数据
语言模型训练方法
模型训练装置
大语言模型
训练集
远程调度系统
历史运行数据
实时监测数据
前馈神经网络
矿井
环境监测方法
博物馆
调控策略
功率器件
卷积神经网络技术
车辆运动学模型
自然语言
意图
分类器
自动驾驶方法