基于NUMA架构的训练集访问方法、装置、终端及介质

AITNT
正文
推荐专利
基于NUMA架构的训练集访问方法、装置、终端及介质
申请号:CN202511047982
申请日期:2025-07-29
公开号:CN120872853A
公开日期:2025-10-31
类型:发明专利
摘要
本发明实施例公开了一种基于NUMA架构的训练集访问方法、装置、终端及介质,所述方法包括:读取数据集元数据信息,并为数据集中每条信息创建索引;从NUMA架构中选取训练节点,获取训练节点的属性信息;将数据集中的信息进行打乱处理,并将打乱处理后的部分信息下发至训练节点的内存;为下发后的信息索引增加内存地址信息;将节点加载训练完成的信息索引增加已访问标记;将存在已访问标记的信息迁移至远端节点内存中,并在索引中增加远端节点内存地址信息;返回至将打乱处理后的部分信息下发至训练节点的内存步骤,直至数据集中所有信息均具有已访问标记。可以尽量让待访问数据总是位于当前训练节点中,保证数据高效访问。
技术关键词
NUMA架构 节点 索引 内存 训练集 标记 计算机可执行指令 数据存储介质 访问装置 处理器 模块 终端 指针 标志位 存储装置 程序 算法
系统为您推荐了相关专利信息
1
一种IDC运维知识图谱的管理方法
数据中心运维管理 运维管理方法 知识图谱分析方法 多模态 管理特征
2
大语言模型训练方法、装置、设备及介质
医疗文本数据 语言模型训练方法 模型训练装置 大语言模型 训练集
3
一种矿井风水管网安全监测与远程调度系统
远程调度系统 历史运行数据 实时监测数据 前馈神经网络 矿井
4
基于融合技术的博物馆文物环境监测方法及系统
环境监测方法 博物馆 调控策略 功率器件 卷积神经网络技术
5
一种基于ChatMPC的自动驾驶方法、装置、设备及存储介质
车辆运动学模型 自然语言 意图 分类器 自动驾驶方法
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号