机械硬盘顺序并行调度双随机样本高速访问方法及系统

AITNT
正文
推荐专利
机械硬盘顺序并行调度双随机样本高速访问方法及系统
申请号:CN202510923176
申请日期:2025-07-04
公开号:CN120762854A
公开日期:2025-10-10
类型:发明专利
摘要
本发明涉及一种机械硬盘顺序并行调度双随机样本高速访问方法及系统,其中,方法包括将训练样本打包为固定数量的数据包,通过贪心算法将数据包均匀分配至多个机械硬盘;通过数据管理器创建多个数据读取器,将所有机械硬盘均衡分配至各数据读取器;通过各数据读取器的无限迭代器循环访问分配的机械硬盘数据包,在每次循环时对数据包路径队列进行随机重排,并持续按顺序从当前数据包中读取训练样本存入数据管理器的缓冲池;通过多个数据读取器并行执行顺序读取操作,累加各机械硬盘吞吐量;基于高效通信协议接收客户端请求,随机选取训练样本并返回,以实现低成本、高吞吐且满足深度学习训练需求的随机样本高速访问的目的。
技术关键词
数据读取器 机械硬盘 数据管理器 贪心算法 客户端 扩展存储节点 队列 缓冲池 多路复用 数据读取单元 深度学习训练 支持高并发 训练样本数据 硬盘磁头 速率 访问系统
系统为您推荐了相关专利信息
1
基于金融业务信息的虚拟形象生成方法、装置及电子设备
虚拟形象生成方法 金融业务信息 生成器网络 场景特征 画像
2
一种电力交易结算模型灵活生成方法
模型生成方法 节点 电力交易结算技术 偏差 生成用户
3
一种智能手环辅助的咖啡推荐系统
智能手环 推荐系统 客户端 实时数据 云端服务器
4
基于多元回归模型的特种律师金融函件分案方法及系统
多元回归模型 分布式数据库 案件 客服 律师
5
一种面向自动炒菜锅的智能配菜装置
智能配菜装置 导轨系统 炒锅 净菜柜 自动炒菜锅
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号