摘要
本发明涉及一种机械硬盘顺序并行调度双随机样本高速访问方法及系统,其中,方法包括将训练样本打包为固定数量的数据包,通过贪心算法将数据包均匀分配至多个机械硬盘;通过数据管理器创建多个数据读取器,将所有机械硬盘均衡分配至各数据读取器;通过各数据读取器的无限迭代器循环访问分配的机械硬盘数据包,在每次循环时对数据包路径队列进行随机重排,并持续按顺序从当前数据包中读取训练样本存入数据管理器的缓冲池;通过多个数据读取器并行执行顺序读取操作,累加各机械硬盘吞吐量;基于高效通信协议接收客户端请求,随机选取训练样本并返回,以实现低成本、高吞吐且满足深度学习训练需求的随机样本高速访问的目的。
技术关键词
数据读取器
机械硬盘
数据管理器
贪心算法
客户端
扩展存储节点
队列
缓冲池
多路复用
数据读取单元
深度学习训练
支持高并发
训练样本数据
硬盘磁头
速率
访问系统
系统为您推荐了相关专利信息
虚拟形象生成方法
金融业务信息
生成器网络
场景特征
画像
模型生成方法
节点
电力交易结算技术
偏差
生成用户