摘要
本发明公开了一种批量执行AI训练仿真的方法、装置及系统,其中,一种批量执行AI训练仿真的系统,包括系统仿真器、机内通信仿真器和跨机网络仿真器,所述系统仿真器用于控制和调度AI训练仿真的过程,所述机内通信仿真器用于对GPU之间的服务器内集体通信操作,所述跨机网络仿真器用于在系统仿真器中注册若干点对点跨网络通信。该发明降低了进程同步开销,提升了缓存命中率,能充分利用现有方法忽略的跨实验批处理和并行化机会,系统可以统一处理仿真过程的步骤的方式打包数据以获得并行性和缓存效率优势,系统执行期间,处理表中连续实体的相邻线程保持对组件数据的一致访问,带来了缓存效率的优势。
技术关键词
系统仿真器
网络仿真器
实体
批量
训练系统
服务器
数据并行计算
单指令多线程
模拟器
点对点
网络通信
缓存命中率
通信算法
节点
定义
原型
编程
系统为您推荐了相关专利信息
光刻机
温度传感器阵列
数字孪生模型
集成电路
传感器组
融合特征
序列特征
多头注意力机制
文本处理方法
BERT模型