摘要
本发明公开了大规模异构算力集群训推加速方法,包括如下步骤:S1、采集异构集群各节点运行特征,构建设备状态参数集合;S2、加载训练与推理模型,构建中间表示图结构,生成图结构信息;S3、将图结构信息与设备状态参数集合输入基于神经网络常微分方程构建的调度策略模型,生成优化决策结果;S4、根据优化决策结果重构模型图并划分为训练子图与推理子图;S5、将子图映射至异构节点,依据设备状态参数集合进行资源匹配与任务分发,生成调度结果;S6、采集性能反馈信息;S7、将反馈信息输入调度模型更新参数,调整演化函数策略参数。本发明实现了异构集群中深度模型训推任务的调度加速。
技术关键词
设备状态参数
节点特征
异构
集群
矩阵
网络结构信息
神经网络参数
微分方程求解器
策略
生成联合模型
决策
执行浮点运算
时间序列方式
精度
节点资源状态
关系
数值积分方法
指标
系统为您推荐了相关专利信息
神经网络模型
参数更新模块
压缩系统
量子态
样本
消防阀门
主成分分析算法
特征值
样条插值算法
矩阵
协同导航算法
无人机集群协同
无人机集群飞行
数据分析管理
测试方法
发电设备
监控页面
计算机执行指令
故障预测模型
展示设备