摘要
本发明公开了一种面向人工智能大模型高效训练的并行策略搜索方法,涉及人工智能技术领域,包括,通过训练NeRF模型,生成三维硬件拓扑场;解析待训练大模型的计算图,将算子节点映射至三维硬件拓扑场中,生成标注计算图;基于标注计算图构建混合整数规划模型,输出候选策略集合;将候选策略集合输入双层策略网络,输出并行策略集合;在模拟器中加载三维硬件拓扑场,对并行策略集合进行验证和调整,输出最优策略;部署最优策略至真实集群,触发重新筛选策略。本发明基于神经辐射场建模物理级硬件通信场,融合混合整数规划与深度强化学习,实现并行策略全局‑局部协同优化,实现训练效率、显存利用率与系统鲁棒性的多目标平衡。
技术关键词
并行策略
搜索方法
混合整数规划模型
元胞自动机
量子退火算法
深度强化学习
模拟器
分片策略
人工智能技术
增量更新
集群
通信效率
网络
异常事件
编码器
注意力机制
跨节点
系统为您推荐了相关专利信息
厚板
特征参量
动态撕裂
网格搜索方法
工程实用价值
语义向量
图像搜索方法
数据
图像搜索装置
多模态
评估系统
生成结构化数据
混合整数规划模型
多任务冲突
情感关键词
病害检测方法
叶片
病虫害图像
图像处理方法
图像空间信息
路径搜索方法
船舶
路径搜索系统
排列组合方法
人机交互界面