一种面向人工智能大模型高效训练的并行策略搜索方法

AITNT
正文
推荐专利
一种面向人工智能大模型高效训练的并行策略搜索方法
申请号:CN202510488064
申请日期:2025-04-18
公开号:CN120012879B
公开日期:2025-08-19
类型:发明专利
摘要
本发明公开了一种面向人工智能大模型高效训练的并行策略搜索方法,涉及人工智能技术领域,包括,通过训练NeRF模型,生成三维硬件拓扑场;解析待训练大模型的计算图,将算子节点映射至三维硬件拓扑场中,生成标注计算图;基于标注计算图构建混合整数规划模型,输出候选策略集合;将候选策略集合输入双层策略网络,输出并行策略集合;在模拟器中加载三维硬件拓扑场,对并行策略集合进行验证和调整,输出最优策略;部署最优策略至真实集群,触发重新筛选策略。本发明基于神经辐射场建模物理级硬件通信场,融合混合整数规划与深度强化学习,实现并行策略全局‑局部协同优化,实现训练效率、显存利用率与系统鲁棒性的多目标平衡。
技术关键词
并行策略 搜索方法 混合整数规划模型 元胞自动机 量子退火算法 深度强化学习 模拟器 分片策略 人工智能技术 增量更新 集群 通信效率 网络 异常事件 编码器 注意力机制 跨节点
系统为您推荐了相关专利信息
1
一种船用止裂钢厚板止裂韧性预测模型的建立方法
厚板 特征参量 动态撕裂 网格搜索方法 工程实用价值
2
图像搜索方法、装置、电子设备及存储介质
语义向量 图像搜索方法 数据 图像搜索装置 多模态
3
一种智慧城市公共服务的意见反馈多维评估系统
评估系统 生成结构化数据 混合整数规划模型 多任务冲突 情感关键词
4
一种基于改进YOLOv8的苹果叶片病害检测方法
病害检测方法 叶片 病虫害图像 图像处理方法 图像空间信息
5
一种卸货路径搜索方法及系统
路径搜索方法 船舶 路径搜索系统 排列组合方法 人机交互界面
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号