一种面向大模型训练的在线自动调优编译系统及方法

本发明公开了一种面向大模型训练的在线自动调优编译系统及方法，属于计算框架编程与编译器领域。系统包括自动调优客户端、自动调优服务器端、配置管理器、Triton算子注册器、通信管理器、自动调优调度器和数据采集器。本发明通过在线搜索大模型训练过程中融合算子的最优超参配置，提升融合算子的计算性能，进而提升大模型训练过程中利用GPU硬件资源的效率；本发明的在线自动调优编译系统提供了搜索更大的超参空间，针对大模型训练过程中端到端性能，快速查找融合算子的最优超参配置。