一种大模型训练挂起和降速场景下故障定位方法

本公开提供一种大模型训练挂起和降速场景下故障定位方法。包括在线数据采集模块和离线数据分析模型两个模块：在线数据采集模块负责大模型训练过程中关键位置的日志采集，包括API拦截子模块和WR测量子模块两个子模块；离线数据分析模块用于处理采集到的日志信息，构建方法为：首先根据API拦截采集的结果和训练配置生成训练的计算运行图，并计算每个阶段所花费的时间；然后采用关键路径算法分析每次迭代过程中对训练时长影响起决定作用的关键路径，再通过对比历史训练记录的时间长度来判断性能是否产生了挂起问题或降速问题的异常状态，提高故障诊断的效率和准确率。