一种用于大模型的分布式checkpoint存取方法

本发明属于人工智能领域，公开一种用于大模型的分布式checkpoint存取方法，构建分布式checkpoint存取系统，完成checkpoint存储、提取和异常处理，本发明通过checkpoint分片存储与索引调用的方式，避免checkpoint的整存整取，可以显著提升大模型训练效率；通过引入LogMgr、Log hisMgr等模块，减小了checkpoint的存取压力，确保了分布式训练的连续性和高效性；该方法的分布式分片存储机制，不仅提高了存储效率，还便于根据需要快速整合checkpoint数据，从而在实际应用中实现了训练过程的灵活性和可控性，大大提升了模型训练的性能和稳定性。