数据处理方法、装置、电子设备及存储介质

本公开提供了一种数据处理方法、装置、电子设备及存储介质，涉及深度学习技术领域，具体涉及分布式大模型训练优化技术领域。具体实现方案为：获取当前训练模型对应的原始检查点文件，原始检查点文件包括权重参数和优化器状态参数；将原始检查点文件中的优化器状态参数进行切分，以得到第一检查点文件；将新增权重参数加入第一检查点文件，以及将与新增权重参数对应的优化器状态参数按照参数个数切分合并到第一检查点文件，得到第二检查点文件，以通过第二检查点文件中的参数进行热启训练。本公开显著增强了模型处理多模态数据的能力，同时避免了从头开始训练所带来的时间和资源消耗，提升了模型训练的连续性和模型性能的稳定性。