模型训练优化的方法、装置、设备和存储介质

本公开的实施例涉及模型训练优化的方法、装置、设备和存储介质。该方法包括：针对生成式机器学习模型的多个算子，确定与至少一个存储器优化操作有关的资源使用信息，针对每个存储器优化操作，资源使用信息指示在生成式机器学习模型的训练过程中对多个算子中的算子执行该存储器优化操作的资源使用效率；基于资源使用信息和用于训练生成式机器学习模型的处理设备的可用存储器资源，确定针对多个算子中的一组目标算子的存储器优化策略，其指示对目标算子执行至少一个存储器优化操作之一；以及通过应用存储器优化策略，使用处理设备训练生成式机器学习模型。以此方式，可以将不同的存储器优化操作统一建模，以实现更加高效的存储器优化。