异构计算系统及其模型训练方法、设备、介质、程序产品

本发明公开了一种异构计算系统及其模型训练方法、设备、介质、程序产品，应用于人工智能技术领域。其中，系统包括第一处理器、第二处理器、内存扩展设备，第二处理器和内存扩展设备均连接至第一处理器；第一处理器统一管理第二处理器及内存扩展设备，第一处理器和第二处理器的计算能力类型不同，第二处理器、内存扩展设备均支持内存扩展技术，第一处理器、第二处理器和内存扩展设备之间的数据共享；第一处理器将目标网络模型的训练任务卸载至第二处理器和内存扩展设备，并使用内存扩展设备进行容错检查点的存储操作，第二处理器和内存扩展设备并行执行任务。本发明可以解决模型训练过程存在的内存瓶颈问题，可以有效提升模型训练效率。