模型优化方法以及相关装置

本发明实施例提供一种模型优化方法以及相关装置，属于人工智能技术领域。该方法包括：设置分层缓存区，分层缓存区用于在大模型运行过程中进行数据缓存；对大模型进行任务分解获得大模型对应的多个子任务；设置数据预取机制，根据数据预取机制将子任务运行过程中所需的初始运行数据存储至分层缓存区中；从分层缓存区中获得初始运行数据对子任务进行运行计算，获得子任务对应的中间运行数据；将全部中间运行数据进行合并，获得大模型对应的目标运行数据。该方法减少了重复数据的存储和运输并通过提前加载所需数据减少传输时间，能够有效解决大模型在显存占用、计算延迟和资源利用率方面的不足。