一种大模型训练加速方法、装置、设备及存储介质

本申请公开了一种大模型训练加速方法、装置、设备及存储介质，涉及人工智能领域，包括：确定各目标数据块对应的访问频率以确定目标数据块是否为目标类型数据；目标类型数据对应的访问频率高于其他类型数据对应的访问频率，且目标类型数据的数据块大小小于预设数据块大小阈值；若目标数据块是目标类型数据，则将目标数据块缓存至预设内存空间中，以便从预设内存空间中对目标数据块进行读取以训练目标大模型；若不是目标类型数据，则将目标数据块缓存至预设磁盘空间中，并利用缓存管理工具对缓存在预设磁盘空间中的目标数据块进行管理，以便从预设磁盘空间中读取目标数据块以训练目标大模型。本申请实现了对大模型训练过程的加速。