一种AI大模型的优化方法、系统、终端设备及存储介质

本发明公开了一种AI大模型的优化方法、系统、终端设备及存储介质，所述方法通过资源预测模型对各子模型实时负载数据进行预测，预测未来一段时间内各子模型的资源需求，进而确定资源分配策略，并通过行为预测模型对实时用户行为数据进行预测，生成子模型请求预测结果，通过缓存一致性协议和缓存策略对子模型请求预测结果确定预加载策略，最后利用资源分配策略动态且合理地调整资源分配，减少计算资源的损耗，并利用预加载策略将AI大模型的各子模型进行预加载，减少模型加载时间，实现提高AI大模型中各子模型的响应速度和吞吐量，解决了目前很多子模型因响应速度慢和吞吐率低导致用户的使用体验较差的问题。