一种模型内存占用优化方法、设备、介质、产品及系统

本申请公开了计算机技术领域内的一种模型内存占用优化方法、设备、介质、产品及系统。本申请针对特定推理请求预测其推理结果的内存占用范围，约束了推理结果的内存占用量，且该过程综合考虑了预训练模型所在的目标异构算力设备的当前内存剩余空间，由此结合设备的实际内存使用情况进行内存优化设计，不仅能够节约异构算力的内存，避免算力闲置与资源浪费，还能实现用户无感知，为提升推理请求处理效率和并发数提供了可能。