模型推理方法、电子设备及存储介质

本申请公开了一种模型推理方法、电子设备及存储介质，涉及计算机技术领域，方法包括：获取待处理数据；对待处理数据进行预填充处理，将预填充处理生成的键值缓存保存至第一缓冲区，并向第二缓冲区传输该键值缓存；第一缓冲区属于预填充节点对应的连接器，第二缓冲区属于解码节点对应的连接器；从第二缓冲区加载键值缓存，并进行解码处理；在解码处理的过程中，监控解码节点内的图形处理器的内存利用率，根据内存利用率，调整键值缓存的存放位置；其中，解码节点设置有计算快速链接内存，上述存放位置包括该计算快速链接内存与图形处理器的内存；输出解码处理结果。通过本申请提供的方案，可以有效保障解码效率，进而保障模型推理过程有效运行。