一种缓存管理方法、装置、设备、介质和产品

本发明涉及人工智能技术领域，特别是涉及一种缓存管理方法、装置、设备、介质和产品，方法包括：实时评估不同注意力头对当前推理任务的重要性分值，并根据重要性分值，动态地为每个注意力头的键值缓存分配不同层级的存储资源，包括存储位置和数值精度，从而在保证模型输出质量，尤其是关键信息不丢失的前提下，最大化的节省内存，进而提升推理速度。