键值缓存数据的调度方法、大模型推理方法及装置

本申请提供一种键值缓存数据的调度方法、大模型推理方法及装置，涉及人工智能技术领域。该方法包括：利用预测模型预测大模型推理后续token所需的目标键值缓存数据；后续token是指大模型还未推理的token；判断是否需要对所述目标键值缓存数据进行调度；若需要调度，则生成调度策略；根据调度策略从第一存储空间获取目标键值缓存数据，并将目标键值缓存数据存储至第二存储空间；其中，目标键值缓存数据用于使大模型推理后续token。本申请减少对第一存储空间的频繁访问，并且，每次只传输需要的目标键值缓存数据，而非全量的键值缓存数据，减少了因传输键值缓存数据导致的带宽资源的占用。