数据处理方法、端侧设备、存储介质、芯片系统以及计算机程序产品

本申请实施例提供的数据处理方法、端侧设备、存储介质、芯片系统以及计算机程序产品，涉及终端技术领域。由于第一存储中多个第二专家模块是第二线程在第一线程利用第一模型执行预填充阶段流程的情况下，基于第一请求的专家偏好策略，执行预加载流程形成的，因此，实现了预加载流程与预填充阶段流程的并行执行，由此，降低了I/O延迟，提高了第一模型的推理效率。并且由于第一请求具有专家偏好，而存储于第一存储的多个第二专家模块是根据第一请求来确定的，因此，第一线程在利用第一模型执行解码阶段流程的情况下，使得第一线程可以直接从第一存储获取与第一专家模块对应的第二专家模块，由此提高了缓存命中率，进而提高了第一模型的推理效率。