一种数据划分方法和大模型推理方法、装置、设备及介质

本发明公开了一种数据划分方法和大模型推理方法、装置、设备及介质，应用于数据处理技术领域，包括：基于每个键值缓存对应的历史访问信息利用预测模型进行预测，得到每个键值缓存所关联的键值缓存的未来被访问的概率；基于每个键值缓存的访问频率参数、时间间隔和未来被访问的概率对键值缓存进行划分，确定热数据集合和冷数据集合，以将热数据集合中的键值缓存存储至速度最快的显存设备。本发明中的访问频率是从全局考虑，时间间隔是从时间局部角度考虑，未来被访问的概率从空间局部进行考虑，由于本发明从不同角度考虑对数据进行划分，故可以使得在推理时可以及时从准确的热数据集合中获取键值，从而提高大模型的推理速度。