模型推理方法、装置、电子设备、存储介质及程序产品

本申请提供一种模型推理方法、装置、电子设备、存储介质及程序产品。该方法包括：通过大语言模型，采用第一数值精度对已推理tokens进行注意力计算，获得每个已推理token对应的第一注意力分数；基于第一注意力分数从已推理tokens中筛选目标tokens；通过大语言模型，采用第二数值精度对输入序列进行推理，获得大语言模型输出的推理结果；输入序列包括目标tokens和待推理token对应的待输入tokens；待输入tokens为根据预设规则从已推理tokens中预选取的tokens；第一数值精度低于第二数值精度。本申请采用混合精度计算实现了token的稀疏化处理，从而提高了大语言模型的推理效率。