注意力机制算子的优化方法、设备、存储介质及程序产品

本申请实施例提供了一种注意力机制算子的优化方法、设备、存储介质及程序产品，涉及人工智能技术领域，该方法包括：在模型推理过程中，采用第一量化缩放因子对第一键表示进行在线量化获得第二键表示；以及，采用第二量化缩放因子对第一值表示进行在线量化获得第二值表示。然后将第二键表示和第一量化缩放因子保存在显存中的键信息集合中，以及，将第二值表示和第二量化缩放因子保存在显存中的值信息集合中。再基于第一查询表示、显存中的键信息集合和值信息集合进行自注意力机制计算，获取输出张量。这样，在大语言模型推理过程中，显存只需要保存量化后的键值数据，大大减少了键值缓存带来的额外显存占用，也减少注意力机制推理的显存占用。