模型权重数据处理方法、装置、设备、存储介质和程序产品

本申请涉及一种模型权重数据处理方法、装置、设备、存储介质和程序产品，涉及人工智能芯片技术领域。本申请能够在降低显存带宽的占用且无需相应数据格式的计算指令支持的基础上，使人工智能芯片可以支持对更多的数据格式的模型权重的数据进行模型推理。方法：从人工智能芯片中的显存加载第一数据格式的索引数据，其表示第二数据格式的权重数据对应的所转换的第三数据格式的权重数据的索引，从数据源端加载到显存；第一和第三数据格式为人工智能芯片的计算单元支持的数据格式；第三数据格式的数据精度大于第一、第二数据格式的数据精度；根据索引数据从人工智能芯片中的目标存储单元存储的查找表中转换得到第三数据格式的权重数据以进行模型推理。