多模型压缩方法、装置、任务处理方法、设备及存储介质

本发明涉及模型压缩技术领域，提供一种多模型压缩方法、装置、任务处理方法、设备及存储介质，该多模型压缩方法包括：将多个待压缩模型作为叶子节点，基于权重相似性对各叶子节点进行自底向上的层次化聚类，构建残差量化树；从残差量化树的根节点开始，对残差量化树进行自顶向下的残差量化，得到各叶子节点的量化参数；该量化参数包括对待压缩模型的权重矩阵进行量化压缩得到的叶子节点的量化权重矩阵，以及被分配到叶子节点的目标模型的量化系数；量化权重矩阵被各目标模型共享。通过自底向上的层次化聚类，并在聚类的基础上进行自顶向下的残差量化，可以在不引入较大的精度损失的情况下，实现对多模型的量化压缩，确保模型推理的准确性。