异构平台的大模型部署方法、装置、设备及程序产品

本申请公开了一种异构平台的大模型部署方法、装置、设备及程序产品，涉及人工智能技术领域，本申请将待部署的大模型拆分为若干个子模型，根据每个子模型包含的算子类型及算子计算量，结合异构平台上各类型芯片的算子支持情况，确定每个子模型所要部署的目标芯片，并根据目标芯片的量化支持情况，确定每个子模型的量化策略，按照该量化策略对子模型进行量化，将量化后子模型及量化策略生成可部署的子模型，以便于部署到异构平台上对应的目标芯片中，实现大模型的自动化部署。本申请能够在大模型部署过程自动选择子模型所要部署的目标芯片，自动选择量化策略，相比于人工设置部署方案的方法，能够大幅提高部署效率，降低大模型端侧部署难度。