基于异构硬件设备集群的混合专家模型部署方法、装置、设备及介质

本申请公开了基于异构硬件设备集群的混合专家模型部署方法、装置、设备及介质，涉及人工智能技术领域，包括：对目标异构硬件设备集群中的各设备进行数据抽象处理以得到初始设备描述向量，并将目标专家模型文件编译成二进制中间表示；基于目标异构硬件设备集群中的目标设备的硬件类型和二进制中间表示生成针对目标设备的硬件探针并基于硬件得到实时设备描述向量；基于实时设备描述向量确定目标异构硬件设备集群中的各设备的硬件感知路由权重并基于感知路由权重从目标专家模型文件中确定待激活专家模型文件；将待激活专家模型文件分配至目标异构硬件设备集群中进行部署安装。这样一来，可以通过统一编排，可以实现混合专家模型的异构部署。