用于安全人工智能模型和训练和推理的云平台的方法和装置

本公开的各实施例涉及用于安全人工智能模型和训练和推理的云平台的方法和装置。提出了一种新方法，该方法考虑了基于一个或多个安全多核(SMC)数据处理单元(DPU)来支持用于安全AI计算的新网络架构的系统和方法。每个SMC DPU都包括网关，该网关通过加密确保用于SMC DPU的安全接口和操作环境。每个SMC DPU还可以包括微处理器核、一个或多个通用处理单元(XPU核)和/或定制处理单元(CXPU核)以及到外部存储器和其他处理单元的通信接口(COMM I/F)。在一些实施例中，使用多个SMC DPU以及一个或多个交换机、存储器、单独的XPU和高速互连(包括光互连)来构建安全AI云集群，以确保对用于基于云的AI服务的客户端数据的保护。