用于处理异构生成式人工智能模型的系统

根据本公开内容，提供了一种设备。该设备包括：具有第一容量的第一存储器，其被配置成存储包含第一参数的第一生成神经网络模型；以及第一神经处理单元，其被配置成利用存储在第一存储器中的第一生成神经网络模型生成与输入查询对应的响应；并且其中，第一神经处理单元可以被配置成存储第一生成神经网络模型的第一执行代码，该第一执行代码被编译以处理推测解码。