大模型资源分配方法、装置、设备和介质

本公开提供了一种大模型资源分配方法、装置、设备和介质，涉及人工智能技术领域，尤其涉及大模型资源分配等技术领域，能够用于生成式搜索、文档智能编辑、智能助手、虚拟助手、智能电商等应用场景。该方法包括：经由流量网关对目标业务的大模型资源请求接口进行代理；获取目标业务的第一资源量和第二资源量，第一资源量表征目标业务所申请的资源量需求，第二资源量指示目标业务的历史资源量使用情况；基于目标业务的第一资源量和第二资源量，计算目标业务的第三资源量，第三资源量表征为目标业务额外预留的资源量；以及至少基于目标业务的第二资源量和第三资源量，利用流量网关为目标业务分配大模型资源。