基于流量分流的大模型资源优化的方法、装置、电子设备和计算机可读介质

本公开涉及基于流量分流的大模型资源优化的方法、装置、电子设备以及计算机可读介质。基于流量分流的大模型资源优化的方法，包括：实时监测包括关键指标的流量数据，其中，关键指标包括请求队列长度、响应时间和资源利用率中的一项或多项；通过多层次时间序列模型基于流量数据进行流量预测；当监测到流量达到流量阈值或预测到流量要达到流量阈值时，确定请求的优先级；以及根据请求的优先级向不同的资源池分配不同的请求。