一种显卡资源分配方法、装置、电子设备及存储介质

本发明实施例提供了一种显卡资源分配方法、装置、电子设备及存储介质，涉及计算机技术领域，具体实现方案为：获得各推理大模型的预测访问流量，其中，预测访问流量是：基于历史时间段中的对推理大模型执行推理任务的流量产生影响的因子获得的；针对每一推理大模型，根据该推理大模型对应的显卡资源量与访问流量的对应关系，确定该推理大模型需要的预测显卡资源的资源量，基于能够提供预测显卡资源的显卡数量为该推理大模型分配显卡资源；根据计算平台的剩余显卡数量和各训练微调大模型的训练微调优先级，为各个训练微调大模型分配显卡资源。应用本发明实施例提供的方案可以更合理地为各个大模型分配计算平台中的显卡资源。