深度学习模型的显存使用量的预测方法、装置

本申请公开了一种深度学习模型的显存使用量的预测方法、装置。其中，该方法包括：确定输入深度学习模型的输入序列；获取在深度学习模型以输入序列为输入时，深度学习模型的模型架构中的参数对应的第一显存占用量；获取模型架构对输入序列进行处理时产生的中间激活值对应的第二显存占用量以及深度学习模型中的优化器对输入序列进行处理时产生的第三显存占用量；依据第一显存占用量、第二显存占用量、第三显存占用量确定深度学习模型的显存使用量。本申请解决了相关技术中的方法难以准确预估Transformer模型显存使用量，导致硬件资源配置不合理，从而影响模型运行效率和稳定性的问题的技术问题。