一种基于图注意力机制与大语言模型的深度神经网络延迟方法

本发明提供一种基于图注意力机制与大语言模型的深度神经网络延迟方法，包括神经网络模型的结构建模，设备信息获取与增强，多层感知机预测；将待推理的深度神经网络模型M进行图注意力网络结构编码，得到模型结构表示向量，与设备表示向量，将拼接后的模型结构和设备向量表示作为模型训练收敛后的预测器的输入，输出推理延迟值。通过捕捉模型结构中并行与序列执行关系的表示机制，且能融合设备底层性能指标，实现自动化属性获取的增强机制；在小样本下依然实现高精度预测，同时具备推理性能与设备因子可解释性的统一框架，以全面提升在异构设备环境下的推理精度，适应性与可解释性。