摘要
本申请公开了一种数据流架构的模型处理方法、系统及相关设备,涉及模型推理技术领域,获取深度学习模型的模型参数,确定数据流架构硬件特性,构建深度学习模型的模型节点执行延迟表和通信延迟表,确定模型服务的最低延迟要求,根据预设切分方式、模型参数、模型服务的最低延迟要求、模型节点执行延迟表和通信延迟表,进行深度学习模型计算图切分,得到计算图切分结果,通过计算图切分结果和所述数据流架构硬件特性,进行流水线并行推理。
技术关键词
数据流架构
深度学习模型
节点
流水线
整数线性规划
推理技术
参数
指令
存储器
场景
电子设备
模块
处理器
系统为您推荐了相关专利信息
节点
机器人
侦测方法
生成路径信息
三维网格模型
车道
地图构建方法
位置编码信息
大语言模型
图像特征提取
动态预警方法
深度学习模型
生理
协方差矩阵
参数
行人轨迹预测方法
标签
预测特征
卷积神经网络结构
顶点