一种数据流架构的模型处理方法、系统及相关设备

AITNT
正文
推荐专利
一种数据流架构的模型处理方法、系统及相关设备
申请号:CN202510711343
申请日期:2025-05-29
公开号:CN120471174A
公开日期:2025-08-12
类型:发明专利
摘要
本申请公开了一种数据流架构的模型处理方法、系统及相关设备,涉及模型推理技术领域,获取深度学习模型的模型参数,确定数据流架构硬件特性,构建深度学习模型的模型节点执行延迟表和通信延迟表,确定模型服务的最低延迟要求,根据预设切分方式、模型参数、模型服务的最低延迟要求、模型节点执行延迟表和通信延迟表,进行深度学习模型计算图切分,得到计算图切分结果,通过计算图切分结果和所述数据流架构硬件特性,进行流水线并行推理。
技术关键词
数据流架构 深度学习模型 节点 流水线 整数线性规划 推理技术 参数 指令 存储器 场景 电子设备 模块 处理器
系统为您推荐了相关专利信息
1
一种面向长函数的软件供应链漏洞检测方法
漏洞检测方法 程序依赖图 切片算法 软件 样本
2
一种子母机器人群灾变协同侦测方法及系统
节点 机器人 侦测方法 生成路径信息 三维网格模型
3
基于大语言模型的车道地图构建方法、设备及存储介质
车道 地图构建方法 位置编码信息 大语言模型 图像特征提取
4
一种生理参数动态预警方法及装置
动态预警方法 深度学习模型 生理 协方差矩阵 参数
5
一种基于GCN交互建模的行人轨迹预测方法
行人轨迹预测方法 标签 预测特征 卷积神经网络结构 顶点
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号