一种基于分布式的AI大模型仓库下载加速方法及系统

AITNT
正文
推荐专利
一种基于分布式的AI大模型仓库下载加速方法及系统
申请号:CN202510894045
申请日期:2025-06-30
公开号:CN120567849A
公开日期:2025-08-29
类型:发明专利
摘要
本发明涉及计算机技术领域,提供一种基于分布式的AI大模型仓库下载加速方法,包括新加入的节点基于gossip协议完成与全网节点间的组网与文件映射关系表同步;各节点基于节点标识通过一致性哈希算法构建哈希环,并根据部署标识确定目标Key,在哈希环沿顺时针选择目标Key的下一个节点作为主节点;当本地内网节点接收到下载请求时,首先在本地文件列表中查找目标文件;若本地未查找到目标文件,则向文件映射关系表中记录的目标节点发起内网回源请求获取目标文件;若内网未命中,则向主节点发起公网回源请求以获取目标文件,基于gossip协议的去中心化组网机制与文件映射关系共享机制,有效避免节点间重复下载、减少带宽浪费,显著降低公网带宽占用。
技术关键词
主节点 映射关系表 公网 仓库 标识 加速系统 哈希算法 协议 列表 组网模块 下载数据 建立通信 机房 集群 机制 端口
系统为您推荐了相关专利信息
1
电力隐私计算流程互联互通调度方法、系统、设备和介质
模版 多元线性回归算法 元素 内存 JSON结构
2
存储器子系统中的参数值优化
存储器装置 训练分类器 计算机可读存储媒体 机器学习模型 编程
3
端侧设备下深度学习模型训练时的内存管理方法及装置
节点信息收集器 深度学习模型训练 DNN模型 内存管理方法 生成训练计划
4
数据处理方法、装置及车辆
数据处理方法 路侧单元 通道 车辆周围环境 非临时性计算机可读存储介质
5
重定时器的管理系统
定时器 固件 控制接口 管理系统 标识符
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号