摘要
本发明涉及计算机技术领域,提供一种基于分布式的AI大模型仓库下载加速方法,包括新加入的节点基于gossip协议完成与全网节点间的组网与文件映射关系表同步;各节点基于节点标识通过一致性哈希算法构建哈希环,并根据部署标识确定目标Key,在哈希环沿顺时针选择目标Key的下一个节点作为主节点;当本地内网节点接收到下载请求时,首先在本地文件列表中查找目标文件;若本地未查找到目标文件,则向文件映射关系表中记录的目标节点发起内网回源请求获取目标文件;若内网未命中,则向主节点发起公网回源请求以获取目标文件,基于gossip协议的去中心化组网机制与文件映射关系共享机制,有效避免节点间重复下载、减少带宽浪费,显著降低公网带宽占用。
技术关键词
主节点
映射关系表
公网
仓库
标识
加速系统
哈希算法
协议
列表
组网模块
下载数据
建立通信
机房
集群
机制
端口
系统为您推荐了相关专利信息
存储器装置
训练分类器
计算机可读存储媒体
机器学习模型
编程
节点信息收集器
深度学习模型训练
DNN模型
内存管理方法
生成训练计划
数据处理方法
路侧单元
通道
车辆周围环境
非临时性计算机可读存储介质