一种基于自增ID和顺序传输的分布式图计算加速方法

AITNT
正文
推荐专利
一种基于自增ID和顺序传输的分布式图计算加速方法
申请号:CN202411518412
申请日期:2024-10-29
公开号:CN119402501A
公开日期:2025-02-07
类型:发明专利
摘要
本发明提供了一种加速图计算系统中节点间信息同步的方法;通过将原始的string型Vertex ID转换为int型自增ID并按顺序将顶点的Value进行序列化反序列化,减少数据传输量及算力开销;图计算框架中,master节点负责协商调度,worker节点负责执行计算,使用hash算法将Vertex分配到worker节点,并由master节点协商分配自增Vertex ID段,计算完成后,仅传输Vertex Value数据,通过固定大小的反序列化方法获取Vertex Value数据,显著提升性能并减少网络资源开销,此方法能有效降低数据传输量,提高了图计算系统的整体效率。
技术关键词
顶点 网络资源开销 hash算法 序列化方法 节点间信息 哈希算法 框架 数据 关系
系统为您推荐了相关专利信息
1
一种城市立体绿地提取方法及系统
立体 绿地 点云 测量点 建筑物
2
基于时空图神经网络的配电网灵活调度域边界刻画方法和装置
灵活资源 数学模型 节点 功率因数 顶点
3
3D高斯泼溅渲染方法、装置、计算机可读存储介质及电子设备
粒子 拍摄装置 像素 渲染方法 图像
4
一种基于度量元学习架构的抗生素耐药性预测方法
抗生素 数据分布 全基因组测序数据 度量 机器学习模型
5
一种自动测量包裹的方法
深度神经网络 包裹 顶点 RFID射频 坐标
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号