摘要
本发明公开了一种双模式存算协同调度方法及系统,涉及数据处理技术领域,包括模式1通过虚拟集群方式打通网、省计算资源,通过虚拟文件系统VFS打通网、省存储资源,网级前端FE进行统一调度,FE通过拓扑结构获取全局元数据和计算节点信息,生成分布式查询计划,调度过程中根据计算资源负载、数据存储分布进行灵活调度;模式2,网FE直接转发查询语言到各省FE,由各省FE自行调度资源生成查询计划,执行完成后返回查询结果给网FE,由网FE进行汇总并返回用户。本发明通过双模式调度,确保在网络延迟高或资源负载重时,能够自动切换到更高效的调度模式,有效兼顾了边缘节点与中心数据中心的资源利用,实现了跨层级的资源优化分配。
技术关键词
协同调度方法
双模式
虚拟文件系统
数据分布
数据同步
节点
备份
计划
资源
数据存储
机制
数据处理技术
集群
网络
数据中心
处理器
计算机设备
指标
系统为您推荐了相关专利信息
业务系统
容灾演练方法
计划
机器学习算法
机器学习模型
趋势预测模型
数据分布
异味
趋势预测方法
特征提取网络
二值化图像
边缘增强方法
直方图
作业方法
扫描作业
新型设备
工艺参数配置
人工智能技术
数据处理方法
滑动时间窗口