摘要
本发明公开了一种面向数据治理的任务弹性编排及动态适配方法,包括以下步骤:S1:收集任务节点历史记录并用Lasso算法训练模型,分析资源指标对任务时长的影响;S2:拓展任务模型,引入新资源指标和时效性属性;S3:构建资源模型监控硬件设备并用Raft算法保证数据一致性;S4:预选过滤节点,基于模型计算预期时长排序,选择最优节点;S5:监控任务健康状态并采取重试策略;S6:根据实际运行时长优化模型。本发明通过精准的数据收集和模型训练,结合资源监控与任务调度优化,提升了任务执行效率和资源利用率,并通过容错机制确保任务可靠运行。
技术关键词
动态适配方法
Raft算法
节点
正则化参数
存储硬件设备
网络地址资源
内存
时效性
硬盘
指标
网络效能
定义
资源监控
资源预留机制
保证数据一致性
日志
存储设备信息