摘要
本申请涉及大数据处理技术领域,公开了一种Flink作业并行度动态调优方法、装置、设备和介质,该方法包括:通过获取当前Flink作业的多项指标数据,并对每项指标数据进行特征转换,得到多个指标特征;将所述当前Flink作业的多个指标特征输入至训练好的并行度预测模型,得到所述当前Flink作业的预测并行度,并判断所述预测并行度与预设并行度之间的差值是否超过阈值,得到判断结果;当所述判定结果为是时,根据所述预测并行度与预设并行度之间的差值,对所述当前Flink作业的并行度进行动态调整。应用本申请的技术方案,能够对Flink作业并行度进行实时调整,提升Flink作业的执行效率与资源利用率。
技术关键词
作业管理器
调优方法
动态
指标
梯度提升树模型
大数据处理技术
随机森林模型
指令
神经网络模型
模块
控制器
可读存储介质
接口
程序
内存
存储器
计算机
速率
系统为您推荐了相关专利信息
动态调度系统
巡检机器人
环卫车
双向电动推杆
收纳框
图像特征集
图像噪声水平
纹理特征
训练样本集
视频图像检测技术