Flink作业并行度动态调优方法、装置、设备和介质

AITNT
正文
推荐专利
Flink作业并行度动态调优方法、装置、设备和介质
申请号:CN202410843166
申请日期:2024-06-27
公开号:CN118779075A
公开日期:2024-10-15
类型:发明专利
摘要
本申请涉及大数据处理技术领域,公开了一种Flink作业并行度动态调优方法、装置、设备和介质,该方法包括:通过获取当前Flink作业的多项指标数据,并对每项指标数据进行特征转换,得到多个指标特征;将所述当前Flink作业的多个指标特征输入至训练好的并行度预测模型,得到所述当前Flink作业的预测并行度,并判断所述预测并行度与预设并行度之间的差值是否超过阈值,得到判断结果;当所述判定结果为是时,根据所述预测并行度与预设并行度之间的差值,对所述当前Flink作业的并行度进行动态调整。应用本申请的技术方案,能够对Flink作业并行度进行实时调整,提升Flink作业的执行效率与资源利用率。
技术关键词
作业管理器 调优方法 动态 指标 梯度提升树模型 大数据处理技术 随机森林模型 指令 神经网络模型 模块 控制器 可读存储介质 接口 程序 内存 存储器 计算机 速率
系统为您推荐了相关专利信息
1
一种兼顾射流影响的低速动态风洞试验模型
射流 机身骨架 机翼骨架 流量阀 舵机连接件
2
无人环卫车与AI巡检机器人协同作业动态调度系统
动态调度系统 巡检机器人 环卫车 双向电动推杆 收纳框
3
一种用于自动驾驶系统的个性化强化学习决策方法
自动驾驶系统 决策方法 差分算法 风格 机制
4
一种视频图像质量检测方法及系统
图像特征集 图像噪声水平 纹理特征 训练样本集 视频图像检测技术
5
多模态感知的导光板覆膜精度动态补偿方法
导光板 动态补偿方法 精度 偏差 图像像素
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号