摘要
一种HADOOP集群的能耗监测及优化方法,它属于计算机技术领域。本发明解决了现有功耗预测模型的泛化能力差、现有能耗预测方法未考虑CPU频率的影响以及现有能耗优化方法难以识别出最优配置参数组合的问题。本发明首先对功率缺失值进行填补,再利用填补后的数据对功耗预测模型进行训练,且训练过程中考虑了硬件资源使用情况数据,提高了训练好的功耗预测模型的泛化能力。本发明定性研究了包含集群服务器CPU频率在内的硬件参数和HADOOP集群配置参数列表对于集群能耗的映射关系,并利用基于强化学习的参数选择算法对配置参数列表进行选择并以此为基础应用调优,可以识别出最优配置参数组合,实现对能耗的优化。本发明方法可以应用于HADOOP集群的能耗监测及优化。
技术关键词
系统硬件资源
有功功率
日志
硬盘使用率
深度信念网络
强化学习模型
功耗
积层
列表
数据
参数
能耗优化方法
能耗预测方法
校准
门控循环单元
集群服务器
频率
系统为您推荐了相关专利信息
电力设备检修
检修方法
检修日志
数据
人体关键点
出力优化方法
有功功率
优化调度模型
分布式光伏
储能装置
磁阻式无刷双馈发电机
绕组
非理想电网
有功功率
负序电压分量
虚拟转动惯量
虚拟同步发电机
输出功率参考值
分布式电源并网
电流正序分量