一种基于深度学习的Hive on Tez作业异常检测方法及系统

本申请提供一种基于深度学习的Hive on Tez作业异常检测方法及系统，该方法包括：采集历史作业运行数据并进行预处理和异常标注，其中作业运行数据包括应用级别、DAG级别、顶点级别、任务级别和任务尝试级别的多层次指标数据；对预处理后的历史作业运行数据进行特征提取，得到历史作业的特征数据；特征数据包括提取应用级、DAG级、顶点级、任务级和任务尝试级特征；构建基于深度学习的神经网络模型，并将历史作业的特征数据及对应的异常标注标签分别作为神经网络模型的输入数据和输出数据，训练神经网络模型；获取新的作业的特征数据，输入至训练完成的神经网络模型，输出新的作业的异常检测结果。本申请能提高异常检测的准确率。