一种基于多模态日志聚合框架的分布式运维数据治理方法

一种基于多模态日志聚合框架的分布式运维数据治理方法，涉及电数字数据处理领域，该方法包括：计算节点负载状态指标；确定包括采集周期和采集触发条件的节点采集参数；在目标节点的日志文件变更量大于采集触发条件时，执行事件采集，得到事件采集数据流；在日志文件变更量小于或等于采集触发条件时，按照采集周期执行轮询采集，得到周期采集数据流；生成数据补偿指令并执行增量采集，得到补偿数据流；合并生成完整日志数据，并进行类型区分，生成多模态数据包；分配至对应的存储引擎，得到多模态日志聚合数据。实施本申请，能提高大规模分布式系统中日志数据采集的完整性。