摘要
本发明公开了一种针对多源、多模态、多格式的异构数据归一化方法及系统,涉及数据处理技术领域,包括采集不同来源、不同类型、不同格式的数据聚合;对数据进行预处理,区分日志源并提取有效日志,对日志数据引入解析策略,将日志标准化成soc安全事件模型,对日志数据进行归一化,通过日志接入配置对日志数据进行可视化操作;将归一化后的数据载入大数据平台层进行存储和计算。本发明通过特定解析策略优先解析,避免了不必要的普通解析策略尝试,节省了计算资源,提高了解析效率和准确性。在特定解析策略失败时,通过普通解析策略提供了备用方案,支持多种解析策略,增强了方法的灵活性和适应性,提高了整体解析成功率。
技术关键词
数据归一化方法
策略
多模态
大数据平台
安全设备
异构
格式
日志数据定位
数据存储模块
数据处理模块
数据采集模块
可视化页面
数据处理技术
处理器
脚本
计算机设备
网络设备
可读存储介质
系统为您推荐了相关专利信息
环境感知信息
补偿值
车道
车辆控制方法
生成控制指令
遥感影像配准方法
梯度直方图
影像金字塔
梯度方向直方图
矩阵
表单模板
数据分析单元
权限管理
多模态交互
数据分析系统
内容提取方法
知识图谱构建
语义向量空间
音频编码器
文本编码器
数据接收端装置
拆包算法
数据传输方法
校验信息
数据包接收模块