摘要
本发明提供一种基于多维度智能解析的实时数据处理方法及装置,涉及数据处理技术领域,方法包括:构建多模态特征解析模型,并部署至各个解析线程;对不同的数据类型分配独立的解析线程;获取实时数据流,并为实时数据流中的各个多维度数据匹配相应的数据类型;将各个多维度数据,按所属数据类型与解析线程的对应关系,分别发送至对应的解析线程;调用各个解析线程中的多模态特征解析模型,对接收到的多维度数据进行特征解析,输出与接收到的多维度数据对应的多模态特征;利用预先部署的数据缺失检测模型,识别各个多模态特征是否存在缺失特征;若是,匹配对应的数据补全策略进行缺失特征补全;否则,返回重新获取实时数据流。
技术关键词
多模态特征
实时数据处理方法
数据项
补全策略
数据格式
随机森林模型
标注策略
标记特征
多层感知机
分类器
生成方法
数据处理技术
模块
训练集
注意力
分片
系统为您推荐了相关专利信息
地理信息数据
随机森林模型
数据格式
数据分布
拓扑分析方法
新能源设备
神经网络模型
构图结构
容量配置方法
容量规划
深度学习数据
数据系统架构
大数据系统
深度学习技术
机器学习模型
报文特征
模版
自定义协议
模糊匹配算法
数据交换格式