摘要
本发明提供了一种基于数据集成的大数据标准化方法及系统,包括:利用动态格式适配器基于数据转换映射规则结合强化学习Schema算法,将不同数据源的原始数据转换为中间格式数据;利用量子态编码生成中间格式数据中每个字段与知识图谱中节点的量子叠加态;利用量子退火算法基于量子叠加态求解字段在知识图谱中的最佳映射节点;基于最佳映射节点结合节点的语义约束和标准格式,对所述字段进行标准化映射得到标准化数据,本发明中通过动态格式适配器集成多源数据并解析为中间格式数据,解决了数据异构问题,基于量子叠加态同时保留多个映射可能性,通过量子退火算法快速并行搜索得到全局最优解,提高节点标准化映射的准确性和效率。
技术关键词
量子退火算法
节点
图谱
格式
数据标准化方法
机器学习算法
字段
适配器
量子隧穿效应
量子态
语义向量
命名实体识别技术
内部数据结构
样本
标准化系统
边缘计算技术
动态
参数
系统为您推荐了相关专利信息
BERT模型
数据处理系统
子模块
关系网络
实体
网络加速技术
缓存管理策略
索引机制
缓存机制
容错机制
支持向量机算法
模式匹配算法
决策树算法
传感器节点
生成控制信号