摘要
本发明公开了基于大模型的数据集成融合方法及系统,通过将初始多源数据的元数据信息和代表性样本数据作为预训练的LLM大型语言模型的输入上下文,通过Prompt提示工程引导模型进行训练,得到多个增强数据源模式描述;将多个增强数据源模式描述输入至LLM大型语言模型中,通过Prompt提示工程让模型为数据集成引擎,引导模型识别不同数据源模式之间语义等价字段,输出动态模式映射方案;分析冲突原因并推理冲突消解策略,输出数据清洗建议和数据解析结果;将融合后的数据加载到目标数据存储中。能够适应复杂多变的数据结构,提高了数据集成的灵活性和效率。
技术关键词
多源异构数据
融合方法
模式
数据存储
融合系统
子模块
语义
动态
样本
数据获取模块
策略
实体
字段
关系型数据库
存储模块
表格
识别模块
文本
系统为您推荐了相关专利信息
特征选择方法
激光雷达
区域生长算法
像素
图像分割
手势识别系统
细粒度特征
特征提取模块
雷达
拼接模块
检测一体化设备
钢材
缺陷标记装置
应力检测系统
检测机构