摘要
本发明提供了一种基于语言模型与特征相关性的结构化数据生成方法及装置,具有这样的特征,包括:预处理步骤,生成预处理值;相关性计算步骤,得到所有特征两两之间的相关性值;相关性筛选步骤,根据预设阈值和相关性值,从所有两两特征中选取两两特征作为相关特征对;相关文本生成步骤,对各个相关特征对,生成描述对应的两个特征的关系的文本作为关系描述文本;初始文本生成步骤,生成样本的各个特征对应的初始文本;训练文本生成步骤,将初始文本和关系描述文本结合,得到对应的训练样本;模型训练步骤,通过训练样本训练语言模型;合成数据生成步骤,通过语言模型生成合成结构化数据。总之,本方法能够生成更加准确有效的合成结构化数据。
技术关键词
相关性计算方法
文本
构建语言模型
皮尔逊相关系数
样本
斯皮尔曼相关系数
数据生成装置
训练语言模型
模型训练模块
编码
表达式
数学
数值
系统为您推荐了相关专利信息
特征点
关键点特征
机器可读存储介质
对象检测
多尺度语义特征
实时图像
关键帧
识别方法
实时视频
动作识别模型
查询关键词
语义关联度
资源查询方法
偏好特征
文本
区块链协议
智能合约部署
分析模块
数据平台
抽象语法树