一种用于构建模型训练数据的方法、系统、设备及介质

AITNT
正文
推荐专利
一种用于构建模型训练数据的方法、系统、设备及介质
申请号:CN202411502201
申请日期:2024-10-25
公开号:CN119558399A
公开日期:2025-03-04
类型:发明专利
摘要
本发明公开了一种用于构建模型训练数据的方法、系统、设备及介质,属于数据处理技术领域。本发明方法,包括:针对目标领域模型,确定所述目标领域模型的模型信息,并确定用于训练目标领域模型的模型训练数据的数据来源;对所述初始模型训练数据进行错误数据的清洗处理、篇章级和句子级的排重处理以及安全性数据过滤处理,得到待评估的模型训练数据;构建用于评估模型训练数据质量的评估指标;对所述待评估的模型训练数据的质量进行评估,确定评估结果是否符合评估指标阈值,将符合评估指标阈值的待评估的模型训练数据,作为模型训练数据进行输出。本发明能够构建模型所需的数据集,节省了人力及时间成本,并且降低了数据集的构建难度。
技术关键词
指标 文本分类模型 数据安全性 数据处理单元 数据处理技术 数据分布 数据格式 处理器 计算机设备 可读存储介质 关键词 重复性 标记 程序 主题 算法 人力
系统为您推荐了相关专利信息
1
一种基于学情信息的岗位能力分析系统
分析单元 成绩 分析系统 学习专业技能 学生学习状态
2
额度调整模型的训练方法、装置、计算机设备及存储介质
生成样本数据 计算机可读指令 账号 风险指标值 分配信息
3
一种基于多传感器融合的机器人定位方法及系统
多传感器融合 UWB定位标签 机器人定位方法 机器人定位系统 数据处理单元
4
一种双栅射频开关器件
射频开关器件 NMOS开关器件 版图面积 射频开关技术 射频开关芯片
5
一种基于用户学习画像扩展的学术资源推荐方法、系统、电子设备及存储介质
学术资源推荐方法 画像 主题 多模态 电子设备
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号