摘要
本申请公开了数据处理方法、模型训练方法、电子设备及计算机介质,该数据处理方法通过获取待处理的至少一个第一数据集,并对第一数据集进行数据清洗;对清洗后的第一数据集进行标注和过滤;对过滤后的第一数据集进行数据增强;将增强后的第一数据集输入至预训练模型,以获得预训练模型针对第一数据集的第一评估结果;在第一评估结果满足预设指标时,输出第一数据集。通过上述方式,该数据处理方法可以对第一数据集进行多层次的数据处理和优化,以提高第一数据集的质量和多样性,减少数据处理过程中的人工干预、降低数据处理成本,并且,输出的第一数据集应用于大模型的训练时能够提高大模型的训练效果,进而提高大模型的应用效果和适用性。
技术关键词
数据处理方法
预训练模型
模型训练方法
样本
电子设备
可读存储介质
计算机
处理器
存储器
程序
指令
多层次
指标
编码器
网络
字符
系统为您推荐了相关专利信息
神经网络预测模型
姿态估计方法
物理
损失函数优化
神经网络模型
数据处理方法
软件开发平台
合规性
数据保护
建立数据索引
回声消除方法
房间脉冲响应
非线性结构
机器可读指令
信号
重构模型
数据预测模型
参数
深度学习模型
堆芯水位