摘要
本发明涉及一种法律大模型微调数据筛选方法、设备和介质,属于人工智能技术领域。生成形成偏好数据集,利用偏好数据集训练法律质量评分模型,利用平衡焦点损失函数动态调节简单合规样本和复杂争议样本的权重;对候选法律微调数据集进行质量评分,计算候选法律微调数据集的复杂性分数,生成候选法律微调数据集的质量‑复杂性评分数据集;构建语法依赖关系的依存树,对向量化后的依存树特征进行聚类分析,通过对候选法律微调数据集进行簇划分和排序,从而合并成最终微调子数据集,完成筛选。其有效解决了传统筛选方法导致的语义失真和训练偏差问题,为法律垂直领域大模型的高效训练提供了系统性解决方案。
技术关键词
数据筛选方法
焦点损失函数
样本
节点
高维向量空间
依存句法分析
邻居
裁判文书
可读存储介质
句法结构
人工智能技术
处理器
代表
存储器
计算机设备
关系
三元组
系统为您推荐了相关专利信息
训练检测模型
噪声样本
检测点
图片类别
数据输入模块
异常识别方法
生成攻击样本
协议
生成器网络
日志关联分析