摘要
本申请公开了一种模型训练方法,包括:将法律问题的生成式样本数据输入大语言模型,重构成检索式样本数据;将检索式样本数据输入自回归基座模型,基于QLoRA微调技术训练自回归基座模型,其中,自回归基座模型的训练损失函数采用带有忽略损失机制的交叉熵损失函数;将自回归基座模型的输出概率分布作为目标分布,依据检索式样本数据,训练检索模型。本申请能够解决大语言模型答复法律问题准确性不高的问题。
技术关键词
大语言模型
模型训练方法
数据
基座
样本
微调技术
输入设备
分析方法
电子设备
检索标签
存储计算机程序
图像传感器
机制
雷达
索引
存储器
麦克风
处理器
触摸屏