摘要
本发明公开了一种应用于垂直领域的多阶段语义重排序微调方法和装置,包括以下步骤:S1,接收原始文档输入并将文档片段进行切分;S2,基于领域专家标注的高质量问答对,设计prompt模板指导大模型生成训练数据;S3,利用向量模型和重排序模型进行多阶段难负样本挖掘;S4,基于教师模型生成知识蒸馏信号;S5,采用全参数微调与LoRA微调相结合的多阶段训练策略对重排序模型进行优化。本发明方法能够有效提升重排序模型在垂直领域的性能。特别地,两阶段微调策略既保证了模型能够充分学习全局知识,又能针对性地优化难样本场景;而知识蒸馏机制则帮助模型继承教师模型的判别能力,在保持模型轻量化的同时取得良好的效果。
技术关键词
排序模型
生成训练数据
微调方法
生成知识
样本
多阶段
蒸馏
语义
微调装置
教师
问答对数据
模板
模型训练模块
参数
策略
计算机设备
两阶段
信号