摘要
本发明公开了一种大语言模型推荐系统的自优化微调方法及推荐系统,所述方法包括:使用自蒸馏技术生成辅助训练数据集,所述辅助训练数据集由经过监督微调的大语言模型根据输入生成多个输出,并从中选择最接近真实项目的输出构建而成;采用课程学习微调策略,根据大语言模型的当前学习状态自适应调整简单任务和困难任务的训练权重,逐步将训练焦点从辅助训练数据集转移到真实数据集。本发明通过自蒸馏技术,让模型自身生成更接近推荐领域分布的数据,作为中间训练目标,缓解领域适配困难。通过课程学习策略,动态调整训练数据难度,使模型逐步适应真实数据分布。通过自蒸馏生成多样化候选输出,并结合课程学习优化模型生成策略。
技术关键词
辅助训练数据
微调方法
推荐系统
大语言模型
生成个性化推荐
非暂态计算机可读存储介质
蒸馏
策略
处理器
焦点
数据分布
项目
超参数
存储器
动态
电子设备
进程
标签