摘要
本发明公开了一种基于大语言模型的文本序列推荐方法及系统,属于推荐算法技术领域,包括:数据预处理阶段、大语言模型预训练阶段、序列模型微调阶段以及匹配阶段。本发明通过引入大语言模型到文本序列推荐任务,能够利用大语言模型丰富的预训练语料,更好的对文本进行建模;同时通过将文本进行序列建模,激活了大模型中对于序列推荐建模的能力,摆脱了传统推荐算法中基于ID的推荐范式,更好的在冷启动场景和知识迁移的场景下进行推荐任务学习处理;最后通过序列模型对推荐结果的最终优化,能够实现以往大语言模型输出结果存在幻觉无法精准匹配的问题。
技术关键词
大语言模型
序列推荐方法
文本
阶段
模型预训练
数据
推荐算法技术
训练集
样本
自然语言
基准
多层感知机
注意力机制
键值
参数
语义
模块