基于序列建模的项目嵌入通用预训练方法

本发明公开了基于序列建模的项目嵌入通用预训练方法，通过预训练模型实现，所述预训练模型包括预处理层、嵌入层和混合感知注意力层；本发明创新性地设计并实现了一个高度通用的预训练模型，从而形成了一种基于序列建模的项目嵌入通用预训练方法，可利用交互数据构建项目交互序列，并将项目标题、项目描述、序列位置和交互时间等多源信息整合到序列建模框架中以生成语义增强的项目嵌入，有效缓解下游推荐系统中的数据稀疏问题，提高推荐模型的性能上限。