一种基于提示学习的多模态对齐服务推荐方法

本发明公开了一种基于提示学习的多模态对齐服务推荐方法，该方法首先获取户历史点击物品的文本和图像数据，结合提示词向量，分别得到文本特征和图像特征。其次将文本特征和图像特征输入两个编码器中，分别输出文本和图像的多模态特征表示，经过丢弃操作进行特征增强，分别输入到文本优化器和图像优化器中。然后对两个优化器得到的特征进行相似性计算，计算对比损失函数，并将优化器输出的特征进行拼接融合生成物品表示，通过动态聚类算法，结合基于Transformer的自编码器得到用户的序列表示。最后设计两个自监督对比学习任务进行损失计算并训练。本发明更准确地捕捉用户的兴趣和需求，提供更个性化的推荐。