一种基于多视角跨模态语义对齐的多模态推荐方法及系统

本发明公开了一种基于多视角跨模态语义对齐的多模态推荐方法及系统，涉及多模态推荐技术领域。本发明的技术要点包括：提取训练数据的用户信息、物品信息、用户‑物品交互信息和多模态辅助信息，所述多模态辅助信息包括文本模态和视觉模态；对多模态辅助信息进行处理，获取包含多模态嵌入文本表示和视觉表示的语义信息；将用户信息、物品信息、用户‑物品交互信息和语义信息输入多模态神经网络模型中进行训练；利用训练好的多模态神经网络模型进行多模态推荐。本发明解决了模态间语义鸿沟问题，通过多视角语义建模进行细粒度模态语义对齐，实验结果证明了本发明的优越性和有效性。