基于分层融合网络的多模态推荐方法及系统

本发明提供一种基于分层融合网络的多模态推荐方法及系统，该方法包括如下步骤：获取目标用户的用户信息以及物品多模态信息；通过编码器进行编码，得到多个物品单模态特征，并构建多个单模态物品‑物品图；将所有单模态特征进行跨模态对齐融合，得到跨模态融合特征，根据跨模态融合特征构建跨模态物品‑物品图；结合用户信息、历史交互记录和物品多模态信息构建用户‑物品图；基于多个物品单模态特征计算得到各个物品单模态特征之间的特征差异分数；基于特征差异分数并通过分层融合网络输出用户特征表示和物品全局融合特征表示；通过TOP‑K方法计算得到针对目标用户的物品推荐结果。本发明具有输出较为理想的多模态推荐结果的效果。