基于模态交互的食谱检索方法

本发明公开了基于模态交互的食谱检索方法，具体按照如下步骤实施：步骤1，获取跨模态食谱检索数据集，并将分为训练集和测试集；步骤2，构建基于细粒度模态间交互的跨模态食谱检索网络模型；步骤3，使用训练集训练步骤2构建的基于细粒度模态间交互的跨模态食谱检索网络模型；步骤4，使用测试集对步骤3训练好的网络模型进行测试，得到食谱文本检索图像结果，并对检索结果进行评价；步骤5，在测试集上对步骤3训练好的网络模型进行测试，得到食谱图像检索文本结果，并对检索结果进行评价。本发明解决了现有技术中存在的由于跨模态食谱检索任务存在不同模态之间的语义间隙问题，导致跨模态食谱检索在准确性上存在不足的问题。